Внедрение ИИ на форуме

master:

Есть небольшой нюанс, на этом сайте пользователям не разрешено всё делать

  Так я говорю что его зачистили уже. И это не тот Двач, который был раньше.

  Составить список статей и имен. Прогнать через нее ЛЛМ-ку и пусть она определяет содержимое текстов - чтобы не зависеть от сторонних сервисов. 

Kev можно у себя запустить на сервисе. И еще обучить можно чтобы она понимала кто такие Bondersan  и Nightmaretz

  Мастер предлагает задействовать ИИ на сайте, но тут сразу два варианта открывается - или платить за сторонний сервис или запускать свою ЛЛМ на сервере или где то на своем железе (что тоже недешево). 

  Плюс не совсем понятно какие функции будет выполнять ЛЛМ-ка - автомодерацию? Но уже вроде бы мы решили сделать систему рейтингов - которая будет саморегулироваться пользователями и без ИИ-шек. 

coderat:

Плюс не совсем понятно какие функции будет выполнять ЛЛМ-ка - автомодерацию? Но уже вроде бы мы решили сделать систему рейтингов - которая будет саморегулироваться пользователями и без ИИ-шек. 

все зависит от затрат. 0.8b можно хоть на телефоне запустить. Она почти не жрет ресурсы. Она за 30 милисекунд дает вероятность или ответ да/нет.
Просто предварительная оценка текста постов. Если вероятность больше чем 0.7, то можно отправить модератору на просмотр. У модератора в личном кабинете список постов на просмотр и кнопки - Удалить пост, Выдать предупреждение, Заблокировать на время, Удалить аккаунт и все посты.

https://huggingface.co/convaiinnovations/laya

Laya
Многоязычная неавторегрессионная модель принятия решений типа «Система 1». На вход она получает состояние (текст, электронное письмо, тикет или JSON) и типизированные вопросы, а на выходе выдает типизированные ответы с математически откалиброванными вероятностями — всё это за один проход (около 33 мс) и для более чем 100 языков. Модель обучена с использованием обучения с подкреплением на основе строго корректных правил оценки (RLCD), поэтому единственный способ максимизировать вознаграждение — это выдавать достоверные вероятности. Она не генерирует текст, а значит, не требует синтаксического разбора и не склонна к «галлюцинациям».

Hardway:

всё это за один проход (около 33 мс) и для более чем 100 языков

В будущем можно будет попробовать, сможет ли она триггериться на вопросы по типу, чей Крым)
Сейчас для неё ещё мало работы, да и комп хоть слабенький да нужно, а сейчас сервак вообще на лютом днище стоит.