Дальше надо будет прикрутить какую-нибудь вебморду, чтоб удобно ходить с других компьютеров.

Почитать про RAG, чтобы можно было прикрутить память.

И приделать тулы чтоб ллмка ходила в интернет и гуглила чего она не знает.

@snakequake sillytavern удобная веб морда, а интернет можно прикрутить через searNGX локально в docker и все.

@snakequake у самого стоит работает локально на ПК, для ролевой игры использую gemma4

@Nitrous1 На сколько параметров брал модель? И откуда персонажей для ролевой игры брал?
@snakequake

@th3rdsergeevich @snakequake приеду домой напишу, что и как, давно хотел разбор записать, а персонажей генерирую при помощи ИИ которая парсит данные с интернета, та же deepseek V4, или claude sonnet 5.6

@th3rdsergeevich @snakequake так как персонажей по Ниндзяго никто и не генерировал, и вообще никто не гоняет локальные ИИ из фендома по Ниндзяго.

@th3rdsergeevich пишу, использую Gemma4 на 26B Balanced использую автор HauhauCS, квант 4 так как rtx 3060 12GB тянет ее, выше брать нету смысла так как будет меньше скорость, больше нагрузки на ПК. использую sillytavern и searNGX gemma4 запускаю через скомпилированную llama.cpp, searNGX крутится в локалке на ПК так как кушает 100-200 мб в фоне, в sillytavern установлен плагин web search в нем написан ip к searNGX, searNGX которые хостятся общедоступно не использовать так как в них есть лимиты или не работают по причине капчи или же в них не включен json, чтобы ИИ парсила информацию с интернета. Карточка персонажа на 4 скриншоте.

@Nitrous1 ага смотрю сейчас на неё и на open webui

@Nitrous1 SillyTavern вроде как организована для чатов (в т.ч. групповых).
@snakequake

@th3rdsergeevich @snakequake для ролевых игр с персонажами изи справляется, там и лор буки, systempromt, и чего только нету.