uote=DrSlon;161183081]Ну щето же, посидел потестил разные подходы, пока вижу что их всего три.
1. Ollama, то о чём сказано в первом посте. Собсна главный и единственный способ для рандомного чела освоить это дело с нуля, понять как оно вообще работает и нужно ли ему это, прежде чем тратить деньги на сборку конфигов. Хороша тем что сама всё настраивает так чтобы оно более менее работало, не напрягая мозг юзера. Плоха тем что доступен ограниченный набор моделей спецом заточенных под неё. Квен 3.8 конечно будет тормозить, но более ранние версии квена вполне можно погонять, початиться да порешать несложные задачки. Рекомендую всё же начать с этого.
2. Strata. Это для любителей подкостылить, тк распределяет нагрузку между видеокартой, оперативой и ссд, в теории позволяя упихать жирную модель в скромный конфиг. На практике же, как и Оллама, работает с ограниченным набором моделей, спецом заточенных под это дело. Просто так взять любую модель с фейса и оптимизировать с её помощью не выйдет. Плюс оператива и ссд должны быть очень хороши, чтобы не сильно терять в быстродействии из за свопов. У меня в конфиге оператива и ссд не лучшего качества, плюс её мало, поэтому мне страта не очень сильно помогла. Я смог в неё засунуть максимум квен флеш Q2, и то он очень долго просирается с ответом из за свопа на ссд.
3. Llama.cpp. Это для тех у кого есть хорошее железо, много видеопамяти и желания запускать нормальные модели с минимумом костылей, а так же любителей вникать и ковыряться, тк нужно настраивать руками и распределять что куда подкрутить, чтобы упихать ногой в имеющиеся возможности. Довольно заё6исто, так что поначалу это лучше делать с мамкой, гуглом и пол литрой. Зато плюсом является возможность взять с фейса любую модель и попробовать её засетапить, что открывает дорогу к самым невменяемым васянским сборкам. У меня получилось запустить квен3.8 q5 c контекстом 98к на скорости 1,5к чтение и 30 запись, что считается неплохим средним уровнем. можно также взять q4xl и поднять контекст до 160к. пока для моего конфига это самый удобный расклад. если будет возможность докинуть оперативы то можно ещё страту поковырять.
ну и да лучше это ставить на серверный линух по ssh а монитор выдрать из системника чтобы видеокарта вообще никакие ресурсы налево не тратила.[/quote]
На страте флеш некст кодер на моем говно конфиге выдает 30 на запись и 2к на чтение с контекстом 128к. Но для кодирования нужно знать подходы. Просто навайбить всякую чушь не выйдет. Нужно сначала наговорить чего ты хочешь в README.txt (задача, какой стек, какой должен быть дизайн, что должна делат и т.д.), потом этот файл скармливаешь гуглу, дипсинг или если богатый чатгпт, клауд и говоришь создать тебе файл AGENTS.md. И вот с этим файлом страта уже что-то начинает делать.
Вот только я пока не понял, как заставить ее фиксить ошибки. Нужно навер делать декомпозицию проекта на кучу подмодулей и для каждого свой AGENTS.md.
Запустил GYRO-M на говне
Короче генерация Agents.md на дипсик + гиро-м в 5 раз быстрее чем ноу-дипсик и флеш-кодер
и качество неплохое