и вот если результат получается очень долго - самое разумное пойти другим путем
"Долго" - это субъективное понятие. Также как и "разумное".
20 токенов в секунду инференсы - это мало, только для чатика как чатика нормально.
Индексация проекта плюс визуализация структуры файлов - не агент конечно (агента я ещё не пробовал, попозже попробую), но plan.
страта пишет что 40 гб vram + ram + 264гб на диске!!
И чо? У виндузятников должно быть как минимум 16Гб VRAM + 32ГБ ОЗУ = 48Гб. 264Гб на 2терабайтном диске - вообще ни о чём. Считай что пара современных игр.
у тебя формально инференс 20 токенов, но вот твой промпт каждый раз будет читаться по несколько минут.
Нее, я не вижу смысла у себя на 8Гб VRAM запускать эту модель. Банально видеопамяти для агентов не хватит. У меня сейчас qwen 3.8 IQ3_XXS
Дипсик проверить не могу, но и на слово тебе верить не буду. Т.к. ты не проверял (и не проверишь).
просто в серьезных проектах перестраховка обязательна.
Ну вот об этом и речь. Потому что у каждой ошибки (особенно на несколько сотен миллионов рублей) есть Имя, Фамилия и Должность.
а вот в случае с твоим чатиком - там всё критично, т.к. ошибки - это необходимость твоего участия и это дорого и долго.
Моё участие в процессе в любом случае требуется. Т.к. это не уровень Гоги, а уровень серьёзной корпорации, где нельзя просто взять и переписать весь код в классах/файлах.
Добавлено через 10 минут
В смысле? Я уверен, тут полно людей с видеокартами на 16Гб VRAM и 32Гб ОЗУ.
для нормально работы тебе надо
AMD epyc 64 потока или больше
5090
128-256gb RAM
Ты сейчас говоришь про плотные модели. А мы про MoE плюс Strata, которая загружает в память видеокарты только нужные агенты. Это абсолютно разные ситуации.
тоже деды походу, иначе ну никак не объяснить их зашоренность и боязнь доверится ии
И все руководители крупных компаний тоже деды, т.к. боязнь доверится ии идёт от них. Наверное они что-то знают.
преимущество больших моделей в том что они делают работу, а не сиськи мнут
Это не подтверждено практикой. Ты - не показатель со своими пет-проектами.
Добавлено через 9 минут
А маленькая коде инструкт всегда лучше большой базовой модели.
Только до тех пор, пока на русском не начнёшь общаться (на любом, кроме английского).
код уже давно не является ценностью
Код никогда не являлся ценностью. Разве что на заре персональных компьютеров, лет так 40 назад.
Братан, шо ты, как? Не молчи, ты явно шото придумал, делись.
В смысле? Что можно придумать с 8Гб VRAM? Квен в трёхбитном квантовании - предел возможностей моей системы. ОЗУ позволяет мне загрузить и Квен 3.8 Q8_0, но смысла в этом нет, т.к. и так понятно, что будет работать хуже (меньше токенов/сек) чем текущая модель. Мне как-то раньше не надо было кучу VRAM - мои игры и на 8Гб шли. А теперь нормальных карт в продаже нет. АМД зажала флагмана на 32Гб VRAM, а флагман RDNA 3 на 24Гб давно с продажи сняли. На 16Гб покупать очень не хочется.