О, "Линукс-три-процента" вклинился. Зачем покупать железо для локального запуска, когда оно УЖЕ ЕСТЬ у геймеров? Уж видеокарта на 16Гб VRAM + 32Гб RAM для запуска топовой DeepSeek v4.1 Flash в кванте UD-IQ1_M у многих тут имеется.
о, ллама "линукс стоит абсолютно у всех, винда мертва" оказывается имеет контекстное окно в 10 теокенов, которое обнуляется при заполнении
толку от твоего дипсика с максимально ужатым качеством для слабого пк?
1) у него будет днище скорость, что слишком мало для того чтобы делать что-то хорошее.
разве что спросить рецепт вкусного пирога перед уходом на работу чтобы по приходу уже был готов ответ... возможно
2) из-за сильной квантизации сетка теряет часть данных, из-за чего увеличивается кол-во допускаемых ошибок, что сильно влияет на время за которое она выполнит задачу.
в итоге у тебя сразу идеальный шторм, и медленно и в разы дольше выполняется задача.
квантовать в какашку можно только когда у тебя реально сильный выигрыш в скорости, который компенсирует ошибки и переделку из-за них.
а ужимать в какашку ради того чтобы оно вообще запустилось на пару токенов в секунд - это особый вид садо-мазо.