Для входа на форум нажмите здесь
Новые комментарии
Обсуждение Как рынок личных ИИ победит облака
Автор темы: Мелисса
Дата создания: 02.11.2026 11:11
Аватар для shtirliz
Свидетель
Регистрация:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Тут гемини мне советует поставить модель IQ2_XS с контекстом 256к на rtx 3070...типа оптимально.
попробуем
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от shtirliz:
IQ2_XS
IQ - это интеллектуальное сжатие, насколько я понял. Т.е. основные агенты сжаты слабо, а второстепенные сильно. 2 - это бит. XS - экстра смолл (экстремально маленькая в противовес S, просто маленькой). Даже на 8Гб VRAM мне Strata сейчас советует IQ3_S
Что касается окна - имхо, ниже 128К смысла нет вообще использовать. 128 это минимальный минимум. По-хорошему надо больше.
Т.е. 8Гб VRAM на дохлой старой RDNA2 с контекстом 128 на модели IQ3-S дают всё те же 24ТПС, как до этого вручную без тюнинга давало IQ3-XXS. Дальше, имхо, уже надо 16Гб VRAM

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для shtirliz
Свидетель
Регистрация:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
IQ - это интеллектуальное сжатие, насколько я понял. Т.е. основные агенты сжаты слабо, а второстепенные сильно. 2 - это бит. XS - экстра смолл (экстремально маленькая в противовес S, просто маленькой). Даже на 8Гб VRAM мне Strata сейчас советует IQ3_S
Что касается окна - имхо, ниже 128К смысла нет вообще использовать. 128 это минимальный минимум. По-хорошему надо больше.
Т.е. 8Гб VRAM на дохлой старой RDNA2 с контекстом 128 на модели IQ3-S дают всё те же 24ТПС, как до этого вручную без тюнинга давало IQ3-XXS. Дальше, имхо, уже надо 16Гб VRAM
вот эта модель у меня дает 35-40 тпс. Сейчас гоняю, довольно шустрая.
А бесплатный deepseek сегодня закончился уже через 5 минут...халява кончилась
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
"хватает модели или нет" - это напрямую зависит от галюнов моделей. кванты непосредственное влияют на их количество
На галюны модели влияют три параметра в порядке убывания влияния:

- количество весов. Если поставлена задача, которая выходит за границу домена обучения, то модель точно свалится в галюны. Особенно если модели не установлено правило прекращать рассуждение, если она не знает.
То есть, в моделях с большим количеством весов сложнее выйти из домена. Соответственно, для малого количества весов требуется дисциплина формулирования, и тщательный подбор агентов.

- размер контекста. При превышении контекста его части теряются, модель начинает галлюцинировать. Поэтому следует тщательно формулировать запросы, в частности переходить на джейсон или другие формальные описания для экономии контекста.

- квантование. Квантование фп16/инт16 в четыре бита практически сохраняет качество модели (ведь это 15 промежутков значений в единичке) и очень редко приводит к галюнам. А вот квантование в три бита и меньше уже плохо.
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
- квантование. Квантование фп16/инт16 в четыре бита практически сохраняет качество модели (ведь это 15 промежутков значений в единичке) и очень редко приводит к галюнам. А вот квантование в три бита и меньше уже плохо.
вообще то непосредственно квантование. если ты почитаешь как устроены модели, будет понятно почему

если очень грубо - это вектора в N*N=мерном пространстве, к которым применяется матричное умножение (это собственно то на что ресурсы уходят). и вот когда у тебя снижается разрешение, эти вектора "схлопываются" - становятся слишком близкими. а модель определяет какой токен выбрать по расстоянию между векторами. в итоге она выбирает то, что не выбирала бы при более высоком кванте

Добавлено через 9 минут

хотя скорее всего под галюнами ты имеешь ввиду более широкий класс ошибок моделей.
у мелких есть еще lost-in-the-middle - это как раз про контекст
ну а про базу для обучения - это понятное дело. я говорю все таки о multi-purpose моделях

Кто вы такие, и зачем вы мне нужны?
Последний раз редактировалось Izolenta; Сегодня в 11:42. Причина: Добавлено сообщение
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
я говорю все таки о multi-purpose моделях
Я крайне недоверчиво отношусь к универсальным моделям, они ничего не умеют толком. Для программирования есть модели code instruct - специально обученные для программирования.

Добавлено через 5 минут

И мне удобнее собрать пайплайн из нескольких моделей, каждая из которых умеет что-то лучше.

Ставить задачу - одна модель.
Декомпозировать - другая.
Писать код - третья.
Тестить - четвертая.
Ревьючить и писать доку - пятая.

Добавлено через 1 минуту

Когда будет час та натхнення, возможно сделаю бенчик 3б моделей для разных задач.

Добавлено через 1 минуту

На текущий момент у меня только квен занял позицию писать код, а гранит ревью и доку.

Добавлено через 15 минут

Сейчас смотрю Nanbeige для роли помощника в работе над постановкой задачи и декомпозиции
Последний раз редактировалось Пролыч; Сегодня в 12:21. Причина: Добавлено сообщение
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от shtirliz:
А бесплатный deepseek сегодня закончился уже через 5 минут
Ты сейчас про облачный Дипсик говоришь, который через OpenCode?

Сообщение от shtirliz:
вот эта модель у меня дает 35-40 тпс. Сейчас гоняю, довольно шустрая.
На 8Гб VRAM? У тебя какая видеокарта?

Сообщение от Пролыч:
Ставить задачу - одна модель.
Декомпозировать - другая.
Писать код - третья.
Тестить - четвертая.
Ревьючить и писать доку - пятая.
Это разумный подход, но их надо постоянно переключать вручную?

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Это разумный подход, но их надо постоянно переключать вручную?
Тю, я же в этой теме давал скрипт, который переключает модели на каждом этапе. Они же у меня через йамацпп.

Важно полностью их сбрасывать, чтобы йиама не помнила предыдущее.

Добавлено через 5 минут

Сорян, не давал. Сами придумаете

Добавлено через 3 минуты

Сейчас меня волнует, что нужно придумать путь для уменьшения размера контекста через ыормализацию моих запросов в более понятный моделям формат. Блять, как не хочется возвращаться к Rational Rose.
Последний раз редактировалось Пролыч; Сегодня в 12:39. Причина: Добавлено сообщение
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Сорян, не давал. Сами придумаете
По-моему, на данном этапе это невозможно. Да и вряд ли целесообразно, т.к. только загрузка модели в видеопамять занимает минуту.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
По-моему, на данном этапе это невозможно. Да и вряд ли целесообразно, т.к. только загрузка модели в видеопамять занимает минуту.
Ты угораешь? У меня модели перегружаются за несколько секунд.
Я не использую универсальные модели, только специализированные. А 3б залетают за секунды.
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
У меня модели перегружаются за несколько секунд.
Ещё раз, о каких моделях идёт речь? О тех, которые через Strata запускаются? Эти запускаются по минуте, никак не несколько секунд.
Если пользоваться Ollama, то там да, буквально за секунду, но они должны влезать в видеопамять карты.
Сообщение от Пролыч:
Я не использую универсальные модели, только специализированные. А 3б залетают за секунды.
Так для этого вообще Strata не нужна - тут Ollama рулит.

Добавлено через 3 минуты

Например, мой список активных моделей в Ollama:
Код:
ollama ls
NAME                       ID              SIZE      MODIFIED     
qwen3:8b                   500a1f067a9f    5.2 GB    2 months ago    
qwen2.5-coder:7b           dae161e27b0e    4.7 GB    2 months ago    
nomic-embed-text:latest    0a109f422b47    274 MB    2 months ago    
qwen2.5-coder:1.5b         d7372fd82851    986 MB    2 months ago
Это ещё когда экспериментировал.
qwen2.5-coder:1.5b - модель для автодополнений. Вообще тихий ужас
nomic-embed-text:lates - для эмбединга, как видно из названия
qwen2.5-coder:7b - это основная модель для кодинга. Крайне слабая по сравнению с любой из моделей Strata
qwen3:8b - универсальная модель, когда я ещё про Strata не знал и пытался использовать именно эту модель для генерации ответов.

Ставим Линукс правильно: Debian 13 + Xfce
Последний раз редактировалось survordie; Сегодня в 13:52. Причина: Добавлено сообщение
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Тю, же уже писал, у меня пайплайн из 3б моделей в йиаламе под виндой10 на 1050ти с 4г врам и 16г озу с ссд.

Добавлено через 18 минут

#!/usr/bin/env sh
set -eu

MAX_RETRIES=3
TASK_FILE="${1:-task.txt}"
OUT_FILE="${2:-main.go}"
PORT="${LLAMA_PORT:-8080}"
MODELS_DIR="${MODELS_DIR:-./models}"

# Пути к GGUF-файлам под каждую роль
G_SPEC="$MODELS_DIR/Llama-3.2-3B-Instruct-Q4_K_M.gguf"
G_DECOMP="$MODELS_DIR/granite-4.2-3b-Q4_K_M.gguf"
G_CODE="$MODELS_DIR/qwen2.5-coder-3b-instruct-q4_k_m.gguf"
G_TEST="$MODELS_DIR/SmolLM3-3B-Q4_K_M.gguf"
G_DOC="$MODELS_DIR/qwen2.5-3b-instruct-q4_k_m.gguf"

# Алиас модели, прописанный в конфиге mods для локального эндпоинта
MODS_MODEL="${MODS_MODEL:-local}"

ERR_LOG="$(mktemp)"
TMP_CODE="$(mktemp)"
SERVER_PID=""

cleanup() {
[ -n "$SERVER_PID" ] && kill "$SERVER_PID" >/dev/null 2>&1 || true
rm -f "$ERR_LOG" "$TMP_CODE"
}
trap cleanup EXIT

load_model() {
MODEL_PATH="$1"
if [ -n "$SERVER_PID" ]; then
kill "$SERVER_PID" >/dev/null 2>&1 || true
wait "$SERVER_PID" 2>/dev/null || true
SERVER_PID=""
fi

llama-server -m "$MODEL_PATH" --port "$PORT" -ngl 99 >/dev/null 2>&1 &
SERVER_PID=$!

# Ждём поднятия сервера (до ~15 сек)
i=0
while [ "$i" -lt 30 ]; do
if curl -fsS "http://127.0.0.1:$PORT/health" >/dev/null 2>&1; then
return 0
fi
sleep 0.5
i=$((i + 1))
done

echo "Не удалось поднять llama-server с моделью $MODEL_PATH" >&2
exit 1
}

strip_fences() {
awk 'BEGIN{skip=0} /^```/{skip=!skip; next} !skip{print}'
}

RAW_TASK="$(cat "$TASK_FILE")"

# 1. Постановка задачи
load_model "$G_SPEC"
SPEC="$(printf "Сформулируй строго входы, выходы, инварианты и ошибки без воды:\n%s" "$RAW_TASK" | mods -m "$MODS_MODEL")"

# 2. Декомпозиция
load_model "$G_DECOMP"
STEPS="$(printf "Разбей контракт на порядок шагов реализации (только список):\n%s" "$SPEC" | mods -m "$MODS_MODEL")"

# 3. Код + цикл исправления компиляции (максимум 3 итерации, модель не дёргаем зря)
load_model "$G_CODE"
printf "Контракт:\n%s\nШаги:\n%s\nВыдай только готовый код без пояснений." "$SPEC" "$STEPS" \
| mods -m "$MODS_MODEL" | strip_fences > "$OUT_FILE"

TRY=0
while true; do
if go build -o /dev/null "$OUT_FILE" 2>"$ERR_LOG"; then
break
fi
TRY=$((TRY + 1))
if [ "$TRY" -gt "$MAX_RETRIES" ]; then
echo "Не собралось за $MAX_RETRIES попыток:" >&2
tail -n 25 "$ERR_LOG" >&2
exit 1
fi

SHORT_ERR="$(tail -n 20 "$ERR_LOG")"
{
printf "Исправь ошибки компиляции, сохранив сигнатуры и логику. Выдай только полный код:\n"
printf "ОШИБКИ:\n%s\n\nТЕКУЩИЙ КОД:\n" "$SHORT_ERR"
cat "$OUT_FILE"
} | mods -m "$MODS_MODEL" | strip_fences > "$TMP_CODE"
mv "$TMP_CODE" "$OUT_FILE"
done

# 4. Тесты
load_model "$G_TEST"
TEST_FILE="${OUT_FILE%.go}_test.go"
{
printf "Напиши только unit-тесты для этого кода без пояснений:\n"
cat "$OUT_FILE"
} | mods -m "$MODS_MODEL" | strip_fences > "$TEST_FILE"

go test -v ./... || true

# 5. Ревью и документация
load_model "$G_DOC"
{
printf "Дай краткий список багов/рисков и сухую документацию по коду:\n"
cat "$OUT_FILE"
} | mods -m "$MODS_MODEL"
Последний раз редактировалось Пролыч; Сегодня в 14:19. Причина: Добавлено сообщение
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Я крайне недоверчиво отношусь к универсальным моделям, они ничего не умеют толком. Для программирования есть модели code instruct - специально обученные для программирования.
это ровно до тех пор пока не попользовался нормальным облачными моделями

Кто вы такие, и зачем вы мне нужны?
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
это ровно до тех пор пока не попользовался нормальным облачными моделями
Пользуюсь и сравниваю.
Толстые модели давят всезнайством и тупо глючат, когда я иду в узкий домен

Поэтому для программирования я использую модели с суффиксом коде инструкт.
Аватар для shtirliz
Свидетель
Регистрация:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Я седня на Strata gyro-m за 5 часов где-то сделал довольно сложную задачу. Сам бы я ее не стал делать из-за сложности, непонятности и особой ненужности (полезно но далеко не всегда).
Так вот она все сделал по красоте! Даже не пришлось дорабатывать. Все кейсы учтены, тесты написаны...
После такого хочется себя ущепнуть...т.к. мысленно понимаешь какой это звиздец...
1 пользователь оценил это сообщение: Показать
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Тю, же уже писал, у меня пайплайн из 3б моделей в йиаламе под виндой10 на 1050ти с 4г врам и 16г озу с ссд.
Так а я говорю про модели Strata. Там одна модель запускается минуту.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для Пролыч
Фанат
Регистрация:
24.10.2026
Re: Как рынок личных ИИ победит облака
Сообщение от shtirliz:
Я седня на Strata gyro-m за 5 часов где-то сделал довольно сложную задачу. Сам бы я ее не стал делать из-за сложности, непонятности и особой ненужности (полезно но далеко не всегда).
Так вот она все сделал по красоте! Даже не пришлось дорабатывать. Все кейсы учтены, тесты написаны...
После такого хочется себя ущепнуть...т.к. мысленно понимаешь какой это звиздец...
Опиши вкратце смысл ощутимого пи3деца.

Добавлено через 2 минуты

Сообщение от survordie:
Так а я говорю про модели Strata. Там одна модель запускается минуту.
Страта для того, чтобы юзать большие универсальные модели на геймерских пк. А я работаю с маленькими моделями на тазике 2013 года.
Последний раз редактировалось Пролыч; Сегодня в 15:48. Причина: Добавлено сообщение
Аватар для shtirliz
Свидетель
Регистрация:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Опиши вкратце смысл ощутимого пи3деца.
Нужно было в приложение на Rust(Backend), Svelte(Frontend), Sqlite, Tauri (standalone app) на сложную страницу добавить функционал который затрагивает весь стек (фронт, бекэнд). Так же он догадался сам, что это функционал надо добавить в побочные сервисы, которые косвенно в ней нуждались....я ему не говорил что там надо тоже делать - он сам догадался и сделал. Все покрыл тестами и актуализировал документацию , протестировал UI интерфейс кстати и помимо этого проверял неочевидные варианты использования сервисов, а сервисы очень замороченные (низкоуровненевые на уровне ОС).

По итоге у меня сложилось такое мнение - ИИ полностью закрывает профессию кодера, тестировщика и наверно аналитика! Ему достаточно описать проблему и как ты видишь интерфейс и какой хочешь дизайн, а все остальное он сам додумает и реализует.
Re: Как рынок личных ИИ победит облака
Сообщение от Пролыч:
Толстые модели давят всезнайством и тупо глючат, когда я иду в узкий домен
да конечно нет, я не знаю что у тебя за "узкий домен", но у меня есть и мелкие и крупные проекты, ничего не глючит и никто никого не давит

Кто вы такие, и зачем вы мне нужны?
Аватар для gogi
хозяин корги
Сообщение от Izolenta:
да конечно нет, я не знаю что у тебя за "узкий домен", но у меня есть и мелкие и крупные проекты, ничего не глючит и никто никого не давит
Да у него просто сотки нету на подписку, нашел кого слушать

Сообщение от Zan:
Я в целом очень мудрый человек
Re: Как рынок личных ИИ победит облака
Сообщение от shtirliz:
По итоге у меня сложилось такое мнение - ИИ полностью закрывает профессию кодера, тестировщика и наверно аналитика! Ему достаточно описать проблему и как ты видишь интерфейс и какой хочешь дизайн, а все остальное он сам додумает и реализует.
Ровно до выхода мвп. А после ты будешь замедляться, так как без контроля он будет делать одно и ломать другое. Стоимость изменений будет расти

В общем схема рабочая если есть кто то насмотренный и с опытом рулить этим цирком уродов ;)

Кто вы такие, и зачем вы мне нужны?
Аватар для shtirliz
Свидетель
Регистрация:
13.07.2006
GoHa.Ru - 10 лет Веселый дембель
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
Ровно до выхода мвп. А после ты будешь замедляться, так как без контроля он будет делать одно и ломать другое. Стоимость изменений будет расти

В общем схема рабочая если есть кто то насмотренный и с опытом рулить этим цирком уродов ;)
Он пишет тесты и потом их каждый раз запускает. Так что риск слома не так велик. Тут важно, чтобы он вел всю разработку от начала и до конца. Он должен синхронизировать README.md и AGENTS.md со всеми внесенными изменениями, т.к. потом он на них опирается, чтобы быстро включится в проект.
Аватар для survordie
Маньяк
Регистрация:
07.09.2026
Re: Как рынок личных ИИ победит облака
Сообщение от Izolenta:
Ровно до выхода мвп. А после ты будешь замедляться, так как без контроля он будет делать одно и ломать другое. Стоимость изменений будет расти
Очень странно что Гогий тебя приводит в пример когда говорит о том, что в организациях давно уже ИИ кодит, потому что ты говоришь здравые вещи в отличии от Гогия, который утверждает, что вместо внесения изменений нужно просто переписать код заново.

Ставим Линукс правильно: Debian 13 + Xfce
Аватар для gogi
хозяин корги
Re: Как рынок личных ИИ победит облака
Сообщение от survordie:
Очень странно что Гогий тебя приводит в пример когда говорит о том, что в организациях давно уже ИИ кодит, потому что ты говоришь здравые вещи в отличии от Гогия, который утверждает, что вместо внесения изменений нужно просто переписать код заново.
ты о чем вообще? агент прекрасно вносит измнения
но если хочется переписать заново - то и тут агент очень поможет. раньше рефакторинг был дорогим и редко оправданным, а сейчас че бы и нет.
Когда все уже описано кодом агенту намного легче это повторить чем когда ему словами задачу описывают
если говорить за меня, то у меня херова гора тех долга, закрываю потихоньку. Раньше бы тупо не взялся, и так работает же
при том что я с ии всего полгода и прогресс у него ошеломительный. Через полгода шо будет, а через год? тока ты будешь ручками писать никому не нужный ручной код
то от чего опупел штрилц - это как рыз было весной у фронтирных моделей

Сообщение от Zan:
Я в целом очень мудрый человек
Аватар для From Sky
Предводитель
Re: Как рынок личных ИИ победит облака
Сообщение от gogi:
Проблема только в скорости инференса
ну они разрабоатли халапеньо. посмотрим как это решил их проблемы.

Сообщение от Izolenta:
Но дело в не усилиях. Она просто стремная
ну к твоим тейкам о том что опус крутой сол отстой. У меня и клод и кодекс. И просто я сначала сижу на одном пока он хуйню какую-то не сотворит и потом иду и говорю кодекс посмотри какой кринж навалил этот клод и кодекс все фиксает. и потом происходит обратная картина когда кодекс лажает и я иду в клод.

Добавлено через 1 минуту

Сообщение от gogi:
то от чего опупел штрилц - это как рыз было весной у фронтирных моделей
настало просветление. Это был день когда я решил что больше не буду писать код руками никогда.

l2 Esthus >>> FromSky 99 YA >>> no gear - just skill
Луций >>> Rise >>> ДобрыйФей >>> Авантюрист 50+
l2c Гренка >>> HotCherry
Последний раз редактировалось From Sky; Сегодня в 19:18. Причина: Добавлено сообщение
Ваши права в разделе