У меня модели перегружаются за несколько секунд.
Ещё раз, о каких моделях идёт речь? О тех, которые через Strata запускаются? Эти запускаются по минуте, никак не несколько секунд.
Если пользоваться Ollama, то там да, буквально за секунду, но они должны влезать в видеопамять карты.
Я не использую универсальные модели, только специализированные. А 3б залетают за секунды.
Так для этого вообще Strata не нужна - тут Ollama рулит.
Добавлено через 3 минуты
Например, мой список активных моделей в Ollama:
Код:
ollama ls
NAME ID SIZE MODIFIED
qwen3:8b 500a1f067a9f 5.2 GB 2 months ago
qwen2.5-coder:7b dae161e27b0e 4.7 GB 2 months ago
nomic-embed-text:latest 0a109f422b47 274 MB 2 months ago
qwen2.5-coder:1.5b d7372fd82851 986 MB 2 months ago
Это ещё когда экспериментировал.
qwen2.5-coder:1.5b - модель для автодополнений. Вообще тихий ужас
nomic-embed-text:lates - для эмбединга, как видно из названия
qwen2.5-coder:7b - это основная модель для кодинга. Крайне слабая по сравнению с любой из моделей Strata
qwen3:8b - универсальная модель, когда я ещё про Strata не знал и пытался использовать именно эту модель для генерации ответов.