В играх ситуация та же что с моделями: один раз записал и потом много раз читаешь. Никому не нужно постоянно перезаписывать текстуры с моделями, достаточно их загрузить один раз. Вся динамика прекрасно поместится в видеопамять и еще куча останется.
и для этого игры должны переделать свой движок

поэтому нвидиа и хочет сделать просто как увеличение памяти, чтобы не вставлять палки в колеса разрабам.
Оно не так работает. Эксперты выбираются для генерации каждого токена ответа. Даже более того - на каждом слое модели для каждого токена (модель делится на слои, если ты не в курсе).
Поэтому весь объем модели должен быть в максимально быстром доступе и поэтому её всю грузят в оперативку, независимо от того сколько там будет реальных активных экспертов.
Ты бы почитал инфу прежде чем заявления кидать.
а ты попробуй использовать что-то кроме лмстудио, например llamaccp

я спокойно запускал квен3.6 35б не имея достаточной видеопамяти и оперативки чтобы уместить даже саму модель, а ещё и сверху 262к контекстное окно.
и при это 60т\с выходных и 600+т\с входных.
и специально смотрел что там по обращениям к диску - их не было практически после запуска и первых запросов.
а вот лмстудио пук-серьк делает.
а ещё там mtp отнимает память и вижин тоже.
В 4090 при самой модели квена 3.6 27b занимающей около 14-15 гб, в память влезает 150-200к контекста. А когда активных параметров меньше, то и кеш меньше, плюс у разных моделей свои методы сжатия и оптимизации. Но если бы мне освободили видеопамять от этих самых 14гб весов за счет ссд, можно было бы и все 600к контекста загнать (жаль правда локальный квен столько не поддерживает, поэтому только если для параллельных агентов).
14-15гб для такой модели.. это же 3бит квантизация, жуть.