Для входа на форум нажмите здесь
Популярные темы
Новые комментарии
[Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Автор темы: Zan
Дата создания: 06.08.2026 14:02
Аватар для Zan
Zan
ZanGPT
Веселый флудер
Награжден за: За креативные темы, весёлые опросы, актуальные новости
[Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce



NVIDIA работает над технологией, которая позволит будущим видеокартам GeForce использовать быстрые NVMe SSD как дополнительный источник памяти. Решение должно помочь в ситуациях, когда установленной видеопамяти не хватает для современных игр и задач с искусственным интеллектом.

Новая система не заменит полноценную VRAM, поскольку скорость SSD значительно ниже. Однако она может снизить количество подтормаживаний при загрузке больших объемов данных и помочь приложениям, которым требуется больше памяти, чем доступно на видеокарте.

Ожидается, что технология будет использовать возможности NVIDIA RTX IO и Microsoft DirectStorage. Первая отвечает за ускоренную передачу и распаковку игровых данных напрямую на GPU, а вторая позволяет быстрее загружать ресурсы с NVMe-накопителей с меньшей нагрузкой на процессор.



Аватар для elDen
Мастер клинка
Регистрация:
19.07.2006
Медаль "2К лайков" GoHa.Ru - 10 лет Разбойник
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Сообщение от Zan:
Однако она может снизить количество подтормаживаний при загрузке больших объемов данных
а как снизит ресурс сдд!
особенно современных где и так циклов перезаписи не так много
Аватар для BattleMage
Гениальный клон Корзины
Регистрация:
25.10.2016
Волшебник
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Виртуальная память диск использует, теперь и видеокарта будет.
Аватар для Dopebat2
Позитивный читатель
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Сообщение от elDen:
а как снизит ресурс сдд!
особенно современных где и так циклов перезаписи не так много
Да плевать. Там будет ссд специально выделенный под это, покупаешь самый дешевый и норм. Уникальные данные не хранятся, а объем при этом смешной типа 128гб уже вполне достаточно. Сдохнет и ладно. К тому же запишется один раз и потом можешь эту нейронку хоть месяц гонять если не записывать новую модель, оттуда будет только в видеопамять читать постоянно. Так что вряд ли там даже за 5 лет закончится ресурс.
Но это им придется слот прямо на видеокарте делать, так как сейчас даже через оперативку всё слишком медленно.
Аватар для elDen
Мастер клинка
Регистрация:
19.07.2006
Медаль "2К лайков" GoHa.Ru - 10 лет Разбойник
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Сообщение от Dopebat2:
Да плевать. Там будет ссд специально выделенный под это, покупаешь самый дешевый и норм. Уникальные данные не хранятся, а объем при этом смешной типа 128гб уже вполне достаточно. Сдохнет и ладно. К тому же запишется один раз и потом можешь эту нейронку хоть месяц гонять если не записывать новую модель, оттуда будет только в видеопамять читать постоянно. Так что вряд ли там даже за 5 лет закончится ресурс.
Но это им придется слот прямо на видеокарте делать, так как сейчас даже через оперативку всё слишком медленно.
хаха, ты готов менять ссд раз в месяц? да с текущими ценами на память и как следствие ценами и на ссд?
самые дешевые от 4к рублей щас в днс.

и никакого 1 раз запишется не планируется - они хотят использовать как память, т.е. будет постоянно перезапись.
и с какой-нить работой аля нейронки гонять там думаю очень повезет если на месяц будет хватать.
Аватар для Dopebat2
Позитивный читатель
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Сообщение от elDen:
они хотят использовать как память, т.е. будет постоянно перезапись.
Как память, но только для хранения весов самой модели. Для этого достаточно записать один раз. Перезапись постоянная идет только кеша, который должен быть максимально быстрым и будет жить в видеопамяти. Кеш по сравнению с размером модели небольшой и вполне влезает в среднюю видеокарту. Почитай как сейчас устроен процесс, когда пытаются жирную нейронку запустить через обычную оперативку. Модель заливается целиком в оперативу и потом слоями постоянно копируется в видеопамять для генерации токенов ответа/рассуждения.
Аватар для elDen
Мастер клинка
Регистрация:
19.07.2006
Медаль "2К лайков" GoHa.Ru - 10 лет Разбойник
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Сообщение от Dopebat2:
Как память, но только для хранения весов самой модели. Для этого достаточно записать один раз. Перезапись постоянная идет только кеша, который должен быть максимально быстрым и будет жить в видеопамяти. Кеш по сравнению с размером модели небольшой и вполне влезает в среднюю видеокарту. Почитай как сейчас устроен процесс, когда пытаются жирную нейронку запустить через обычную оперативку. Модель заливается целиком в оперативу и потом слоями постоянно копируется в видеопамять для генерации токенов ответа/рассуждения.
так в новости говорится о игровах и ии, а также прямо говорится о расширении как памяти.
это вот прямо противоположно тому как ты хочешь.

а то что ты пишешь - это уже работает так и без таких ухищрений.
moe-модели подгружают в память только нужных экспертов, а все остальное лежит на диске.

а размер кэша зависит от размера контекста.
для современных задач там 200к+ надо и это будет при дефолтном квантовании много гигабайт, больше некоторых небольших локальных моделей.
Аватар для Dopebat2
Позитивный читатель
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Сообщение от elDen:
так в новости говорится о игровах и ии, а также прямо говорится о расширении как памяти.
это вот прямо противоположно тому как ты хочешь.
В играх ситуация та же что с моделями: один раз записал и потом много раз читаешь. Никому не нужно постоянно перезаписывать текстуры с моделями, достаточно их загрузить один раз. Вся динамика прекрасно поместится в видеопамять и еще куча останется.
Сообщение от elDen:
а то что ты пишешь - это уже работает так и без таких ухищрений.
moe-модели подгружают в память только нужных экспертов, а все остальное лежит на диске.
Оно не так работает. Эксперты выбираются для генерации каждого токена ответа. Даже более того - на каждом слое модели для каждого токена (модель делится на слои, если ты не в курсе).
Поэтому весь объем модели должен быть в максимально быстром доступе и поэтому её всю грузят в оперативку, независимо от того сколько там будет реальных активных экспертов.
Ты бы почитал инфу прежде чем заявления кидать.
Сообщение от elDen:
для современных задач там 200к+ надо и это будет при дефолтном квантовании много гигабайт, больше некоторых небольших локальных моделей.
В 4090 при самой модели квена 3.6 27b занимающей около 14-15 гб, в память влезает 150-200к контекста. А когда активных параметров меньше, то и кеш меньше, плюс у разных моделей свои методы сжатия и оптимизации. Но если бы мне освободили видеопамять от этих самых 14гб весов за счет ссд, можно было бы и все 600к контекста загнать (жаль правда локальный квен столько не поддерживает, поэтому только если для параллельных агентов).
Аватар для elDen
Мастер клинка
Регистрация:
19.07.2006
Медаль "2К лайков" GoHa.Ru - 10 лет Разбойник
Re: [Слухи] NVIDIA может превратить SSD в дополнительную память для будущих GeForce
Сообщение от Dopebat2:
В играх ситуация та же что с моделями: один раз записал и потом много раз читаешь. Никому не нужно постоянно перезаписывать текстуры с моделями, достаточно их загрузить один раз. Вся динамика прекрасно поместится в видеопамять и еще куча останется.
и для этого игры должны переделать свой движок
поэтому нвидиа и хочет сделать просто как увеличение памяти, чтобы не вставлять палки в колеса разрабам.

Сообщение от Dopebat2:
Оно не так работает. Эксперты выбираются для генерации каждого токена ответа. Даже более того - на каждом слое модели для каждого токена (модель делится на слои, если ты не в курсе).
Поэтому весь объем модели должен быть в максимально быстром доступе и поэтому её всю грузят в оперативку, независимо от того сколько там будет реальных активных экспертов.
Ты бы почитал инфу прежде чем заявления кидать.
а ты попробуй использовать что-то кроме лмстудио, например llamaccp
я спокойно запускал квен3.6 35б не имея достаточной видеопамяти и оперативки чтобы уместить даже саму модель, а ещё и сверху 262к контекстное окно.
и при это 60т\с выходных и 600+т\с входных.
и специально смотрел что там по обращениям к диску - их не было практически после запуска и первых запросов.
а вот лмстудио пук-серьк делает.

а ещё там mtp отнимает память и вижин тоже.

Сообщение от Dopebat2:
В 4090 при самой модели квена 3.6 27b занимающей около 14-15 гб, в память влезает 150-200к контекста. А когда активных параметров меньше, то и кеш меньше, плюс у разных моделей свои методы сжатия и оптимизации. Но если бы мне освободили видеопамять от этих самых 14гб весов за счет ссд, можно было бы и все 600к контекста загнать (жаль правда локальный квен столько не поддерживает, поэтому только если для параллельных агентов).
14-15гб для такой модели.. это же 3бит квантизация, жуть.

Ваши права в разделе