Авторизация / Регистрация

[Wadimus]

Видеокарты NVIDIA GeForce RTX потребительского сегмента могут оказаться заметно мощнее в задачах искусственного интеллекта, чем принято считать. Энтузиасты нашли способы обойти программные ограничения нескольких поколений GPU и добиться прироста вычислительной производительности до двух раз без замены драйверов и увеличения энергопотребления.

Для GeForce RTX 30 на архитектуре Ampere модификация повышает скорость выполнения операций, связанных с матричными вычислениями FP/BF16 с накоплением FP32. На RTX 3090 Ti это позволило ускорить умножение матриц в формате BF16 до 80%. Решение поддерживает карты на чипах GA102, GA103, GA104 и GA106. Отдельный проект для RTX 40 на архитектуре Ada Lovelace показал ещё более впечатляющий результат: RTX 4090 увеличила производительность вычислений FP16 с накоплением до 331,6 Тфлопс против исходных 165,6 Тфлопс. Разблокировка заявлена для GPU AD102, AD103 и AD106.

По данным TechPowerUp, подобные модификации позволяют приблизить вычислительные возможности игровых видеокарт к профессиональным ускорителям NVIDIA. Особенно заметной разница может стать при запуске локальных языковых моделей: повышается скорость обработки входных данных и генерации токенов. Аналогичный подход применили и к GeForce RTX 20 на архитектуре Turing, также добившись заявленного двукратного прироста.

Однако есть нюанс: модификации необходимо активировать при загрузке системы, до привязки карты к драйверам NVIDIA, а вмешательство в работу GPU лишает гарантии. Поэтому эксперимент выглядит заманчиво для энтузиастов ИИ, но превращать свою видеокарту в вычислительного монстра придётся на собственный страх и риск.

Источники: techpowerup

[Fallze]

Сообщение от Wadimus:

Однако есть нюанс: модификации необходимо активировать при загрузке системы, до привязки карты к драйверам NVIDIA, а вмешательство в работу GPU лишает гарантии.

Там гарантия уже кончилась на картах.

[Wadimus]

Сообщение от Fallze:

Там гарантия уже кончилась на картах.

Не факт, сейчас все старые закрома разбирают и продают эти видеокарты, а гарантия же действует с момент продажи.

[Алмаз]

Короче как я понял, для игр это бесполезно да?

[Clive]

Сообщение от Алмаз:

для игр это бесполезно да?

да, только для рабочих задач.

[elDen]

Сообщение от Алмаз:

Короче как я понял, для игр это бесполезно да?

для геймеров это поможет снизить цены на 50ю серию.
т.к. теперь покупка старых карт для локального ии становится более привлекательной, нежели покупка любой карты 50й серии.
а меньше спрос на 50ю серию - ниже цены на 50ю серию.

[Gaari]

Сообщение от elDen:

для геймеров это поможет снизить цены на 50ю серию.
т.к. теперь покупка старых карт для локального ии становится более привлекательной, нежели покупка любой карты 50й серии.
а меньше спрос на 50ю серию - ниже цены на 50ю серию

Такое прокатывает разве что в фильмах. В реале если какой-то Васян в гараже смог что-то подобное сделать - это не значит, что все сразу побежали снижать цены. Может все эти выкрутасы в итоге превратят твою карту в кирпич.

[elDen]

Сообщение от Gaari:

Такое прокатывает разве что в фильмах. В реале если какой-то Васян в гараже смог что-то подобное сделать - это не значит, что все сразу побежали снижать цены.

отлично работает, работало и всегда будет работать.
просто не нужно думать, что это как в играх и фильмах изменится за секунду

[Clive]

Сообщение от elDen:

отлично работает, работало и всегда будет работать.
просто не нужно думать, что это как в играх и фильмах изменится за секунду

откатится все равно слабее, чем поднялось, так всегда и было

[elDen]

Сообщение от Clive:

откатится все равно слабее, чем поднялось, так всегда и было

потому что инфляция
цены всегда растут, поэтому и откатываются обратно после кризисов не до конца.
особенно заметно когда до кризиса цены долго не росли на уровень инфляции, а после кризиса уже падают с учетом накопленной инфляции.
единственное когда падают до старого уровня или ниже - это когда товар становится не нужный, например когда во время кризиса придумали что-то новое и более хорошее на замену.

[Clive]

Просто барыги никогда не будут торговать в убыток, как с майнингом, цены один раз пробили потолок, и даже упав они все равно были уже выше чем цены до майнинга.

[suicid]

Сообщение от elDen:

для геймеров это поможет снизить цены на 50ю серию.

не снизит, это значит что теперь иишники и все старые будут сметать с полок и цена на них только поползет вверх, как с майнингом.

[THUGan]

ФУ новострик байтер - "Энтузиасты вдвое ускорили производительность на GeForce RTX 20, RTX 30 и RTX 40 в задачах искусственного интеллекта"

Добавлено через 3 минуты

Сообщение от Wadimus:

RTX 3090 Ti это позволило ускорить умножение матриц в формате BF16 до 80%.

Ммм, вот это бы как то с DLSS замутить, в новых прессетах М и Л как раз старые каты хромают с эти вы числениями. Пойду нейронку помучаю по этому вопросу.

[Wadimus]

Сообщение от THUGan:

ФУ новострик байтер - "Энтузиасты вдвое ускорили производительность на GeForce RTX 20, RTX 30 и RTX 40 в задачах искусственного интеллекта"

Не влезло в заголовок

[Clive]

Сообщение от THUGan:

в новых прессетах М и Л как раз старые каты хромают с эти вы числениями.

они не то чтобы и нужны, презеты эти. Только если в 4к

[THUGan]

Сообщение от Clive:

они не то чтобы и нужны, презеты эти. Только если в 4к

М оч годный, он не шлейфит как К , единственный аналог старый Ф, но Ф мылит картинку и если в игре нет параметра "увеличение резкости", приходиться накидывать ещё фильр. Но из всех прессетов старый Ф самый сбалансированный имхо.

[Денис Лихачев]

@elDen, скорее всего просто на 20,30,40 серии цена взлетит без изменения на 50ую

[Clive]

Сообщение от THUGan:

М оч годный, он не шлейфит как К

тестил М в куче игр и из за того что М включается только в режиме Перформанс, из за слишком низкого % рендера в 1440р мелкие детали уже все пикселить начинают. А если у игры еще и рейтрейсинг, то ему банально не хватает информации для отрисовки затенения и уже АО начинает рябить и мерцать. Это например в AC Shadows оч хорошо заметно.
Т.е. надо через инспектор или nvapp врубать презет м для Квалити режима, а это уже сильно садит фпс даже на 5000 серии по сравнению с К. Плюс презет М дает некий перешарп из за агрессивного метода работы, мелкие детали мерцают с ним. Я пока для себя не нашел применение этого презета целесообразным в 1440р

[Neocronic]

Сообщение от elDen:

для геймеров это поможет снизить цены на 50ю серию.
т.к. теперь покупка старых карт для локального ии становится более привлекательной, нежели покупка любой карты 50й серии.
а меньше спрос на 50ю серию - ниже цены на 50ю серию.

с какой стати? старые карты уже не продаются официально, сняты с продажи давно, сейчас 4070ти супер тебе вполне могут по цене 5070ти отдать с рук, потому что последние остались в своем роде
Я когда свою 5070ти брал прошлым летом она стоила на 30к дешевле 4070ти супер

[elDen]

Сообщение от Neocronic:

с какой стати? старые карты уже не продаются официально, сняты с продажи давно, сейчас 4070ти супер тебе вполне могут по цене 5070ти отдать с рук, потому что последние остались в своем роде

официально - это значит в магазах, а это продается и будет продаваться ещё долго.
я уж не говорю сколько на вторичке их лежит.

Сообщение от suicid:

не снизит, это значит что теперь иишники и все старые будут сметать с полок и цена на них только поползет вверх, как с майнингом.

все же как с майнингом тут не выйдет, т.к. нейросетки не дают прямого денежного вознаграждения.
с криптой любой дебил мог купить карту, вставить, запустить софт и у него полился денежный ручеек.
с иишкой практически никто не может вставить карту и получить финансовую прибыль с этого.
и это ключевое различие, если бы нейронки могли давать всем реальную прибыль - цены на видяхи в космос бы улетели.
а так пока все повышения - это больше из-за хайпа с ценами на память.

[Neocronic]

Сообщение от elDen:

официально - это значит в магазах, а это продается и будет продаваться ещё долго.

ну вон днс открыл он уже даже не ищет по запросу если вбиваешь что либо с числом меньше 5000 в названии
на вторичке тебе могут разве что в хламину убитую майнингом продать или с перепаенным чипом с какой нить 1050ти

поэтому развлекаться с снятой с продажи видяхой это надо быть мегамозгом, потом мало того по гарантии не поменяешь, так и еще замену не купишь больше нигде

[elDen]

Сообщение от Neocronic:

ну вон днс открыл он уже даже не ищет по запросу если вбиваешь что либо с числом меньше 5000 в названии

питерский днс 40ю серию не продает, но продает 30, 20 и 10ю серии.
просто 40ю раскупили возможно у них сейчас.
но ничто не мешает заказать на озоне

[suicid]

Сообщение от elDen:

все же как с майнингом тут не выйдет, т.к. нейросетки не дают прямого денежного вознаграждения.
с криптой любой дебил мог купить карту, вставить, запустить софт и у него полился денежный ручеек.

с криптой не любой дебил майнил, а обычно прошаренные, так и тут прошаренные же все выкупят и цена полетит вверх, доход от ии почти такой же прямой, фигарят видосы по кд\просмотры\бабло или разные модели или еще какую чушь которая тут же продается.

[Clive]

Сообщение от elDen:

с криптой любой дебил мог купить карту, вставить, запустить софт и у него полился денежный ручеек.

и гонять свой единственный комп 24\7 с риском что он сдохнет или квартиру спалит в твое отсутствии, не все были готовы этим заниматься

[Tenqlnk]

Сообщение от Clive:

и гонять свой единственный комп 24\7 с риском что он сдохнет или квартиру спалит в твое отсутствии, не все были готовы этим заниматься

Сдается мне, что те кто это выкупает, имеют не один комп ) А елДен просто не шарит, хобзайка хуле )