Авторизация / Регистрация

[Zan]

Инновационная технология сжатия данных TurboQuant спровоцировала резкое падение акций лидеров полупроводниковой индустрии — Samsung, Micron и SK Hynix. Рынок опасается масштабного сокращения спроса на серверную память, так как новый алгоритм позволяет снизить потребность в ОЗУ минимум в шесть раз без потери качества генерации ИИ. Методика базируется на квантовании кэша до 3–4 бит и комбинации двух математических подходов: PolarQuant (перевод в полярные координаты) и QJL (кодирование остаточных ошибок).

Помимо колоссальной экономии ресурсов, TurboQuant ускоряет вычисления на флагманских чипах вроде NVIDIA H100 до восьми раз. Главное преимущество метода — отсутствие необходимости в дообучении моделей, что делает его готовым к немедленному внедрению в дата-центрах. Появление такой оптимизации ставит под вопрос целесообразность закупки сверхбольших объемов дорогостоящей видеопамяти, что и вызвало панику среди инвесторов, привыкших к стабильному росту сегмента серверных комплектующих.

[Hank Moody]

инвесторов мочить в сортирах

[Diavator]

Вот об этом я и писала уже один раз на вопрос моего знакомого "Куда дальше нейронкам развиваться?".
Ответь простой:
1. Узкоспециализированные нейросети (например на поиск рака по анализам пациента или военные технологии то же визор у дронов)
2. Квантование или новый тип сжатия без потери качества (старый метод это как кувалдой по голове дать, просто отуплял нейронку при снижении квантов, та же Q4 K_L уже работать неприятно, тупит, особенно если сама модель не большая 12B например.)
3. Метод кеширования диалога на стороне нейронки, сейчас вся ваша переписка каждый раз отсылается в чат при нажатии копки "Ввод", а если у вас ограниченное количество токенов оплачено, то лимит можно быстро скушать. (DSV4 это уже реализовали, что бы за 1н запрос не тратился лимит токенов, нейронка помнит диалог и вы просто добавляете к нему новое сообщение, это для тех кто API юзаетпросто спасение и невероятная экономия на выводимых токенах.)

Ожидаемо падение спроса на память, авось DDR5 в цене расти перестанет.

[Dopebat2]

Сообщение от Diavator:

авось DDR5 в цене расти перестанет

Расти может и перестанет, а вот уже взлетевшие цены врядли заметно снизят.

[suicid]

Сообщение от Zan:

Инновационная технология сжатия данных TurboQuant спровоцировала резкое падение акций лидеров полупроводниковой индустрии — Samsung, Micron и SK Hynix. Рынок опасается масштабного сокращения спроса на серверную память, так как новый алгоритм позволяет снизить потребность в ОЗУ минимум в шесть раз без потери качества генерации ИИ. Методика базируется на квантовании кэша до 3–4 бит и комбинации двух математических подходов: PolarQuant (перевод в полярные координаты) и QJL (кодирование остаточных ошибок).

вобщето там есть потери, другое дело что посчитали раз им надо будет в 8 раз меньше памяти то и насрать на потери.