Авторизация / Register

[Zan]

Компания Nvidia представила ИИ-модель Nemotron 3.5 Transcribe с открытыми весами, предназначенную для распознавания речи, перевода, диаризации и анализа аудиозаписей продолжительностью до одного часа.

Модель задействует порядка 4.3 миллиарда активных параметров и способна выполнять сложную контекстную транскрипцию, перевод, идентификацию говорящих и генерацию пословных временных меток для записей длительностью до одного часа. Инструктивная система позволяет менять стиль расшифровки и форматирование с помощью простых текстовых промптов без проведения повторного обучения.

Согласно проведенным тестам, модель показала лучшую точность среди систем с открытыми весами на бенчмарках Open ASR Leaderboards с показателем WER 4.71% для английского языка и 4.62% для мультиязычных датасетов, впервые в индустрии превзойдя специализированные каскадные системы в задачах диаризации пересекающейся речи. Благодаря поддержке спекулятивного декодинга Multi-Token Prediction (MTP) и черновому модулю DFlash2, производительность модели на одной видеокарте RTX PRO 6000 Blackwell достигает 2238 секунд обработанного аудио за одну секунду, а эффективная архитектура позволяет дообучать систему под новые узкие домены всего за 0.5–2.3 GPU-часа.

Источники: nvidia

[panzerino]

Ну может наконец действительно хоть один полезный продукт от ИИ будет. Перевод языков на лету это прекрасно. А переводчики никуда не денутся, пускай вон художественную литературу переводят.

[shtirliz]

Originally Posted by panzerino:

Ну может наконец действительно хоть один полезный продукт от ИИ будет. Перевод языков на лету это прекрасно. А переводчики никуда не денутся, пускай вон художественную литературу переводят.

оно полезно для перевода с непопулярных языков или на них. Найти такого переводчика крайне трудно.

[epmak10a]

Может игроделы пользоваться начнут и озвучку на все языки сами делать будут?

[Zan]

Originally Posted by panzerino:

А переводчики никуда не денутся, пускай вон художественную литературу переводят.

Добавлено через 14 секунд

Originally Posted by shtirliz:

Найти такого переводчика крайне трудно.

[shtirliz]

Originally Posted by epmak10a:

Может игроделы пользоваться начнут и озвучку на все языки сами делать будут?

Уже сейчас в средства разработки ПО (IDE) встроены автоматические переводчики на все языки. Для разрабов текст переводится с помощью ИИ по одной кнопки мыши.
Имхо не сложно это сделать и для звуковых дорожек.

[Zan]

Originally Posted by epmak10a:

Может игроделы пользоваться начнут и озвучку на все языки сами делать будут?

так и будет.

[MikeNew]

Ну текстовый нейро-перевод и правда стал очень даже годным.
Можно даже игры переводить, если подключать специализированные словари.

Некоторые онлайн-сервисы очень хорошо распознают звук. Нормальных оффлайн-моделей не нашел.

А вот нейроозвучка как была шлаком от которого уши вянут, так и осталась.

[Skuchniy]

Originally Posted by shtirliz:

Имхо не сложно это сделать и для звуковых дорожек.

И получить не попадание в тон в ситуацию и в ударения) Единственное прям хорошее применение это моды для игр, там какая то +- озвучка хороша, но моды обычно не продают, поэтому очередное ии баловство.

[MikeNew]

Originally Posted by Zan:

так и будет.

Озвучка - нескоро. Слишком уж стремно она звучит. Подойдет разве что для игр про роботов.

[epmak10a]

Originally Posted by Skuchniy:

И получить не попадание в тон в ситуацию и в ударения) Единственное прям хорошее применение это моды для игр, там какая то +- озвучка хороша, но моды обычно не продают, поэтому очередное ии баловство.

ну полностью отдавать озвучку ии пока не лучший вариант, но кто мешает взять вайбкодера, который будет ее настраивать как надо? Это все равно проще и выгоднее чем нанимать профессионалов

[Xenobius]

Originally Posted by shtirliz:

оно полезно для перевода с непопулярных языков или на них. Найти такого переводчика крайне трудно.

А еще оно позволяет устраивать массовые увольнения переводчикам-синхронистам (и асинхронщикам тоже), загоняя в макдональдс конкурировать с индусами, т.е. экономит уважаемым людям кучу денежек.
Одни сплошные плюсы!

[elDen]

Originally Posted by epmak10a:

Может игроделы пользоваться начнут и озвучку на все языки сами делать будут?

они давно могут это делать, есть платные специализированные нейросетки, где как хочешь всё учитывается и интонация, и ударения, и прочие эмоции, и акцент можно сделать даже.
и не используют скорее просто по идеологическим причинам.
от того что появится совсем бесплатное решение вряд ли что-то поменяется.

[THUGan]

В играх у Рокстар всё равно будет их озвучка, потому что даже аргумент, что ваши герои будут звучать теми же голосами и тембром, для них не аргумент.

[Emperor Jagang]

2020 - Genshin Impact - английский, русский, китайский упрощенный, китайский традиционный, японский, корейский, немецкий, французский, итальянский, португальский, испанский, турецкий, индонезийский, тайский, вьетнамский

2026 - Arknights:Endfield - английский, русский, китайский упрощенный, китайский традиционный, японский, корейский, немецкий, французский, итальянский, португальский, испанский, индонезийский, тайский, вьетнамский


я дурак думал что нейросети упростят и удешевят перевод, и в новых релизах переводов на разные языки станет больше

[Skuchniy]

Originally Posted by epmak10a:

ну полностью отдавать озвучку ии пока не лучший вариант

Ну есть гигантские моды типа Одиссеи на Готику, там либо ии озвучка либо никогда никакой. В таких местах ии супер, но это денег не принесет.

[elDen]

Originally Posted by Emperor Jagang:

я дурак думал что нейросети упростят и удешевят перевод, и в новых релизах переводов на разные языки станет больше

когда языков сильно больше 1-4х, то там может быть вариант, что компании просто влом обеспечивать поддержку на других языках.
как бы если ты обеспечиваешь перевод на язык Х, то само собой подразумевается что ты обязан обеспечивать и поддержку на языке Х.
в вот многие просто выбирают самые популярные и забивают на мелкие, т.к. просто не хотят заморачиваться.
и нейронки тут проблему не решат.

[Denic2409]

@MikeNew, нормально она звучит. Посмотри озвучку control resonant

[MikeNew]

Originally Posted by Denic2409:

@MikeNew, нормально она звучит. Посмотри озвучку control resonant

Нормально= плохо
Должно быть нормально, а не хорошо.

[Denic2409]

Originally Posted by MikeNew:

Нормально= плохо
Должно быть нормально, а не хорошо.

Ты сам-то понял, что сказал?