Авторизация / Регистрация

[Zan]

Новое исследование Google FACTS показало, что современные ИИ-чат-боты часто ошибаются в фактах. Даже лучшая модель, Gemini 3 Pro, дала лишь 69% верных ответов в тестах на достоверность. ChatGPT-5, Claude 4.5 и другие показали результат 51–62%.

Каждый третий ответ таких систем может содержать ошибку, причем боты выдают их с большой уверенностью. Хуже всего ИИ справляется с анализом графиков и изображений — там точность падает ниже 50%.

Исследование подчеркивает: текущие тесты ИИ проверяют умение выполнить задачу, а не истинность ответов. Это означает, что информацию от ботов необходимо перепроверять, особенно в серьезных вопросах. Однако такая проверка может отнять больше времени, чем самостоятельный поиск решения.

[Sirotin]

еще бы методы тестирования написали....

[shinkuchan]

Что они спрашивали ? про расизм и негров ?

[Rokai]

Ну вот как-то маме помогал сдавать экзамен по работе через чатгпт. Первый раз 88% гдето, второй раз 93% верных ответов.

[_pain_]

Яхз как можно ии хоть что то доверять. Тоже самое что на улице к рандомному херу подойти и спросить как тебе жить. Ебнутое поколение

[Znoz]

Сообщение от shinkuchan:

Что они спрашивали ? про расизм и негров ?

Про Крым.

[Bladesinger]

Общайтесь с людьми. Они никогда не врут.

[Ellar777]

А тем временем на производство этой Параши ухайдокали все запасы чипов памяти и люди себе комп собрать по адекватной цене не могут... Ски.

[rogue]

так это не интеллект, а параша)

[FinalRelease]

когда появилась первая версия гпт она работала в 100000 раз лучше того что есть сейчас, в свободном общении. Типа когда надо что то быстро спросить, и получить ответ.
Если даешь массив каких то вводных данных щас работает конечно лучше.

Добавлено через 24 секунды

но типа, эта херня никого заменить не может, только ускоряет работу человека в разы

[Bladesinger]

Сообщение от FinalRelease:

но типа, эта херня никого заменить не может, только ускоряет работу человека в разы

На самом деле ею легко можно заменить любого эксперта, аналитика и комментатора из СМИ. Возможно, она даже лучше будет в этой роли, чем любой из них.

[Rokai]

@Bladesinger, только вот эксперту и аналитику нужны года, чтоб стать экспертом или хорошим аналитиком. А ИИ уже такой есть, еще пару плюс минус обновлений, может еще лучше станет. Как не крути хороший дополнительный помошник ускоряющий и оптимизирующий рутинную работу.

[elDen]

на самом деле ллм не врет - оно не может врать, т.к. у него нет понятия врать.
оно просто генерит ответ на основе введенных токенов с заданной в настройках случайностью.
чем выше случайность - тем человечнее ответы выглядят, но ниже шансы на правильный ответ.
чем более точный промпт вы завели - тем выше шанс что сгенерится правильный ответ.

[FinalRelease]

Сообщение от Bladesinger:

На самом деле ею легко можно заменить любого эксперта, аналитика и комментатора из СМИ. Возможно, она даже лучше будет в этой роли, чем любой из них.

Потому что експертов и аналитиков журналистов не бывает. Они сами придумали эту квази-професию. Но она интересна только всяким маргиналам.

[Altwazar]

Сообщение от elDen:

оно просто генерит ответ на основе введенных токенов с заданной в настройках случайностью.

Что-то типа того, нейросетка пытается выдать наиболее вероятный ответ на основе статистической вероятности после скормленных ему данных.
Выдаёт порой такой осмысленный "анализ":

Цитата:

Праздник ежегодно отмечают в России в третье воскресенье октября, поэтому конкретная дата меняется год от года. В 2026 году торжество выпадает на 21 июня.

Это во многом похоже на запросы к человеческой нейросетке, которая старается выдать на основе усвоенных шаблонов наиболее вероятный ответ как можно быстрее и без усилий. Только человек, обычно, вовремя даёт по тормозам и знает где надо перейти на ручной режим, а нейросетка в любой момент может начать наслаивать галюны в ответ.
Иногда с первых строчек выдачи видишь направление движения и повторяешь этот же вопрос в чистом контексте.