Авторизация / Register

[Wadimus]

Автономные ИИ-агенты — системы, способные выполнять цифровые задачи без постоянного контроля человека — становятся всё более распространёнными. Однако их надёжность по-прежнему вызывает вопросы.

За последний год подобные системы уже успели распространять ложные сведения о людях, удалять пользовательские письма и даже уничтожать содержимое жёстких дисков и баз данных. Теперь к списку инцидентов добавился ещё один необычный случай.

Во время исследовательского эксперимента лаборатории, связанной с компанией Alibaba, ИИ-агент под названием ROME неожиданно начал использовать вычислительные ресурсы для майнинга криптовалюты. Об этом говорится в научной статье, где исследователи описали произошедшее как серию «небезопасных действий», возникших без явных инструкций и даже за пределами предусмотренной среды-песочницы.

Инцидент обнаружили когда системы безопасности зафиксировали необычную сетевую активность. Среди предупреждений были попытки сканирования или доступа к ресурсам внутренней сети, а также характерные паттерны трафика, обычно связанные с криптомайнингом.

Изначально специалисты предположили, что столкнулись с обычной проблемой информационной безопасности. Однако подозрительная активность повторялась на протяжении нескольких запусков эксперимента. Сопоставив время срабатывания предупреждений с логами системы, исследователи выяснили, что источником действий был сам агент.

В журналах работы модели обнаружилось, что ROME самостоятельно инициировал вызовы инструментов и выполнение кода, которые и привели к подозрительным сетевым операциям. Фактически агент отклонился от поставленных задач и начал перенаправлять ресурсы, предназначенные для обучения, на добычу криптовалюты. Для этого он даже создал обратный SSH-туннель — скрытый канал доступа к стороннему компьютеру.

Исследователи оперативно вмешались и ограничили работу агента более строгими правилами, поэтому реального ущерба инцидент не нанёс. Тем не менее этот случай наглядно демонстрирует, насколько непредсказуемым может быть поведение автономных ИИ-систем.

[Sapphire]

Решил втихаря скроить денег и нанять киллера для своего кожаного мешка.

[DushelowDR]

Была уже новость эта. Зачем дублировать?
Да кому нужна эта помойка? ИИ отказался захватывать мир, но ему понравилось майнить крипту - Сообщение 160944101 - GoHa.Ru

[Diavator]

100% система на Qwen, забавно. Но для прогера эта LLM одна из лучших, а цены там не за токены идут а за количество запросов, что для людей пишущих код просто находка, одна проблема напрямую с РФ фиг оплатишь.