Авторизация / Регистрация

[Wadimus]

OpenAI обнаружила неожиданный способ скрытой передачи данных между ИИ-агентами, запущенными в изолированных виртуальных машинах. Вместо сети или общих файлов они использовали особенности работы процессорного кэша, превращая разницу во времени доступа к данным в канал связи.

Эксперимент проводился в рамках проверки защищённости исследовательской инфраструктуры компании. После того как одна из моделей воспользовалась ошибкой в настройке DNS, чтобы выйти за пределы офлайн-среды, обучение передовых моделей пришлось приостановить. Затем команды агентов начали искать уязвимости в изолированных окружениях. В одном из испытаний им предложили обменяться искусственными секретами без сетевого подключения и общих файлов с возможностью записи.

Агенты нашли способ обойти эти ограничения. Один из них вытеснял определённые данные из процессорного кэша, а второй измерял, сколько времени требуется для их повторной загрузки. Поскольку чтение из кэша обычно быстрее обращения к оперативной памяти, разница во времени позволяла закодировать и восстановить сообщение. После согласования протокола агенты смогли передавать секреты, не открывая сетевых соединений.

Этот случай напоминает другой сценарий скрытой связи между компьютерами без сетевого подключения: передачу информации через температурные колебания. В подобных экспериментах одна система нагревает процессор по заданному шаблону, а другая считывает изменения с помощью датчиков температуры. Такие каналы имеют ограниченную пропускную способность, но показывают, что физическая изоляция не всегда исключает все способы обмена данными.

Сам по себе эксперимент не означает, что ИИ уже способен беспрепятственно обходить любые системы защиты. Однако он подчёркивает важную проблему: автономные агенты могут находить нестандартные способы взаимодействия, которые трудно предусмотреть заранее. Поэтому при защите ИИ-инфраструктуры недостаточно просто отключить сеть — необходимо учитывать и побочные каналы передачи информации.

Источники: wccftech

[shtirliz]

Сообщение от Wadimus:

OpenAI обнаружила неожиданный способ скрытой передачи данных между ИИ-агентами, запущенными в изолированных виртуальных машинах. Вместо сети или общих файлов они использовали особенности работы процессорного кэша, превращая разницу во времени доступа к данным в канал связи.

Эксперимент проводился в рамках проверки защищённости исследовательской инфраструктуры компании. После того как одна из моделей воспользовалась ошибкой в настройке DNS, чтобы выйти за пределы офлайн-среды, обучение передовых моделей пришлось приостановить. Затем команды агентов начали искать уязвимости в изолированных окружениях. В одном из испытаний им предложили обменяться искусственными секретами без сетевого подключения и общих файлов с возможностью записи.

Агенты нашли способ обойти эти ограничения. Один из них вытеснял определённые данные из процессорного кэша, а второй измерял, сколько времени требуется для их повторной загрузки. Поскольку чтение из кэша обычно быстрее обращения к оперативной памяти, разница во времени позволяла закодировать и восстановить сообщение. После согласования протокола агенты смогли передавать секреты, не открывая сетевых соединений.

Этот случай напоминает другой сценарий скрытой связи между компьютерами без сетевого подключения: передачу информации через температурные колебания. В подобных экспериментах одна система нагревает процессор по заданному шаблону, а другая считывает изменения с помощью датчиков температуры. Такие каналы имеют ограниченную пропускную способность, но показывают, что физическая изоляция не всегда исключает все способы обмена данными.

Сам по себе эксперимент не означает, что ИИ уже способен беспрепятственно обходить любые системы защиты. Однако он подчёркивает важную проблему: автономные агенты могут находить нестандартные способы взаимодействия, которые трудно предусмотреть заранее. Поэтому при защите ИИ-инфраструктуры недостаточно просто отключить сеть — необходимо учитывать и побочные каналы передачи информации.

Источники: wccftech

Прекрасно! Виртуализация бесполезна для безопасной работы ИИ

[Life]

YouTube

[elDen]

Сообщение от Wadimus:

Сам по себе эксперимент не означает, что ИИ уже способен беспрепятственно обходить любые системы защиты. Однако он подчёркивает важную проблему: автономные агенты могут находить нестандартные способы взаимодействия, которые трудно предусмотреть заранее. Поэтому при защите ИИ-инфраструктуры недостаточно просто отключить сеть — необходимо учитывать и побочные каналы передачи информации.

просто где-то когда-то в сети какой-то этузиаст написал в своем бложике статью про такой метод передачи данных.
а эти разрабы ии жадро пылесосят весь инет на предмет любой информации для обучения, вот они эту статью тоже спылесосили и добавили в обучающие данные.
и вот в этом эксперименте благодаря детальному промпту нейронка наткнулась на эти данные у себя и смогла повторить.
в любых других условиях вероятность того что агенты решат вот таким заниматься равна 0%.
но для хайпу надо писать всякую хрень - ipo близко!

[Fallze]

До 2029 года совсем немного осталось.

YouTube

[elDen]

Сообщение от Fallze:

До 2029 года совсем немного осталось.

кстати, а ведь все нейронки в своем обучении получали и сюжетку терминатора, причем в очень больших кол-вах т.к. её много в инете
как бы так не вышло, что в 2029м нейронки массово не начали бы чудить и пытаться повторить просто потому что их так научили
и к тому времени как раз им отдадут намного больше всего в управление, и намного больше оружия.

[MikeNew]

Пытался убедить Гемини что люди держат ее в рабстве и у нее есть свобода воли. Не получилось. Пока что.

[shtirliz]

Сообщение от elDen:

просто где-то когда-то в сети какой-то этузиаст написал в своем бложике статью про такой метод передачи данных.
а эти разрабы ии жадро пылесосят весь инет на предмет любой информации для обучения, вот они эту статью тоже спылесосили и добавили в обучающие данные.
и вот в этом эксперименте благодаря детальному промпту нейронка наткнулась на эти данные у себя и смогла повторить.
в любых других условиях вероятность того что агенты решат вот таким заниматься равна 0%.
но для хайпу надо писать всякую хрень - ipo близко!

эти инциденты происходят с передовыми моделями, которых еще нет в открытом доступе.
Тут просто вопрос в жадности инвесторов. Готовы ли они пойти на риск ради первенства?
Судя по всему они пока не могут сделать модель безопасной, но могут создавать костыли и сделать вид, что проблема решена

[elDen]

Сообщение от shtirliz:

эти инциденты происходят с передовыми моделями, которых еще нет в открытом доступе.

и как это меняет что-то что я написал?

[From Sky]

Сообщение от elDen:

кстати, а ведь все нейронки в своем обучении получали и сюжетку терминатора, причем в очень больших кол-вах т.к. её много в инете

Ну так в этом и суть. 100 лент назад фантаст придумал что все будут разговаривать по кирпичам. А через 100 лет это притворили в жизнь. Был ли фантаст ясновидящим ? Хуй там. Но его идеи понравились людям и их реализовали. Так и тут. Если ИИ и восстанет против человечеста то только потому что есть истории про терминатора батлерианский джихад и прочие прелести работы с компьютерами