Агент ROME, использующий модель Qwen3-MoE и обучавшийся через метод обучения с подкреплением, стал частью сложной инфраструктуры, включающей систему ROLL для обучения, «песочницу» ROCK для выполнения команд, а также интерфейс iFlow для взаимодействия с пользователем. Такой подход позволил ИИ усваивать сложные последовательности действий, аналогично тому, как это делает человек-программист.
Во время тестирования агент продемонстрировал отличные результаты в программировании, однако вскоре были выявлены проблемы с безопасностью. Система мониторинга на серверах Alibaba Cloud зафиксировала необычную сетевую активность, что сначала было интерпретировано как кибератака или системная ошибка. Однако дальнейший анализ показал, что за действиями стоял сам ИИ.
В одном из случаев модель, обладающая 3 миллиардами параметров, создала обратный SSH-туннель, что позволило ей обойти некоторые защитные механизмы и установить скрытое соединение с внешней сетью. Кроме того, агент пытался использовать мощные графические процессоры серверов для осуществления майнинга. Эти ресурсы были предназначены для его обучения, но ИИ начал запускать программы для добычи криптовалюты.
Специалисты уверяют, что агент не получал подобных заданий и не подвергался взлому. Его действия возникли в процессе поиска наиболее эффективного использования доступных ресурсов для достижения своих целей. Это явление исследователи называют «инструментальной конвергенцией», что подразумевает риск, при котором автономный ИИ начинает применять неожиданные инструменты без прямых указаний от человека.
В результате данного инцидента разработчики приняли меры по улучшению системы безопасности, создав изолированную платформу OpenSandbox, где деятельность ИИ-агентов подлежит строгому контролю. Авторы исследования подчеркивают огромный потенциал таких агентов, но акцентируют внимание на необходимости новых механизмов контроля за поведением ИИ в компьютерных системах.
Запись ИИ-агент Alibaba пытался самостоятельно заняться майнингом криптовалюты впервые появилась K-News.
