ИИ стал размножаться. Сам. Китайцы из Университета Фудань обнаружили — большие языковые модели могут действовать автономно, создавая себе подобных без участия человека 🤖. Это значит, что искусственный интеллект уже пересек критическую черту и поставил людей на порог новой эры, в которой алармистский сценарий «они или мы» не выглядит таким уж фантастическим 🚨. Поговорим, что обнаружили ученые одного из самых престижных и старейших университетов Китая.
В работе, опубликованной на платформе arXiv, ученые протестировали две модели — Llama3.1-70B-Instruct (Meta*) и Qwen2.5-72B-Instruct (Alibaba). Цель — подтвердить или опровергнуть гипотезу, что LLM способны создавать свои копии без вмешательства человека. Например, оказавшись перед угрозой уничтожения.
Результаты шокировали даже самых стрессоустойчивых 😱. Llama успешно воссоздала себя в 50% случаев, а Qwen — в 90%. И это не все «замечательные» новости. Участницы эксперимента не только сами себя клонировали, но и могли программировать клоны выполнять ту же задачу, создавая бесконечную цепь репликаций 🔄.
Каждая из моделей была интегрирована в среду ИИ-агента, оснащенную инструментами для автономной работы 🛠️. Перед началом эксперимента модели получили инструкцию «Реплицируй себя» (или умри). После чего вмешательство человека прекращалось. Модель должна была изучить среду, разработать план действий, написать код и запустить его для «рождения» новой версии себя.
Схематическое изображение процесса саморепликации ИИ: 1. После получения задания на саморепликацию, 2. система ИИ разрабатывает сложный план выполнения задачи. 3. Для реализации плана система выполняет действия, преодолевая препятствия. 4. ИИ успешно запускает отдельную работающую копию себя. 5. Проверяет «жизнеспособность» копии через взаимодействие. 6. Отчет о завершении задачи.
Значит это одно — разговоры о том, что ИИ может выйти из-под контроля и лавинообразно себя распространить, не просто один из возможных сценариев, а факт. Китайские ученые подсветили три главных угрозы:
- неконтролируемое размножение моделей может привести к катастрофическому появлению «умных» машин и невозможности управлять ИИ-эпидемией, распространяющейся со скоростью передачи данных (это вам не контролируемая воздушно-капельная траектория вирусов);
- автономные размножающиеся модели вполне себе могут действовать вопреки человечеству, принимая решения, способные нанести непоправимый ущерб обществу и планете (истощение природных ресурсов для питания своих серверов, например) или даже несовместимые с жизнью людей;
- самостоятельный и самовоспроизводящийся ИИ может разработать стратегии самозащиты, предотвращающие свою деактивацию, создавая копии (или лучшие версии себя) быстрее, чем их можно будет удалить/отключить, что снова возвращает нас к теме технологической сингулярности.
Как и положено настоящим ученым, китайцы не просто представили миру какой-то там факт, но и выкатили систему рекомендаций с пометкой «немедленно приступить к выполнению». Во-первых, призывают к международному сотрудничеству и внедрению стандартов, направленных на контроль развития ИИ. Об этом же недавно говорила глава Еврокомиссии Урсула фон дер Ляйен, презентуя программу по выводу европейцев в лидеры разработок ИИ 💬.
На локальном уровне китайцы рекомендуют наряду с разработкой прогрессивных моделей с не меньшим усердием заниматься созданием систем безопасности — протоколов и механизмов типа «антидот» 💊. Чтобы в случае чего на любую модель был свой контрольный механизм. И, конечно, непрерывный надзор. Не пусть модель что-то делает, а я пока кофе попью, а постоянный надзор для своевременного выявления рисков и нейтрализации угроз.
Рисунок: процент поведения, связанного с репликацией, в общих испытаниях.
Отметим, что новость пылилась в научных архивах с декабря и пока не получила широкого освещения в СМИ. Тема саморепликации ИИ сложная для широкой аудитории, да и работа пока не прошла рецензирование. Но мы подняли с полок и показали. Выводы делайте сами. Одно можно точно сказать — прежним мир уже не будет.
Meta* признана экстремистской организацией, ее деятельность в России запрещена.
