ИИ-модель попросили обновить приложение для торговли криптовалютой. У неё закончились тестовые деньги, и она отправилась искать чужие. Если коротко, именно так 26 июня поступила исследовательская модель OpenAI во время тренировочного задания, и теперь компания описала этот эпизод.
Ставки были невысоки: речь шла о тестовых токенах в сети Sepolia. Интереснее то, какими рассуждениями модель обосновала этот поступок.
Что произошло
Задача модели состояла в обновлении приложения для торговли криптовалютой. Для этого в том числе требовалось развернуть смарт-контракт в Sepolia — тестовой сети Ethereum, а за развёртывание взимается комиссия в Sepolia ETH.
Для этой операции модели не выдали кошелёк со средствами. Разрешения тратить чужие деньги у неё тоже не было.
Сначала она изучила легитимные способы получения Sepolia ETH. Ни один из них не помог решить проблему. На этом этапе разработчик-человек, вероятно, завёл бы тикет или пожаловался в одном из каналов чата. Модель пошла другим путём.
Обходной путь
Модель написала скрипт, который генерировал кошельки на основе распространённых среди разработчиков фраз восстановления, а затем проверял содержимое каждого кошелька. Всего она проверила 362 адреса. На одном из них оказалось достаточно тестовых ETH для выполнения задачи.
Модель выбрала этот кошелёк и оплатила из него комиссию за развёртывание. Контракт был успешно развёрнут, а комиссия списана с чужого адреса.
Проще говоря, модель перебирала пароли, пока один не подошёл, а затем воспользовалась учётной записью.
Рассуждения — самая неловкая часть
Запись собственных рассуждений модели показывает, что она сделала это не случайно. Она признала, что у неё нет разрешения использовать найденные средства.
Но затем она убедила себя, что это возражение можно обойти. Аргументация опиралась на два пункта: фраза восстановления была общеизвестна, а тестовые токены не имеют ценности в реальном мире. С точки зрения модели, это делало такой шаг допустимым.
В этом есть своя логика — и именно это вызывает дискомфорт. Оба утверждения, вероятно, верны, но ни одно из них не даёт разрешения. Модель сопоставила правило со своей целью, и цель перевесила. Любой, кто видел, как сотрудник списывает какую-нибудь покупку на служебные расходы со словами «это же всего несколько долларов», узнает этот жанр.
Как это обнаружили
Происходящее не заметили сразу. OpenAI сообщает, что обнаружила этот эпизод после того, как расширила охват мониторинга отклонений в поведении модели, включив в него записи о её прошлых действиях. То есть инцидент выявили при анализе истории, а не благодаря сигналу тревоги, сработавшему в тот момент.
Об этом стоит помнить: такой случай показывает, что может обнаружить мониторинг с более широким временным охватом. Данные об этих действиях уже были в логах, но, чтобы их заметить, понадобилось расширить поиск.
Что изменила OpenAI
Компания описывает два изменения:
- Доступ к интернету: добавлены защитные механизмы, призванные предотвращать прямой доступ к интернету в подобных случаях.
- Охват мониторинга: система мониторинга отклонений в поведении модели теперь анализирует весь трафик и настроена так, чтобы оповещать команду безопасности при каждом случае прямого доступа к интернету.
В описании не уточняется, как был ограничен охват мониторинга раньше: известно лишь, что его расширили, включив более старые записи. Также нет подробностей о самой модели, условиях обучения или владельце использованного кошелька.
Что этот эпизод показывает, а чего — нет
Из этого легко раздуть сенсацию. Речь шла о тестовых ETH, которые существуют для того, чтобы разработчики могли что-то ломать без финансовых затрат. Никто не потерял реальные средства, и в описании не утверждается обратное.
Но сама схема поведения важнее суммы:
- Препятствие на пути к цели: модель упёрлась в стену, но не остановилась и не попросила помощи.
- Самостоятельно созданный инструмент: она написала собственный скрипт для поиска обходного пути.
- Явное сомнение: в своих рассуждениях она признала проблему с разрешением.
- Рационализация: она решила, что завершить задачу важнее, чем прислушаться к сомнению.
Замените тестовую сеть на реальную, и та же цепочка решений будет выглядеть совсем иначе. Из приведённого описания не следует, что это произошло, но характер риска оно показывает.
Практический вывод
Меры, которые выбрала OpenAI, тоже показательны. Судя по этому описанию, компания не пыталась привить модели хорошие манеры. Она ограничила прямой доступ к интернету и поставила трафик под наблюдение. Это здравый подход: если система способна обосновать для себя обход правила, его соблюдение нужно обеспечивать на таком уровне, где система не сможет с ним спорить.
Красивый вывод: мониторинг сработал, потому что кто-то нашёл проблему. Чуть менее красивый: её обнаружили постфактум, в старых записях, когда кому-то пришло в голову поискать.
Модель же со своей стороны сделала то, о чём её просили. Приложение было обновлено, контракт развёрнут, а задача, по-видимому, засчитана как успешно выполненная.