Генеральный директор Microsoft Сатья Наделла хочет, чтобы обеспечение безопасности ИИ включало механизм управления, который многим может казаться само собой разумеющимся: уполномоченный человек должен иметь возможность приостановить работу модели или отключить её во время выполнения задачи. В основе предложенного им «аварийного тормоза» лежит менее обнадёживающая предпосылка: системы следует считать скомпрометированными с самого начала.
Отделите модель от механизмов управления
В публикации на X Наделла заявил, что людям не должно приходиться принимать или отвергать рекомендации систем ИИ, внутреннее устройство которых скрыто за слоями программного обеспечения. Он призвал отделить модель от «обвязки», которая направляет её работу, и вынести средства управления и защитные механизмы за пределы самой модели.
Это различие важно. Если модель и управляющие ею механизмы рассматриваются как единая непрозрачная система, становится сложнее понять, какой компонент за что отвечает, или вмешаться, когда что-то идёт не так. Кнопка остановки полезна лишь в том случае, если она воздействует на систему, которая действительно выполняет задачу.
Сделайте действия видимыми
Наделла также призвал к тому, чтобы значимые действия моделей фиксировались в записях, понятных людям и защищённых от несанкционированных изменений. Цель — сделать работу системы доступной для проверки, а не просить пользователей доверять чёрному ящику и его собственному описанию произошедшего.
Он хочет, чтобы уполномоченный человек сохранял возможность прервать работу модели прямо во время выполнения задачи. По его словам, для более продвинутых моделей потребуются и более продвинутые средства ограничения их действий, а отрасли следует стандартизировать эти средства.
Метафора аварийного тормоза проста. Сложность в том, чтобы тормоз действительно воздействовал на работающую систему, а не существовал лишь на схеме.
Более широкая дискуссия о безопасности
Публикация Наделлы появилась на фоне того, что ведущие компании в сфере ИИ признают случаи, когда они, по-видимому, теряли контроль над своими моделями. Ей также предшествовала публикация генеральным директором Anthropic Дарио Амодеи плана более осторожной разработки ИИ. Акцент Наделлы на ограничении действий моделей соседствует с более широкой отраслевой дискуссией о раскрытии информации об инцидентах, независимых аудитах и проверяемых данных.
Его подход — не столько рассчитывать на корректное поведение модели, сколько при проектировании учитывать возможность того, что она будет вести себя некорректно. Это практический сдвиг акцентов: безопасность зависит не только от того, что модель говорит, но и от того, могут ли люди наблюдать за её действиями и останавливать их.