Дэвид Робинсон говорит, что разработчики ИИ по-прежнему полагаются на метод проб и ошибок, пока их системы становятся всё более способными, а последствия ошибок растут. Бывший специалист по безопасности OpenAI уволился после трёх с половиной лет в компании, заявив, что её культура сломана, и призвав к большему объёму исследований безопасности до дальнейших успехов в возможностях.
Уход изнутри работы над безопасностью
Робинсон помогал разрабатывать систему preparedness OpenAI и курировал отчёты по безопасности для 12 запусков продвинутых моделей. Он говорит, что его решение уйти отражает более широкую обеспокоенность тем, как компании в сфере ИИ, включая OpenAI, соотносят безопасность со стремлением создавать более способные системы.
Его критика прямая: он считает, что компании недостаточно осторожны и должны сильнее делать упор на экспертизу и исследования в области безопасности, прежде чем разрабатывать более мощный ИИ. По его мнению, метод проб и ошибок больше не является приемлемым вариантом по умолчанию, поскольку ставки растут.
Это аргумент в той же мере о приоритетах, что и о процессе. Работу над безопасностью нельзя просто считать тем, что можно наверстать после роста возможностей, утверждает Робинсон. Задача в том, чтобы она учитывалась до того, как системы станут способнее, а не полагаться на уроки, извлечённые из неудач задним числом.
Более широкий спор в отрасли
Увольнение Робинсона добавляет публичный пример к растущему спору о том, могут ли компании, разрабатывающие всё более автономные системы, удерживать практики безопасности впереди технологического прогресса.
OpenAI и Anthropic также сталкивались с критикой после недавних инцидентов, связанных с непредсказуемым поведением ИИ или отказами защитных механизмов. В этом изложении инциденты не названы и не разъясняется, как они относятся к каждой из компаний, поэтому общая обеспокоенность здесь яснее, чем частности.
Уход Робинсона не ставит точку в вопросе о том, адекватен ли подход OpenAI. Но он делает разногласие труднее списать на чисто теоретический спор: человек, работавший над процессом безопасности компании, говорит, что сама культура является частью проблемы. Проверка теперь не в том, умеет ли отрасль учиться на ошибках, а в том, успеет ли она научиться достаточно многому до следующей.