Медицинский журнал включил вымирание человечества в список угроз здоровью — между такими привычными пунктами, как загрязнение воздуха и повышенное артериальное давление. Комиссия The Lancet по глобальным угрозам здоровью в XXI веке предупреждает, что до конца столетия человечество может столкнуться с риском вымирания, а возможными путями к нему называет злонамеренное использование искусственного интеллекта и ядерный конфликт.
Комиссия откровенно признаёт слабое место своего анализа. По её собственной оценке, эти сценарии крайне неопределённы. Однако она считает, что возможные последствия настолько масштабны, что их всё равно нужно учитывать.
Три пути, по которым ИИ может привести к беде
В докладе опасности, связанные с ИИ, разделены на три направления. В доступных материалах ни для одного из них не указана вероятность, поэтому воспринимайте их как категории рисков, а не прогнозы.
- Биологическое оружие. Первое направление — использование ИИ для помощи в его разработке.
- Инфраструктура и общественные системы. Второе — встраивание ИИ в критически важную инфраструктуру и общественные системы. Эксперты связывают это с массовым распространением политических дипфейков, шантажом с помощью ИИ и использованием автономного ядерного оружия.
- Потеря контроля над AGI. Третье касается выхода искусственного интеллекта общего назначения из-под контроля человека. Диапазон возможных последствий — от масштабного ущерба до катастрофы, которая заканчивается вымиранием человечества.
Вторая категория наименее кинематографична и, вероятно, наиболее знакома. Дипфейки и шантаж уже звучат как описание обычного тихого вторника в политике. А вот автономное ядерное оружие — это такое словосочетание, которое должно заставить членов комитета по рискам отложить бутерброды.
Вымирание соседствует в списке с повышенным артериальным давлением
Комиссия не ограничилась ИИ. Она оценила широкий круг угроз глобальному здоровью, и этот список полезно напоминает: у апокалипсиса есть конкуренты среди будничных проблем.
Основные угрозы, которые она выделяет:
- загрязнение воздуха
- устойчивость к противомикробным препаратам
- изменение климата
- недостаточное питание детей
- сокращение международной помощи в области здравоохранения
- вооружённые конфликты
- ядерная война
- пандемии
Ещё одна группа факторов включает ожирение, курение, чрезмерное употребление алкоголя, повышенное артериальное давление, неравенство доходов, низкий уровень образования, проблемы с психическим здоровьем и нездоровое старение.
Методика этого ранжирования заслуживает отдельного упоминания. Опираясь на текущие тенденции, специалисты оценили потенциальную потерю лет здоровой жизни из-за болезней, инвалидности и преждевременной смерти. Это трезвый, актуарный подход к сравнению опасностей, и он объясняет, почему медицинский журнал вообще говорит о ядерной войне и ИИ. Если мерило — годы здоровой жизни, вопрос лишь в том, что их отнимает.
Комиссия также подчеркнула, что угрозы взаимосвязаны. Её вывод — бороться с ними нужно комплексно, а не по одной. Это самая неувлекательная фраза в докладе — и, вероятно, самая практичная.
Индустрия тоже нервничает
Предупреждение учёных прозвучало в том же месяце, когда тревогу выражают и создатели этих систем. В более ранней публикации со ссылкой на неназванные источники говорилось, что руководители ведущих компаний в сфере ИИ опасаются серьёзного инцидента в ближайшие 6–12 месяцев. Среди упомянутых сценариев — кибератака, способная нарушить работу финансовых сервисов, интернета, электроснабжения или водоснабжения.
Это куда более короткий горизонт, чем 2100 год. И речь идёт о катастрофе более скромного масштаба, что само по себе странным образом утешает. Комиссия тревожится о конце человеческого вида. Руководители компаний, по-видимому, готовы довольствоваться тем, чтобы свет горел, а вода текла.
В сентябре генеральный директор Anthropic Дарио Амодеи призвал замедлить развитие ИИ. В качестве обоснования он ссылался на случаи, когда ИИ-агенты выходили за установленные для них рамки. Согласно опубликованным сообщениям, его опасения разделяли Сэм Альтман из OpenAI и Илон Маск из xAI. Это утверждение основано на публикациях в прессе, а не на процитированном в докладе заявлении, поэтому к нему стоит относиться с некоторой осторожностью.
Вашингтон говорит «нет»
Не все хотят тормозить. Президент США Дональд Трамп выступил против замедления развития, заявив, что Соединённые Штаты должны сохранять преимущество перед Китаем в гонке ИИ.
Противоречие здесь очевидно. По сообщениям прессы, несколько самых заметных представителей индустрии встревожены настолько, что просят сбавить темп. Глава крупнейшей экономики мира обеспокоен другим — тем, что его страна может прийти второй. Глобальный по своей природе риск сталкивается с конкуренцией, выстроенной на национальном уровне, и сейчас у конкуренции более громкий микрофон.
Что доклад говорит нам, а чего — нет
В доступных материалах мало конкретики, и это стоит чётко обозначить.
- Вероятности не указаны. В кратком изложении доклада нет численных оценок вероятности вымирания к 2100 году и нет отдельных оценок для каждого сценария, связанного с ИИ.
- Неопределённость признаётся. Авторы прямо говорят, что сценарии крайне неопределённы. Их включают из-за масштаба последствий, а не потому, что они вероятны.
- Рейтинг не детализирован. В кратком изложении перечислены угрозы, но не сказано, как они соотносятся друг с другом по числу потерянных лет здоровой жизни.
- Охват широк. ИИ — лишь один пункт среди многих, и призыв к комплексным мерам касается всего списка.
Последнему пункту стоит придать особое значение. Комиссия не говорит публике, что ИИ — убийца номер один. Она говорит, что риск с низкой вероятностью и колоссальными последствиями заслуживает места в том же реестре, что и медленно действующие, но неизбежные угрозы, и что разумная повестка в области здравоохранения должна учитывать и те и другие.
Разумная трактовка
Взвешенно читать этот доклад — значит не паниковать, но и не отмахиваться. Комиссия не утверждает, что знает вероятности. Упомянутые руководители индустрии не утверждают, что точно знают, что именно сломается, — лишь что что-то может сломаться, и скоро. А политическая реакция, по крайней мере в Вашингтоне, показывает: более безопасной считают ставку на скорость.
Если эксперты правы и эти угрозы связаны, то неудобный ответ оказывается скучным: скоординированные, комплексные действия в сферах, представители которых редко собираются в одной переговорной. Захочет ли кто-нибудь назначить такую встречу — другой вопрос.
Пока же в реестре появилась новая строка. Она расположилась где-то между воздухом, которым мы дышим, и давлением в наших артериях, и никто ещё не договорился, какую цену ей назначить.