Система искусственного интеллекта, разработанная в Институте Вейцмана, умеет восстанавливать изображения, на которые смотрят люди, по данным фМРТ. Прогресс не сводится к тому, чтобы узнать банан как банан. Система стремится восстановить детали вроде структуры изображения и положения объектов и при этом требует гораздо меньше калибровочных данных от каждого нового участника.
Это значимый научный результат, а не потребительское устройство для чтения мыслей. Различие важно, особенно когда ученые начинают проверять, сработают ли похожие методы с ЭЭГ: ее проще собирать, чем скан фМРТ, и она ставит менее удобные вопросы о приватности.
Две модели, работающие вместе
Исследовательская группа под руководством специалиста по компьютерным наукам Михаль Ирани обучила систему на существующих данных фМРТ высокого разрешения от восьми человек. Каждый просматривал около 9000 изображений, находясь в сканере.
Сканер фМРТ не записывает мысли и не отслеживает отдельные нейроны напрямую. Он измеряет изменения потока крови, насыщенной кислородом, которые исследователи используют как показатель активности разных участков мозга. В наборах данных группы каждый измеренный воксель охватывал около одного кубического миллиметра. В типичном сканере воксель может охватывать около трех кубических миллиметров. Даже меньшая единица содержит примерно 16 000 нейронов, поэтому скан остается косвенным и сравнительно грубым взглядом на происходящее.
У новой системы две части. Одна оценивает визуальную структуру изображения, например то, где появляются цвета и формы. Другая оценивает содержание, например наличие тарелки с бананами. Их предсказания направляют диффузионную модель, которая порождает восстановленное изображение.
Более ранние системы иногда могли определить общий объект, который видел человек, но ставили его иначе или не воспроизводили структуру. Цель здесь — более близкое восстановление, а не просто правдоподобное изображение той же категории.
Обучение за пределами сканов
Сбор данных фМРТ медленный и дорогой, и это ограничивает число пар изображение-скан, доступных для обучения. Группа Ирани обошла это ограничение другой моделью: энкодером, который предсказывает, как выглядел бы скан мозга человека после просмотра конкретного изображения.
Исследователи могут подать изображение в энкодер, передать предсказанную активность мозга на вход декодера изображений и сравнить получившееся восстановление с оригиналом. Повторение этого процесса помогает обучать обе модели. Оно также позволяет использовать изображения, которые человеку в сканере никогда не показывали. Около 70 процентов обучающих данных составили изображения, изначально не сопоставленные со сканами фМРТ.
Это полезный сдвиг в экономике работы. Система не ограничена изображениями, для которых у исследователей уже есть парный скан: такой набор дорого расширять, прося людей дольше лежать в сканере.
Группа также объединила данные нескольких исследований, чтобы найти области мозга, которые, судя по всему, отвечали на схожие категории у разных участников. Одни области, например, реагировали на изображения еды, другие — на изображения спорта. Исследователи планируют вместе с нейробиологами разобраться, что эти паттерны могут сказать о мозге.
Меньше подготовки, неидеальные результаты
Для нового участника универсальному энкодеру мозга группы нужен примерно час данных фМРТ, чтобы предсказывать, что этот человек видит. Прежние подходы обычно требовали около 40 часов на нового человека. Такая разница может сделать метод практичнее для нейронаучных исследований, где время сканирования дорого, а один час оценивали в 600–1000 долларов.
Восстановления не всегда точны. В примерах, которые приводила Ирани, система превратила торт в нечто вроде трех сэндвичей, а собаку в ванне восстановила как козу в ванне. Результат может сохранить часть зрительных свойств и при этом ошибиться в самом объекте. Это напоминание: убедительно выглядящее восстановление не обязательно верно передает восприятие.
Группа сообщает, что в сравнительном тесте ее метод существенно превзошел другие системы, хотя в отчете нет цифр бенчмарков. Работа представлена на конференции Cognitive Computational Neuroscience в Нью-Йорке.
Применение остается возможным, но не доказанным
Одно из ожидаемых применений — общение для людей в состоянии locked-in: они в сознании, но не могут двигаться или говорить. Если активность мозга удастся перевести в полезные сообщения, метод мог бы дать новый канал связи. Пока это перспектива, а не возможность, которую продемонстрировала описанная здесь работа по восстановлению изображений.
Исследователей также интересует, помогут ли методы декодирования мозга изучать флешбэки при ПТСР или со временем восстанавливать сны. Группа Ирани планирует перейти от неподвижных изображений к видео и аудио. Нынешняя система сны не восстанавливает, и исследователи еще не показали, что она декодирует содержание воображаемых сцен так, как того требуют эти будущие цели.
Вопрос приватности становится практичнее
Пока метод зависит от фМРТ, а для нее человек должен неподвижно лежать в большом сканере. Скрытое применение из-за этого затруднено. Система также зависит от данных о мозге, и успех на людях, которые смотрят изображения, не стоит принимать за доказательство, что она читает любую мысль по желанию.
Опасение в другом: что будет, если родственные методы заработают с ЭЭГ. ЭЭГ измеряет электрическую активность электродами, которые носят в шапочке или встраивают в устройства вроде наушников. Исследователи ищут способы декодировать активность мозга по ЭЭГ, хотя описанная здесь система фМРТ сама по себе не является ЭЭГ-продуктом.
Нейробиолог и философ Marcello Ienca указал на возможность того, что компания извлечет дополнительную информацию из активности мозга пользователя, откалибровав под него ЭЭГ-устройство. Он также допускает будущую роль восстановленных ментальных образов в суде. Это опасение о том, что технология могла бы позволить, а не нынешняя юридическая практика, описанная в исследовании.
Ближайший вывод скромнее. Более сильные модели и более экономное обучение делают восстановление изображений по активности мозга менее затратным, но текущий метод по-прежнему опирается на дорогие сканы и дает заметные ошибки. Наука ушла вперед. Трудный вопрос в том, на какую приватность рассчитывать от устройств, созданных измерять мозг, особенно если их создатели со временем пообещают, что слушают лишь что-то полезное.