Перейти к основному содержимому
← Все записи

Neuralink подключила агента Grok к мозговому импланту, чтобы пользователь с БАС мог управлять компьютером

Neuralink связала ИИ-агента Grok со своим имплантом. Пользователь с БАС может мысленно произнести фразу активации, сформулировать задачу и позволить Grok управлять компьютером. Компания также сообщила о первых результатах работы речевого интерфейса у одного из участников.

Neuralink предоставила человеку с БАС то, чем большинство из нас пользуется с лёгким раздражением: голосового помощника с фразой активации. Разница в том, что никто не говорит вслух. Пользователь мысленно произносит «Привет, Neuralink», описывает задачу, а ИИ-агент Grok берёт управление операционной системой на себя, чтобы её выполнить. Человек, о котором идёт речь, утратил способность двигаться и говорить.

От мысли к задаче

У пользователя, о котором говорится в отчёте, боковой амиотрофический склероз (БАС). Последовательность действий выглядит так:

  1. Пользователь мысленно произносит фразу активации: «Привет, Neuralink».
  2. Пользователь формулирует задачу.
  3. Grok берёт управление операционной системой на себя и выполняет необходимые действия.

Это не то же самое, что набирать текст силой мысли. При наборе текста каждый символ нужно вводить самому. Здесь пользователь выражает намерение, а кликает уже агент. Любой, кто провёл полдня, водя мышью по меню настроек, поймёт, чем это привлекательно.

Neuralink испытала прототип в ходе 72-часового сеанса. Инженеры компании проводили его дома у участника исследования по восстановлению речи. Лаборатория многое прощает, а гостиная — нет. По словам компании, домашняя обстановка позволила инженерам проверить новые функции в повседневных условиях и определить дальнейшее направление работы.

Без кнопки записи

Второе нововведение — автоматическое распознавание намерения говорить. Система определяет, когда пользователь пытается говорить, и передаёт соответствующие сигналы дальше. Никому не нужно нажимать кнопку, чтобы начать или остановить запись.

Это кажется мелочью, пока не представишь альтернативу: человеку, который не может двигаться, каждый раз, когда он хочет что-то сказать, приходится делать физический или мысленный клик. Устранение этого шага позволяет общаться без помощи рук — в буквальном смысле.

В сочетании с агентом это также меняет назначение импланта. Пользователь может не только набирать текст, но и поручать компьютеру задачи мысленной командой.

Телефонные звонки через Bloom

Neuralink также работает над интеграцией с iPhone. Приложение Bloom передаёт речь, синтезированную по сигналам мозга, прямо в аудиоканал телефонного звонка. Пользователь может звонить родным и пользоваться другими функциями смартфона, в том числе заказывать еду.

Есть небольшая деталь, заслуживающая похвалы. В начале звонка система может автоматически воспроизвести приветствие, которое сообщает собеседнику, что звонок совершается с помощью вспомогательного устройства для общения. Любой, кто отвечал на звонок с незнакомого номера и слышал синтетический голос, поймёт, почему это разумная настройка по умолчанию. Приветствие избавляет собеседника от секундного недоверия, а пользователя — от неловких объяснений.

Окно в мир сигналов

Во время испытаний инженеры добавили визуализацию сигналов, поступающих от импланта. Она показывает их интенсивность и распределение. Это помогает определить, какие воображаемые действия вызывают наиболее сильную активность мозга.

Цель здесь практическая. Эти данные используются для улучшения моделей, которые преобразуют нейронную активность в команды и речь. Иными словами, эта визуализация — не только функция для пользователя, но и диагностический инструмент для инженеров.

Та самая цифра

Neuralink также сообщила о результатах работы речевого интерфейса. В первую неделю использования один из участников испытаний набирал 75 английских слов в минуту при доле ошибок 5,8%.

В отчёте аккуратно оговаривается, что стоит за этой цифрой. Это предварительный результат одного участника. Он не подтверждён на всех пользователях системы. Эффектная цифра для заголовка и хороший средний показатель — разные вещи, и источник не пытается представить одно как другое.

Чего нет в отчёте

Отчёт короткий, и несколько вопросов остаются без ответа.

  • Надёжность агента. Нет данных о том, как часто Grok правильно выполняет задачу и как часто ошибается.
  • Меры безопасности. Агент, который берёт управление операционной системой на себя, — мощный инструмент, но в отчёте ничего не сказано о том, как пользователь подтверждает или отменяет его действия.
  • Кто есть кто. Не сказано, является ли участник, достигший скорости 75 слов в минуту, тем же человеком, который участвовал в 72-часовом домашнем сеансе.
  • Масштаб. Не сказано, сколько человек опробовали агента, интеграцию с телефоном или визуализацию сигналов.

Всё это не делает работу менее интересной. Но означает, что пока речь идёт о демонстрации, а подтверждающие данные ещё предстоит получить.

Фраза активации никуда не делась

Из всех проектных решений мне больше всего запомнилось самое старое. Даже когда на вход подаётся мысль, система хочет, чтобы к ней сначала обратились по имени, и лишь потом начинает что-то делать. Умная колонка на кухонной столешнице додумалась до этого раньше, и у мозгового импланта, похоже, не нашлось идеи получше.

В сыре есть дырки. В вашей инфраструктуре их быть не должно.