Раньше у прямых трансляций было одно достоинство: что бы ни сказал выступающий, именно это вы и слышали. Microsoft подала патентную заявку на систему, которая меняла бы слова, пока человек ещё говорит, а затем корректировала бы движения его рта, чтобы правка оставалась незаметной.
Что описано в заявке
Патент охватывает ИИ-агентов, которые изменяют аудио и видео живого выступления практически в реальном времени. Звук — лишь половина дела. Система также должна менять изображение выступающего, включая движения губ и мимику, чтобы картинка соответствовала новой версии речи.
Само редактирование происходит на уровне слов и фраз. Система может фильтровать их, удалять или заменять другими. Что именно изменится, будет зависеть от заранее заданных параметров или пользовательских профилей. Чтобы скрыть следы монтажа, алгоритм также корректирует видео и звук непосредственно до и после изменённого фрагмента, чтобы переход выглядел и звучал естественно.
Если системе нужно подобрать слово на замену, то, согласно описанию, она может найти его несколькими способами, в том числе с помощью поиска в интернете.
Безобидные способы применения
В начале заявки перечислены сценарии использования, которые несложно оправдать. Один из них — перевод прямой трансляции на язык, который предпочитает зритель. Другой — улучшение подачи: удаление слов-паразитов, устранение заикания и других особенностей речи.
Список форматов широк: лекции, презентации, телепрограммы, церемонии, шоу и спортивные трансляции. Иными словами, всё, где есть человек с микрофоном.
Не столь безобидные способы применения
Заиканием список не ограничивается. В патенте также упоминается удаление региональных выражений и разговорных оборотов, слов, произнесённых или употреблённых неправильно, а также оскорбительных или неуместных высказываний.
Немалый диапазон для одного списка функций. Он начинается с «э-э» и заканчивается всем, что профиль зрителя сочтёт неуместным, причём между ними нет видимого шва.
В итоге зритель может получить версию выступления, отредактированную специально для него, с формулировками, которые система сочтёт соответствующими его настройкам. Два человека, смотрящие одно и то же событие в прямом эфире, могут увидеть двух немного разных выступающих, говорящих немного разные вещи. И в обоих случаях это технически будет прямой эфир.
Подстраховка
Патент предусматривает сохранение исходных видео и аудио в качестве контрольной записи. Это может помочь отличить трансляцию без изменений от обработанной версии.
Однако вопрос это не решает. Контрольная копия полезна, только если кто-то пойдёт её искать, а в публикации отмечается, что эта функция не исключает путаницы, когда отредактированные записи начинают распространяться. Ролик с правдоподобно выглядящим лицом и изменённой фразой распространяется быстрее, чем архивная запись, которая могла бы его опровергнуть.
Что пока неизвестно
Это патентная заявка: она показывает, на что компания хочет заявить права, но мало говорит о том, что она планирует выпустить. В доступных публикациях ничего не говорится ни о продукте, ни о дате выпуска, ни о том, где Microsoft могла бы использовать эту технологию. Не сказано и то, как система справится с задержкой, возникающей при редактировании живой речи в реальном времени.
Поэтому пока стоит придерживаться узкой трактовки. Microsoft изложила на бумаге способ менять воспринимаемую зрителем речь человека прямо в момент её произнесения, подстраивая под неё изображение лица. Заявленные цели — перевод и более гладкая речь. Но перечисленные в заявке цели идут дальше.
Раньше прямой эфир означал, что вы видите то, что происходит. Патент предлагает поправку: вы видите то, что одобрили ваши настройки.