Сильный генератор изображений больше не сводится к полю для промпта. В Meta говорят, что Muse Image умеет искать в интернете, писать и запускать код и править собственный результат, а компания заодно показала раннюю версию Muse Video.
Muse Image работает не только с промптом
Meta описывает Muse Image как агента, который может вызывать инструменты прямо во время создания изображения. Он умеет искать референсы и актуальную информацию, использовать код, чтобы точнее передавать такие детали, как графики и QR-коды, и дорабатывать изображение, если первая попытка промахнулась.
Такая доработка может означать небольшую локальную правку, создание нового изображения или смену тактики с вызовом инструмента. В Meta говорят, что модель научилась улучшать саму себя в ходе обучения с подкреплением, потому что более удачные изображения получали более высокую награду. Компания утверждает, что специально такое поведение не проектировала.
Muse Image также умеет работать вместе с Muse Spark. В Meta говорят, что две модели могут планировать совместно и сочетать код с генерацией медиа, чтобы делать анимированные GIF, сайты со встроенными изображениями и интерактивные визуальные игры.
Больше размышлений, а не просто больше образцов. В Meta говорят, что Muse Image улучшается, если на инференсе дать ему больше вычислений. Внутренние тесты показали, что генерация нескольких кандидатов с сохранением лучшего, метод известный как Best-of-N, сначала улучшает результат, но вскоре выходит на плато. Тот же бюджет, потраченный на обдуманные рассуждения, масштабируется лучше, а сочетание рассуждений с вызовом инструментов даёт ещё больший прирост.
Связь между дополнительными вычислениями на этапе теста и оценками Elo по человеческим предпочтениям Meta описывает как приблизительно логарифмически линейную. В эти вычисления входят и текстовые токены на рассуждения, и визуальные токены на генерацию изображений. Компания также отмечает, что важно, как модель расходует бюджет токенов. Это менее эффектный вывод, чем «больше вычислений», но обычно более полезный.
Редактирование, референсы и рейтинги
Muse Image умеет вносить точечные правки, держать согласованность на протяжении нескольких раундов редактирования и собирать детали из нескольких референсных изображений. Референсами могут быть люди, объекты, одежда, стили и окружение. Промпт может смешивать текст и изображения в одной строке.
В Meta говорят, что на момент анонса Muse Image занимает 2-е место на Arena в категориях text-to-image, редактирования одного изображения и редактирования нескольких изображений по рейтингу Elo человеческих предпочтений. Это рейтинги, которые сообщила сама Meta, а не гарантия, что каждый промпт даст нужный результат.
Muse Video пока в статусе превью
Meta также представила Muse Video как раннее превью. Модель делит с Muse Image общую базу предобучения и поддерживает нативное аудио. В Meta говорят, что по следованию промпту, визуальной точности и временной согласованности модель выглядит конкурентоспособно, а синхронизацию аудио и видео и физически достоверное быстрое движение относят к областям, где работа ещё не закончена.
Компания сообщает, что на момент анонса Muse Video занимает 3-е место на Arena по Elo человеческих предпочтений в text-to-video. Ожидается, что модель дойдёт до авторов и до Meta AI, хотя дату в анонсе Meta не назвала.
Где доступны модели
В Meta говорят, что Muse Image доступен в приложении Meta AI и на meta.ai, в Instagram Stories в США и в WhatsApp в ограниченном числе стран. Ожидается появление в Facebook. Muse Video пока широко недоступен.
Изображения, созданные с помощью Muse Image в приложении Meta AI и на meta.ai, получают Content Seal, систему невидимых водяных знаков Meta. Компания утверждает, что скрытый сигнал происхождения переживает обрезку, сжатие, изменение размера и скриншоты. Meta также показывает превью инструмента, который проверяет, есть ли у изображения водяной знак Content Seal, и планирует распространить систему на видео.
Практический смысл не сводится к тому, что Meta умеет генерировать изображения. Muse Image сделан так, чтобы искать информацию, пробовать снова и звать инструменты, когда промпту нужно больше, чем правдоподобная догадка. Это может сделать его способнее, хотя привычная оговорка мелким шрифтом остаётся: более хороший процесс ещё не значит идеальную картинку.
Источники
- Introducing Muse Image and Muse Video — Meta AI