До сих пор издателю, который не хотел, чтобы его материалы использовались для обучения ИИ, приходилось уведомлять каждую ИИ-компанию отдельно — в том формате, который она предпочитала. Теперь OpenAI, Google, Microsoft и Anthropic заявляют, что будут поддерживать единый сигнал в robots.txt, адресованный им всем сразу. Загвоздка — в сроках. Одна из четырёх компаний уже завершила работу, у остальных пока лишь планы.
Один сигнал вместо отдельного для каждой компании
Инициатором предложения стал Кевин Келли, технический специалист Anthropic, занимающийся стандартами. Сейчас предложение проходит рассмотрение в IETF. В общих чертах механизм прост: владелец сайта добавляет единый сигнал в robots.txt, и каждый участвующий поставщик ИИ воспринимает его как пожелание владельца относительно использования контента для обучения.
Robots.txt — давно существующий инструмент. Сайты уже много лет используют его, чтобы сообщать поисковым краулерам и другим автоматизированным системам, что им можно загружать, а что нельзя. Не хватало общего способа сказать «не для обучения моделей», поэтому владельцам приходилось указывать это отдельно для каждой ИИ-компании.
Все четыре компании заявляют, что их ИИ-краулеры будут прекращать обход сайта при обнаружении нового сигнала. В сообщении не приводятся точная директива или её синтаксис, так что за этими подробностями придётся обратиться к самому стандарту.
Кто и когда внедрит поддержку
Поддержка появится не у всех одновременно, и к графику стоит присмотреться.
| Компания | Статус |
|---|---|
| Anthropic | Поддержка уже реализована |
| OpenAI | Запланирована на ближайшие месяцы |
| Запланирована на 2027 год | |
| Microsoft | Запланирована на 2027 год |
Итак, компания, предложившая стандарт, уже его внедрила, а две из четырёх компаний сделают это лишь в следующем году. Издатель, добавляющий сигнал сегодня, отправляет запрос, который пока наверняка прочитает лишь одна из четырёх компаний.
Microsoft добавляет вторую настройку
Microsoft заявляет, что предложит более тонкое управление, чем один лишь общий сигнал. Издатели смогут запрещать использование своих материалов для обучения отдельно от использования для граундинга. Граундинг — это когда модель при подготовке ответа обращается к проверенной информации из внешних источников.
Это разные условия использования. При обучении контент попадает в модель. При граундинге он загружается в тот момент, когда кто-то задаёт вопрос. Издатель вполне может возражать против первого и допускать второе — или наоборот.
Microsoft также заявляет, что сайты останутся в результатах поиска Bing независимо от своего выбора. Отказ от использования материалов для ИИ не означает исчезновения из поиска.
Нечто подобное уже предлагает Google. Существующие настройки позволяют управлять использованием контента в ИИ-функциях поиска и при обучении моделей, причём сайт также сохраняет своё место в обычной поисковой выдаче.
Meta вежливо отвечает «возможно»
Обязательства взяли на себя не все крупные разработчики ИИ. Представитель Meta Энди Стоун поддержал идею общего механизма и заявил, что компания готова работать с другими разработчиками ИИ над стандартом и его внедрением. При этом он не стал обещать, что Meta действительно будет соблюдать запреты.
Это осторожная формулировка. Поддержать общий механизм и пообещать его соблюдать — разные вещи, и лишь второе удерживает краулер от посещения ваших страниц.
Чего сигнал не делает
Сам по себе новый сигнал не защищает от краулеров компаний, которые его не поддерживают или не соблюдают. Его действенность зависит от готовности каждой компании следовать ему, поэтому ответ Meta важен, хотя Meta — лишь одно имя в более длинном списке.
Параллельно развиваются и другие средства контроля, которые работают иначе:
- Really Simple Licensing (RSL) позволяет издателю брать с краулеров плату за доступ к своим материалам.
- Cloudflare по умолчанию блокирует ИИ-краулеры.
Один из этих инструментов устанавливает цену за доступ, другой — ставит заслон. Общий сигнал в robots.txt — это табличка на двери, причём полезная: теперь четыре компании заявили, что будут её читать.
Для издателей практическая польза в том, что придётся составлять меньше отдельных уведомлений. Практическое ограничение — в том, что польза от таблички зависит от воспитанности посетителя, а двое из четырёх посетителей начнут читать её лишь в 2027 году.