У программ для борьбы с мошенничеством есть неловкая задача: чтобы поймать мошенника в ваших личных сообщениях, им нужно прочитать ваши личные сообщения. Google DeepMind и GovTech Singapore заявляют, что нашли способ обойти эту проблему: читать сообщения только на самом телефоне.
Обе организации анонсировали ИИ-инструмент для защиты граждан Сингапура от мошенничества. Согласно анонсу, он использует легковесные модели Gemma, работающие на устройстве, чтобы пресекать мошенничество в ходе общения в личных чатах, без передачи каких-либо данных в облако.
Это всё, что говорится в доступном материале. С самой статьёй удалось ознакомиться лишь в виде краткого пересказа, поэтому дальнейший текст ограничивается этими заявлениями и прямо указывает, где заканчиваются подробности.
Что анонсировали
Участники — Google DeepMind и GovTech Singapore; последняя организация описывается как часть правительства Сингапура. Заявленная цель — защитить граждан от мошенничества.
Технические заявления укладываются в одно предложение:
- Легковесные модели Gemma. Gemma — это семейство моделей Google, а используемые здесь модели достаточно малы, чтобы работать на устройстве.
- Обработка на устройстве. Анализ выполняется локально, а не на удалённом сервере.
- Мошенничество в ходе общения. Инструмент нацелен на мошенничество, разворачивающееся в процессе обмена сообщениями, а не на одну вредоносную ссылку.
- Личные чаты. Инструмент работает в тех переписках, которые, как считает большинство людей, никто посторонний не читает.
- Никакой передачи данных в облако. Согласно анонсу, никакие данные не передаются с устройства в облако.
Почему важно, что всё работает на устройстве
Детектор мошенничества, который отправляет ваши переписки на сервер, чтобы ловить мошенников, с точки зрения приватности — лишь чуть более вежливая версия проблемы, которую он обещает решить. Если модель остаётся на телефоне, снимается неловкий вопрос о том, кто ещё получает доступ к разговору.
В анонсе именно это подаётся как главное. Идея в том, что небольшие модели работают локально, ничего не отправляя в облако: так можно проверять личные сообщения, не превращая инструмент проверки в систему слежки.
Краткий пересказ не позволяет судить о том, работает ли это на практике.
Чего мы не знаем
Доступное нам сообщение состоит из одной строки описания, поэтому несколько очевидных вопросов остаются открытыми:
- Какая модель или какие модели Gemma используются и каков их размер.
- С какими чат-приложениями или платформами работает инструмент.
- Блокирует ли он сообщения, предупреждает ли пользователя или делает что-то ещё, когда обнаруживает мошенничество.
- Насколько он точен, в том числе как часто помечает безобидные переписки как подозрительные.
- Когда он станет доступен и кому.
- Подключают ли пользователи инструмент по своему желанию или он включён по умолчанию.
Ни численных показателей, ни бенчмарков, ни цитат в доступном материале не было, и здесь они тоже не приводятся.
Как разумно это воспринимать
Воспринимайте это как заявление двух серьёзных организаций о том, как они намерены построить систему, а не как подтверждённый результат. Архитектурное решение (небольшая модель, локальная обработка, отсутствие обмена с облаком) логично и легко объяснимо — чего нельзя сказать о многих обещаниях приватности.
Всё покажут детали, которых нет в кратком пересказе анонса: насколько хорошо инструмент выявляет мошенничество, как редко поднимает ложную тревогу и насколько легко проверить заявление об отсутствии передачи данных в облако. Партнёрство с государством и гарантия приватности — повод для хорошего заголовка. Ложная тревога из-за сообщения от вашей мамы — повод быстро удалить приложение.