Локальный ИИ предлагает полезный компромисс: конфиденциальные задачи выполняются на вашем собственном компьютере, а вы берёте на себя выбор моделей, предоставление доступа и правильную настройку. Первое тестирование Hermes Agent показывает, что такая приватность может оправдывать затраченные усилия, хотя приватный помощник по-прежнему остаётся компьютерной программой, за которой нужно следить.
Приватность — главное
В ходе эксперимента Hermes Agent — бесплатное приложение для macOS, Windows и Linux, которое можно запускать на собственном оборудовании, — работало на M5 Ultra Mac Studio с 256 ГБ объединённой памяти. Интерфейс выбора моделей позволил без труда установить Qwen 3.8 Flash Next — модель со 125 миллиардами параметров и размером файла около 105 ГБ. Запуск локальных моделей также означал, что за токены в каждом запросе платить не приходилось.
Для полезных задач не всегда требуется столь мощное оборудование. Но в данном случае оно позволило автору теста начать с крупной модели и параллельно изучать модели поменьше для других компьютеров, включая M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 с процессором AMD Strix Halo и системы RTX Spark.
Привлекательность подхода была вполне практической, без всякой мистики. Финансовые документы и характеристики ноутбуков под эмбарго — это информация, которую автор теста не хотел отправлять в облачный сервис. Выполнение этих задач на компьютере делало использование ИИ-инструмента допустимым там, где загрузка материалов в облако была бы неприемлема.
Небольшие задачи, неоднозначные результаты
Первым проектом стала утренняя сводка. Задача по расписанию проверяла почту и события календаря, а затем добавляла краткую сводку погоды. Поначалу она не срабатывала: в 7:30 утра, когда должен был начаться запуск, Mac находился в спящем режиме. После устранения этой проблемы сводка стала формироваться, хотя позднее процесс не раз давал сбой, а для того, чтобы сводка стала по-настоящему полезной, ей всё ещё требовались более подходящие входные данные.
Более удачной оказалась сортировка библиотеки Steam из более чем 400 игр. Hermes мог просмотреть большую часть библиотеки через установленный клиент Steam, а затем распределить игры по жанрам, сохранив существующие пользовательские категории. Для внесения изменений ему понадобился ключ веб-API Steam. Задача заняла несколько минут, после чего ключ был отозван.
Hermes также проанализировал финансовые документы и подготовил электронную таблицу для сравнения характеристик ноутбуков. Это были скромные по масштабу задачи, но они показали особую ценность локальной обработки: информацию можно было использовать, не загружая её в облачный сервис.
Разрешения — часть компромисса
Чтобы действовать на компьютере, агенту нужен доступ к системам, которыми он должен управлять. В этом тесте для упорядочивания библиотеки Steam потребовался ключ API. Другие задачи были связаны с данными почты и календаря. Локальная обработка меняет то, куда попадает информация, но не делает разрешения несущественными. Пользователям по-прежнему нужно решать, к чему агент может получить доступ, и отзывать этот доступ, когда он больше не нужен.
Автор теста также работает над более масштабным проектом: скриптом, который мог бы автоматизировать прогоны бенчмарков на ноутбуках. Сейчас процесс предполагает запуск примерно дюжины тестов по три раза, чтобы вычислить средний результат. Объяснение процедур Hermes и попытки добиться от него генерации скриптов на Python потребовали усилий, и автоматизация пока не завершена.
В этом и заключается разрыв между демонстрацией агента и надёжным помощником. В запросе задача может звучать просто, но настоящая работа состоит в объяснении шагов, подключении нужных инструментов и устранении сбоев. Локальные модели не избавляют от этой работы. Они меняют условия её выполнения с точки зрения приватности.
Инструмент, а не цифровой компаньон
Предварительный вывод не сводится ни к тому, что локальный ИИ не требует усилий, ни к тому, что он бесполезен. Hermes хорошо справился с некоторыми задачами по организации и анализу, тогда как ежедневная сводка оказалась ненадёжной, а автоматизация бенчмарков всё ещё находится в работе. Даже мощная модель не превращает компьютер в помощника, который способен надёжно выполнить любую порученную ему задачу.
Автор теста воспринимает Hermes как программу, а не как цифрового друга, и намерен сохранять осторожность, пробуя новые модели и оборудование. Это кажется разумным подходом. Обещание этой технологии — не машина, которая понимает всё, а инструмент, который может выполнять отдельные задачи, не отправляя исходные данные куда-либо ещё. Обеспечить приватность, возможно, проще всего. А решать, что делегировать, и проверять результат по-прежнему приходится человеку.