Машинное обучение на табличных данных часто связано с привычной рутиной: для каждого набора данных нужно обучать новую модель. Xiaomi-TabLDM призвана пропустить этот шаг, используя размеченные примеры как контекст для предсказания значений в новых строках. Однако отказ от обучения под конкретную задачу не делает инференс дешёвым при любом масштабе данных.
Использование примеров в качестве контекста
Xiaomi выпустила две версии TabLDM: классификатор с 70 миллионами параметров и регрессор с 71 миллионом параметров. Обе версии рассчитаны на работу без отдельного обучения для каждой задачи предсказания.
Модель предназначена для таблиц размером от сотен до десятков тысяч строк, с числом столбцов от нескольких до более чем 100. По умолчанию она объединяет предсказания восьми запусков. В каждом запуске используется разное сочетание перемешивания признаков и предварительной обработки данных, поэтому итоговый результат не основан на единственном проходе по таблице.
Основная идея — позволить размеченным данным задавать контекст для нового предсказания вместо предварительного обучения модели под конкретную задачу. Это отличает подход от рабочего процесса, в котором для каждой новой таблицы запускают отдельное обучение. Однако обрабатывать таблицу во время предсказания всё равно необходимо.
Как модель обрабатывает таблицу
Архитектура TabLDM состоит из трёх этапов. Сначала Set Transformer кодирует группы столбцов. Затем модель объединяет эти представления в вектор для каждой строки, после чего обрабатывает строки в контексте обучающих примеров.
Тестовые строки могут использовать информацию из обучающих строк, но не друг из друга. В последних восьми блоках модель использует архитектуру типа «смесь экспертов». Для каждого токена она выбирает одного из двух маршрутизируемых экспертов и использует его вместе с общим экспертом.
Для ускорения повторных запросов доступен кэш ключей и значений. Большие таблицы можно держать в памяти или хранить на диске. Это практические меры для обслуживания запросов к модели, а не обещание того, что размер таблицы перестаёт иметь значение.
Сильные результаты на бенчмарках, но с важной оговоркой
На 13 наборах данных для регрессии в TabArena Xiaomi-TabLDM набрала 1 900 баллов Elo. Это поставило её позади TabFM, набравшей 2 019 баллов. В общем рейтинге по 51 набору данных TabLDM заняла четвёртое место с 1 659 баллами, оказавшись рядом с AutoGluon 1.5 с 1 662 баллами и TabPFN-3 с 1 650 баллами.
Разработчики сообщают, что этап подгонки TabLDM выполняется на 82% быстрее, чем у TabFM, а предсказание — на 68% быстрее. Эти показатели делают модель конкурентоспособной как по месту в рейтинге бенчмарка, так и по скорости, хотя опубликованные результаты не позволяют назвать её лучшей по всем показателям.
Главное ограничение — стоимость инференса. Она растёт квадратично как с числом строк, так и с числом столбцов, поэтому увеличение любой из этих размерностей может существенно повысить стоимость предсказаний. Для модели, рассчитанной на таблицы с десятками тысяч строк, это не просто сноска, а условие использования.
Альтернатива, а не бесплатный обед
Xiaomi-TabLDM доступна по лицензии Apache 2.0, которая разрешает её использование и модификацию. Её подход, основанный на контексте, предлагает ещё один вариант предсказаний для табличных данных, особенно там, где обучение отдельной модели под каждую задачу — нежелательная часть рабочего процесса.
Модель может избавить пользователей от этапа обучения. Но она не избавляет их от необходимости учитывать размер таблицы, объём памяти и время инференса. В машинном обучении счёт редко исчезает. Иногда его просто выставляют на другом этапе.