Maschinelles Lernen mit Tabellendaten bringt oft dieselbe Routinearbeit mit sich: Für jeden Datensatz muss ein neues Modell trainiert werden. Xiaomi-TabLDM soll diesen Schritt überspringen und nutzt stattdessen Beispiele mit bekannten Zielwerten als Kontext für neue Vorhersagen. Der Haken: Wer sich das aufgabenspezifische Training spart, bekommt deshalb noch lange keine günstige Inferenz bei jeder Tabellengröße.
Beispiele als Kontext nutzen
Xiaomi hat zwei Versionen von TabLDM veröffentlicht: einen Klassifikator mit 70 Millionen Parametern und ein Regressionsmodell mit 71 Millionen Parametern. Beide sollen ohne separates Training für die jeweilige Vorhersageaufgabe auskommen.
Das Modell ist für Tabellen mit einigen Hundert bis mehreren Zehntausend Zeilen ausgelegt, bei einer Handvoll bis über 100 Spalten. Standardmäßig kombiniert es die Vorhersagen aus acht Durchläufen. Jeder Durchlauf verwendet eine andere Mischung aus umsortierten Merkmalen und Datenvorverarbeitung. Das Endergebnis hängt also nicht von einem einzigen Durchlauf ab.
Die Grundidee: Die Daten mit bekannten Zielwerten liefern direkt den Kontext für eine neue Vorhersage, statt zunächst ein aufgabenspezifisches Modell zu trainieren. Damit entfällt der eigene Trainingslauf für jede neue Tabelle. Die Tabelle muss zum Zeitpunkt der Vorhersage aber weiterhin verarbeitet werden.
So verarbeitet das Modell eine Tabelle
Die Architektur von TabLDM besteht aus drei Stufen. Zunächst kodiert ein Set Transformer Gruppen von Spalten. Anschließend fasst das Modell diese Repräsentationen zu einem Vektor pro Zeile zusammen und verarbeitet die Zeilen im Kontext der Trainingsbeispiele.
Testzeilen können auf Trainingszeilen zugreifen, aber nicht aufeinander. In den letzten acht Blöcken nutzt das Modell eine Mixture-of-Experts-Architektur. Für jedes Token wählt es einen von zwei per Routing zugewiesenen Experten sowie einen gemeinsamen Experten aus.
Ein Key-Value-Cache beschleunigt wiederholte Anfragen. Größere Tabellen lassen sich im Arbeitsspeicher halten oder auf einem Datenträger ablegen. Das sind praktische Hilfen für den Betrieb, keine Zusage, dass die Tabellengröße plötzlich keine Rolle mehr spielt.
Gute Benchmark-Ergebnisse, mit einem deutlichen Vorbehalt
Auf den 13 Regressionsdatensätzen in TabArena erzielte Xiaomi-TabLDM 1.900 Elo-Punkte. Damit lag es hinter TabFM mit 2.019 Punkten. In der Gesamtwertung über 51 Datensätze belegte TabLDM mit 1.659 Punkten den vierten Platz, nahe an AutoGluon 1.5 mit 1.662 und TabPFN-3 mit 1.650 Punkten.
Nach Angaben der Entwickler läuft die Fit-Phase von TabLDM 82 % schneller als bei TabFM, die Vorhersage 68 % schneller. Damit ist das Modell sowohl bei der Platzierung als auch beim Tempo konkurrenzfähig. Die berichteten Ergebnisse machen es allerdings nicht zum Spitzenreiter in jeder Disziplin.
Die größte Einschränkung sind die Inferenzkosten. Sie wachsen quadratisch mit der Anzahl der Zeilen und ebenso mit der Anzahl der Spalten. Wird eine der beiden Dimensionen größer, können Vorhersagen deutlich teurer werden. Bei einem Modell für Tabellen mit mehreren Zehntausend Zeilen ist das weniger eine Fußnote als eine Einsatzbedingung.
Eine Alternative, kein Gratisangebot
Xiaomi-TabLDM ist unter der Apache 2.0-Lizenz verfügbar und darf genutzt und verändert werden. Sein kontextbasierter Ansatz bietet eine weitere Möglichkeit für Vorhersagen auf Tabellendaten, besonders wenn das separate Training für jede Aufgabe im Arbeitsablauf stört.
Das Modell kann Nutzern einen Trainingsschritt ersparen. Die Überlegungen zu Tabellengröße, Arbeitsspeicher und Inferenzdauer nimmt es ihnen nicht ab. Beim maschinellen Lernen verschwindet die Rechnung selten. Manchmal wird sie einfach an einer anderen Stelle fällig.