Тепловая карта медицинского ИИ может выглядеть как объяснение, хотя в основном указывает на места, где обычно проявляется патология. Проверка четырёх систем для анализа рентгенограмм грудной клетки показала, что их карты внимания зачастую были не лучше простых шаблонов, основанных на усреднённых анатомических закономерностях.
Что оценивали в ходе проверки
Исследователи из Международного института информационных технологий в Хайдарабаде сравнили тепловые карты MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 и LLaVA-1.5 с разметкой рентгенологов. Оценка охватывала три общедоступных набора данных и дополнительную группу случаев пневмоторакса.
Сравнение было сосредоточено на локализации: совпадали ли участки, отмеченные моделью, с областями, выделенными рентгенологами. Оно не давало ответа на вопрос, верен ли диагноз модели.
Рейтинг: В автоматизированном сравнении первое место заняла MAIRA-2, за ней — MedGemma. Обе модели LLaVA оказались позади них.
Проблема типичных случаев
В типичных случаях карты внимания моделей были не точнее простых анатомических шаблонов, построенных на усреднённых данных. Это указывает на то, что система может выделять область потому, что патология обычно встречается именно там, а не потому, что она обнаружила патологическое изменение на конкретном рентгеновском снимке.
Это различие важно. Тепловая карта может создавать впечатление точности, хотя отражает общую закономерность того, где обычно возникает патология. Визуальная точность, как оказалось, не равнозначна доказательствам, основанным на конкретном снимке.
Нетипичные случаи: MAIRA-2 и MedGemma демонстрировали локализацию, действительно более тесно связанную с конкретным изображением, когда патологическое изменение заметно отличалось от усреднённого паттерна. Таким образом, проверка указывает на слабое место, которое проще всего упустить в типичных случаях, где распространённые закономерности могут придавать шаблонной карте правдоподобный вид.
Почему оценка специалистами меняет итоговый балл
Параллельный эксперимент с участием рентгенологов, охвативший 124 случая, показал, что эксперты оценивали тепловые карты иначе, чем автоматическая метрика. Карта, охватывающая более широкую область и имеющая клинический смысл, могла казаться рентгенологу убедительнее, чем карта, точно совпадающая со статистическими границами метрики.
Это не означает, что любой из этих способов оценки достаточен сам по себе. Числовая оценка обеспечивает единообразие, но может упускать некоторые аспекты клинической правдоподобности. Оценка специалистами может добавить контекст, хотя в рамках проверки экспертное суждение не рассматривается как замена измерениям.
Исследователи рекомендуют использовать методы оценки, учитывающие априорные анатомические закономерности, и привлекать рентгенологов к анализу результатов. В медицинском ИИ цветной слой, наложенный на снимок, не доказывает, что модель обнаружила то, что нужно. Это утверждение, которое ещё предстоит проверить.