МУЛЬТИМОДАЛЬНЫЙ ТРАНСФОРМЕР НА ОСНОВЕ МЕХАНИЗМА ДЕФОРМИРУЕМОГО ВНИМАНИЯ ДЛЯ СЕГМЕНТАЦИИ ОПУХОЛЕЙ ГОЛОВНОГО МОЗГА

Аннотация

Точная сегментация опухолей головного мозга на основе мультимодальной магнитно-резонансной томографии (МРТ) имеет важное значение для количественной оценки опухоли, планирования лечения и мониторинга динамики заболевания. Однако вариабельность размеров, формы, локализации и визуальных характеристик опухоли в различных МРТ-модальностях усложняет автоматическую сегментацию. Кроме того, гетерогенная структура опухолей головного мозга и неоднородность границ различных опухолевых субрегионов могут снижать эффективность традиционных методов сегментации. Поэтому необходимы эффективные подходы, способные моделировать как локальные пространственные признаки, так и дальние контекстные зависимости. В работе предложена архитектура Transformer с механизмом деформируемого внимания для мультимодальной сегментации опухолей головного мозга. Предложенный подход использует взаимодополняющую информацию из МРТ-модальностей T1, T1c, T2 и FLAIR и объединяет многоуровневое извлечение признаков, адаптивное уточнение запросов, механизм деформируемого внимания и пропускающие соединения для улучшения представления гетерогенных областей опухоли. Эксперименты проводились на мультимодальном эталонном наборе данных BRATS для сегментации опухолей головного мозга. Модель оценивалась для областей Whole Tumor (WT), Tumor Core (TC) и Enhancing Tumor (ET) с использованием коэффициента Dice, Precision, Recall и F1-score. Предложенная модель достигла значений Dice 95,8%, 90,7% и 86,1% для WT, TC и ET соответственно, при среднем значении Dice 90,9%. Абляционный анализ подтвердил вклад механизма деформируемого внимания, уточнения запросов, пропускающих соединений и интеграции мультимодальных признаков в повышение качества сегментации. Модель также продемонстрировала благоприятный баланс между точностью сегментации и вычислительной эффективностью, что свидетельствует о возможности применения предложенного подхода в автоматизированных рабочих процессах обработки МРТ. Полученные экспериментальные результаты подтверждают потенциал предложенной архитектуры для точной и устойчивой сегментации опухолей головного мозга на основе мультимодальных МРТ-данных.