Предложена гибридная модель HybridCATNet, объединяющая CNN и Vision Transformer для высокоточной диагностики пневмонии. Система использует многоканальное слияние данных и байесовский дропаут для оценки неопределенности, демонстрируя точность до 96.93% и высокую интерпретируемость через Grad-CAM и SHAP.
В статье представлен систематический обзор современных методов диагностики пневмонии с использованием многомодального глубокого обучения, выходящий за рамки традиционных одномерных подходов на основе рентгенограмм. Авторы анализируют стратегии слияния данных, методы объяснимости ИИ (XAI) и выявляют ключевые проблемы клинической трансляции, такие как нехватка крупных наборов данных и отсутствие внешней валидации.
Представлена мультимодальная глубокая обучающая система VHealth-MFusion, объединяющая рентгенографию грудной клетки и структурированные клинические данные для многоклассовой диагностики пневмонии. Модель достигла точности 97,2%, превзойдя базовый уровень 95,9%, что подтверждает эффективность интеграции изображений и клинической информации для телемедицины.