мультимодальный ИИ

В статье представлена новая архитектура GLHF-Net для автоматической классификации кожных поражений, объединяющая дерматоскопические изображения и клинические метаданные. Модель использует механизм динамического мультимодального слияния и регуляризацию низкого ранга для повышения точности и интерпретируемости диагностики меланомы на наборе данных HAM10000.

В исследовании, опубликованном в журнале npj Digital Medicine 7 октября 2026 года, представлена успешная проспективная оценка системы искусственного интеллекта, предназначенной для автоматической оценки практических экзаменов OSCE (Objective Structured Clinical Examination) у студентов-медицинских вузов. Система использует мультимодальный подход, анализируя одновременно видео- и аудиоданные, а также текстовые транскрипты взаимодействий между студентами и стандартизированными пациентами. Методология включает применение глубоких нейронных сетей для распознавания вербальных и невербальных сигналов, оценки клинических навыков коммуникации и принятия решений в реальном времени. Ключевые результаты демонстрируют высокую корреляцию между оценками, выставленными ИИ, и оценками независимых экспертов-людей, что подтверждает надежность алгоритма. Исследование показывает, что внедрение таких систем может значительно снизить нагрузку на преподавательский состав и обеспечить более объективную и масштабируемую оценку клинических компетенций. Это открывает новые возможности для интеграции ИИ в медицинское образование и стандартизацию оценки практических навыков будущих врачей.

В исследовании, опубликованном в журнале npj Digital Medicine 3 октября 2026 года, представлена новая интерпретируемая система диагностики на основе УЗИ молочных желез, использующая мультимодальный подход с поиском с дополнением (Retrieval Augmented Generation, RAG). Методология включает интеграцию визуальных данных УЗИ с текстовыми клиническими контекстами для повышения точности и прозрачности решений искусственного интеллекта. Система прошла многонациональную клиническую валидацию, что подтверждает её надежность в различных демографических и технических условиях. Ключевым элементом является проведение исследования с участием врачей-радиологов, где ИИ-ассистент сравнивался с экспертной оценкой, демонстрируя значительное улучшение чувствительности и специфичности диагностики. Результаты показывают, что внедрение интерпретируемых ИИ-моделей позволяет не только повысить точность выявления патологий, но и обеспечить доверие со стороны медицинского персонала за счет объяснимости выводов. Это исследование закладывает основу для клинического внедрения мультимодальных ИИ-систем в рутинную практику маммологии и УЗИ-диагностики.

Исследование посвящено разработке архитектуры глубокого обучения для оценки риска падений у пациентов с болезнью Паркинсона (БП) путем мультимодального анализа данных. В работе использовались данные 147 пациентов, для которых собирались показатели мимики, голоса, динамики походки и движений верхней конечности. Авторы систематически применяли прунинг (обрезку) моделей для снижения их размера и задержки вывода без потери точности, что важно для потенциального внедрения в клиническую практику. Были протестированы различные стратегии слияния модальностей: позднее, промежуточное, на основе внимания, трансформерное и с использованием больших языковых моделей (LLM). Наилучшие результаты показала слияние на основе внимания для мимики и походки, достигнув макро-F1 91,67%. Эксплораторный анализ с LLM для пары «мимика-верхняя конечность» показал F1 93,75%, однако авторы предупреждают о необходимости проверки воспроизводимости. Трансформерное слияние всех четырех модальностей дало F1 85,02%. Результаты подтверждают, что речь и мимика предоставляют дополнительные сигналы, дополняющие традиционные моторные маркеры, что открывает перспективы для создания цифровых биомаркеров уязвимости к падениям при БП.

В исследовании, опубликованном в npj Digital Medicine 7 сентября 2026 года, представлена мультимодальная модель искусственного интеллекта для прогнозирования риска рецидива менингиомы после радиотерапии. Модель объединяет перитуморальные МРТ-изображения (область вокруг опухоли) с клиническими данными пациентов, что позволяет более точно стратифицировать пациентов по группам риска по сравнению с традиционными подходами. Авторы использовали методы глубокого обучения для анализа радиомических признаков перитуморальной зоны, которые отражают микроинвазию и биологическое поведение опухоли, недоступные при стандартной оценке только самой опухоли. Валидация модели проводилась на ретроспективных когортах пациентов с менингиомой, получавших лучевую терапию, с оценкой дискриминационной способности через AUC (площадь под ROC-кривой). Результаты показали значительное улучшение точности прогноза рецидива по сравнению с моделями, использующими только клинические параметры или только внутриопухолевые МРТ-признаки. Интеграция перитуморальных радиомических характеристик позволила выявить скрытые паттерны, связанные с агрессивностью опухоли, что может помочь в персонализации адъювантной терапии и выборе тактики наблюдения. Работа подчеркивает потенциал мультимодального ИИ в нейроонкологии для улучшения стратификации риска и принятия клинических решений, однако требует проспективной валидации перед внедрением в рутинную практику.

Исследование предлагает ИИ-фреймворк для оценки боли у некоммуникативных пациентов (новорождённые, пациенты с когнитивными нарушениями) без использования размеченных реальных данных. Метод сочетает синтетическую генерацию 50 000 сценариев боли через диффузионные модели с адаптацией доменов, достигая 81,5% точности для неонатальной оценки и превосходя супервизированные методы в кросс-датасет обобщении на 40,4%.

Искусственный интеллект стремительно трансформирует медицинскую визуализацию, обеспечивая автоматическое обнаружение, классификацию и прогнозирование рисков в растущем числе клинических применений. В исследовании, опубликованном в The Lancet Digital Health, Ян Чжоу и коллеги представляют MerMED-FM — мультимодальную фундаментальную модель медицинской визуализации для множественных заболеваний. Модель обучена на более чем 3,3 миллиона изображений, охватывающих семь различных модальностей визуализации и более десяти клинических специальностей. Ключевая инновация заключается в способности модели интегрировать информацию across различных типов медицинских изображений, что отражает реальную клиническую практику, где врачи routinely объединяют данные из разных источников. Фундаментальные модели представляют собой следующий этап развития ИИ в медицине, позволяя создавать универсальные системы вместо узкоспециализированных решений для отдельных задач. MerMED-FM демонстрирует потенциал для улучшения диагностической точности, сокращения времени анализа и поддержки клинических решений в разнообразных медицинских контекстах. Разработка таких моделей требует значительных вычислительных ресурсов и тщательно курированных датасетов, но обещает стандартизацию подходов к ИИ-диагностике. Внедрение единых фундаментальных моделей может упростить регуляторное одобрение и клиническую валидацию ИИ-решений в здравоохранении.

MerMED-FM представляет собой новую фундаментальную модель искусственного интеллекта для медицинской визуализации, разработанную для работы в нескольких медицинских специальностях одновременно. Модель является мультимодальной, что означает способность обрабатывать и интегрировать различные типы медицинских изображений (рентген, КТ, МРТ, УЗИ и другие форматы). Ключевая особенность MerMED-FM — кросс-специальностная адаптивность: модель обучена интерпретировать изображения для диагностики множественных заболеваний, а не ограничивается одной областью медицины. Архитектура фундаментальной модели позволяет дообучать систему под конкретные клинические задачи с минимальными дополнительными данными. Потенциальное применение включает поддержку врачей в диагностике, скрининговые программы, автоматизацию рутинной интерпретации снимков. Детали архитектуры, результаты валидации и метрики точности в предоставленном материале не указаны — требуется доступ к полной версии статьи для оценки технических характеристик и клинической эффективности модели.

Компания Tempus AI опубликовала в престижном журнале Nature Medicine результаты исследования своей мультимодальной фундаментальной модели PRISM2, предназначенной для применения в онкологии. Модель демонстрирует диагностическую точность уровня клинических стандартов для обнаружения рака, одновременно расширяя возможности прогнозирования статуса биомаркеров и прогноза пациентов. PRISM2 представляет собой фундаментальную ИИ-модель, обученную на мультимодальных медицинских данных, что позволяет ей выполнять множественные диагностические и прогностические задачи в рамках единой архитектуры. Исследование подтверждает эффективность модели в реальных клинических сценариях, позиционируя Tempus как лидера во внедрении искусственного интеллекта в онкологию. Публикация в Nature Medicine свидетельствует о прохождении рецензирования и научной валидации технологии. Компания Tempus AI торгуется на бирже NASDAQ под тикером TEM и специализируется на технологиях для персонализированной медицины. Результаты исследования открывают возможности для более широкого клинического применения ИИ в диагностике рака и прогнозировании исходов лечения.

Разработан интерпретируемый мультимодальный ИИ-фреймворк, объединяющий эмбеддинги рентгенограмм грудной клетки (DEiT-трансформер) с клиническими, демографическими и социальными данными пациентов для диагностики лекарственно-устойчивого туберкулёза. Модель XGBoost достигла PR-AUC 0.9258 и ROC-AUC 0.8718 на 6279 пациентах, при этом анализ SHAP выявил ключевые факторы риска — контакты с больными, статус занятости и радиологические аномалии. Клиницисты подтвердили правдоподобность объяснений модели.

В исследовании, опубликованном в журнале npj Digital Medicine, представлена инновационная мультимодальная система искусственного интеллекта, предназначенная для прогнозирования серьезных неблагоприятных сердечно-сосудистых событий (MACE). Ключевой особенностью разработки является способность модели эффективно работать в условиях неполных клинических данных, что является распространенной проблемой в реальной медицинской практике. Методология базируется на интеграции различных типов данных (мультимодальный подход) и использовании механизмов интерпретируемости, позволяющих врачам понимать логику принятия решений ИИ. Система демонстрирует высокую точность прогнозирования, значительно превосходя традиционные клинические шкалы риска даже при наличии пропусков в медицинских записях. Результаты исследования подчеркивают потенциал внедрения подобных ИИ-решений для раннего выявления пациентов группы высокого риска в кардиологии. Данная технология может существенно оптимизировать стратегии профилактического лечения и снизить уровень смертности от сердечно-сосудистых заболеваний.

В исследовании, опубликованном в журнале npj Digital Medicine, представлена инновационная мультимодальная модель искусственного интеллекта, предназначенная для выявления риска развития расстройства поведения в фазе быстрого сна (RBD) у пациентов с большим депрессивным расстройством (БДР). Методология исследования базируется на интеграции различных типов данных, включая нейровизуализацию, показатели полисомнографии и клинические характеристики пациентов. Использование мультимодального подхода позволило значительно повысить точность прогнозирования коморбидных состояний по сравнению с традиционными унимодальными методами. Ключевые результаты демонстрируют высокую чувствительность и специфичность алгоритма, что позволяет на ранних стадиях выявлять пациентов с высоким риском нейродегенеративных изменений. Данная разработка имеет критическое значение для персонализированной психиатрии, позволяя врачам своевременно корректировать терапевтическую стратегию и проводить превентивную диагностику. Практическая значимость работы заключается в создании надежного инструмента поддержки принятия клинических решений для психиатров и сомнологов.

Авторы предлагают комплексную структуру использования ИИ для борьбы с ожирением, объединяющую геномные, клинические и данные с носимых устройств в динамический показатель риска. Предложенный подход включает создание «цифровых двойников» метаболизма для тестирования вмешательств in silico и акцентирует внимание на объяснимости и справедливости алгоритмов.

В исследовании представлен Prostate-TriMod — инновационный тримодальный датасет для анализа рака предстательной железы, созданный для обучения мультимодальных моделей ИИ. Данный ресурс объединяет три типа данных: мультимасштабные виртуальные фрагменты H&E (разрешением от 224px до 2040px), пространственные карты тканей и текстовые описания, сгенерированные на основе данных единичных клеток. Использование платформы мультиплексной визуализации Cell DIVE позволило синхронизировать морфологический контекст с паттернами иммунной инфильтрации, идентифицируемыми с помощью моделей TOPAZ и CAT. Датасет включает критически важные клинические аннотации, такие как группы грейда (Grade Groups) и статус биохимического рецидива (BCR). Разработка Prostate-TriMod открывает новые возможности для создания ИИ-фреймворков, способных связывать гистологическую морфологию и иммунный контекст с реальными клиническими прогнозами. Этот инструмент станет важной базой для бенчмаркинга в области мультимодального обучения представлений и пространственного анализа тканей.

В статье представлен HESTIA (Histology-Enhanced Scalable cross-Resolution inTegration for spatial trAnscriptomics) — инновационный мультимодальный алгоритм, разработанный для анализа крупномасштабных данных пространственной омики. Основная проблема текущих методов заключается в огромных объемах данных и высокой разреженности транскриптомных данных при переходе к субклеточному уровню, что вызывает дефицит памяти у существующих систем. HESTIA решает эту задачу за счет оптимизации вычислений, позволяя обрабатывать массивы данных, недоступные для других алгоритмов. Исследование показало, что метод превосходит текущие аналоги по точности кластеризации и пространственной непрерывности, обеспечивая четкое разграничение структурных границ тканей. При применении алгоритма к патологическим образцам легких и колоректального рака удалось успешно картировать внутриопухолевую гетерогенность и идентифицировать специфические иммунные микроокружения. Данная разработка имеет критическое значение для прецизионной диагностики и понимания механизмов развития онкологических заболеваний на молекулярном уровне.