мультимодальные модели

Исследование сравнивает эффективность двух мультимодальных моделей (ChatGPT-5.4 и DeepSeek-VL2) в оценке узлов щитовидной железы по шкале C-TIRADS. ChatGPT-5.4 показал более высокие показатели точности и чувствительности, однако обе модели пока не могут использоваться для самостоятельной клинической диагностики.

В исследовании представлена MGM2 — инновационная мультимодальная базовая модель (foundation model), предназначенная для глубокого анализа микробиомов. Модель была предварительно обучена на колоссальном массиве данных, включающем 1 821 291 образец из MicrobeAtlas и 225 067 операционных таксономических единиц (OTU). Методология MGM2 сочетает в себе эмбеддинги микробных последовательностей (на базе NTv3) с обусловленным анализом численности и семантическим выравниванием сообществ. Результаты тестирования показали превосходство MGM2 над моделью DeepPhylo: показатель macro-AUROC увеличился на 0,06–0,21 на различных уровнях иерархии MGnify, особенно при работе с редкими таксонами. В задачах прогнозирования ответа на фекальную трансплантацию микробиоты модель MGM2-XLarge достигла ROC AUC 0,79 и снизила расстояние Брея-Кертиса на 15% относительно исходного состояния реципиента. Кроме того, модель продемонстрировала эффективность в прогнозировании трендов на уровне ASV в 24 очистных сооружениях. Использование разреженных автоэнкодеров позволило интерпретировать состояния модели через словарь из 4 096 признаков, охватывающих таксономию, экологический контекст и техническую вариативность.

Исследователи представили SPgen — инновационную мультимодальную платформу на базе фундаментальных моделей, предназначенную для предсказания пространственного распределения белков в тканях. В отличие от существующих методов, которые ограничены анализом лишь малого количества белков, SPgen интегрирует белковые последовательности, функциональные аннотации, транскриптомные профили и пространственные данные для создания универсальных представлений. Методология позволяет модели выходить за рамки экспериментально измеренных панелей белков, обеспечивая протеомно-широкое предсказание. В ходе тестирования на различных наборах данных пространственной протеомики модель продемонстрировала высокую точность реконструкции пространственных паттернов и эффективное снижение уровня измерительного шума. Данная технология имеет критическое значение для понимания функций тканей, механизмов заболеваний и оценки терапевтического ответа, значительно снижая стоимость и расширяя возможности высокопроизводительного анализа без необходимости дорогостоящих экспериментов.

Исследование, опубликованное в журнале npj Digital Medicine, представляет инновационный метод преодоления дефицита данных в дерматологии путем генерации синтетических клинических записей. Авторы разработали подход, позволяющий трансформировать существующие наборы данных, содержащие только изображения (унимодальные), в мультимодальные обучающие выборки с использованием синтезированного текстового сопровождения. Методология включает использование продвинутых языковых моделей для создания структурированных медицинских заметок, которые имитируют реальные описания кожных патологий. Ключевые результаты показывают, что интеграция этих синтетических данных значительно повышает точность и устойчивость (robustness) мультимодальных ИИ-моделей при диагностике заболеваний кожи. Данная технология позволяет эффективно использовать огромные архивы визуальных данных, которые ранее не могли быть полноценно задействованы в обучении мультимодальных систем. Практическая значимость работы заключается в возможности масштабирования обучения диагностических систем без необходимости ручного сбора и разметки колоссальных объемов текстовой информации врачами.

В исследовании представлена инновационная мультимодальная модель (vision-language model), которая имитирует когнитивный процесс врача-радиолога при анализе медицинских изображений. Ключевой особенностью разработки является использование данных о движении глаз (eye-tracking) и вербальных рассуждениях экспертов в процессе обучения. Это позволяет модели не просто классифицировать патологии, но и фокусироваться на критически важных анатомических зонах, имитируя человеческое внимание. Методология обучения объединяет визуальные признаки рентгенологических снимков с текстовыми объяснениями, что повышает точность интерпретации сложных случаев. Результаты демонстрируют значительное превосходство модели над стандартными архитектурами в задачах описания изображений и постановки диагнозов. Данная технология открывает путь к созданию более прозрачных и объяснимых систем поддержки принятия врачебных решений (CDSS) в радиологии. Практическая значимость работы заключается в сокращении времени на анализ снимков и снижении вероятности пропуска патологий из-за человеческого фактора.

В исследовании представлен MolMAE — инновационная модель мультимодального маскированного автоэнкодера, предназначенная для глубокого обучения представлениям молекул. В отличие от традиционных подходов, опирающихся только на SMILES или 2D-графы, MolMAE интегрирует три типа данных: облака точек молекулярной поверхности, трехмерные графы молекул и токены фрагментов/функциональных групп из SMILES. Методология основана на совместном маскировании химически соответствующих локальных регионов во всех модальностях, что заставляет модель восстанавливать геометрию, топологию и семантику молекулы одновременно. Помимо реконструкции геометрии поверхности, модель обучается предсказывать физико-химические поля, включая электростатический потенциал и дескрипторы Фукуи. Предварительное обучение проводилось на массиве из 261 000 биологически активных молекул (lead-like). Результаты тестов на бенчмарке ESOL (при использовании scaffold splitting) показали превосходную точность, что подтверждает эффективность использования поверхностных данных для задач предсказания свойств, зависящих от взаимодействия лиганда с белком.

Разработана новая система MMCRAG-Resp, использующая мультимодальный RAG для диагностики респираторных заболеваний на основе звуков, спирометрии и текста. Метод значительно снижает уровень галлюцинаций ИИ и обеспечивает клинически обоснованные, объяснимые ответы с использованием локальных языковых моделей.

Обзор посвящен развитию систем Med-VQA, которые переходят от простых текстовых баз данных к сложным мультимодальным архитектурам на базе LLM и VLM. Исследование подчеркивает эффективность генеративных моделей, методов RAG и цепочек рассуждений (CoT) в анализе радиологических, патологических и дерматологических изображений.

В исследовании представлена инновационная модель мультимодального глубокого обучения TabulaTime, предназначенная для раннего прогнозирования острого коронарного синдрома (ОКС). Уникальность подхода заключается в интеграции двух различных типов данных: клинических показателей пациентов и экологических факторов окружающей среды, которые ранее редко учитывались в единой предиктивной модели. Методология исследования базируется на использовании нейронных сетей, способных обрабатывать разнородные временные ряды для выявления скрытых паттернов развития сердечно-сосудистых катастроф. Результаты демонстрируют значительное превосходство модели над традиционными методами статистического анализа и стандартными алгоритмами машинного обучения. Внедрение TabulaTime в клиническую практику может существенно повысить точность стратификации рисков и позволить врачам принимать более своевременные превентивные меры. Данная разработка открывает новые горизонты в персонализированной кардиологии, связывая физиологическое состояние человека с внешними факторами среды.

В исследовании представлена SiCLIP — инновационная мультимодальная программная среда, разработанная специально для повышения точности диагностики силикоза. Методология базируется на использовании концепции CLIP (Contrastive Language-Image Pre-training), которая позволяет модели сопоставлять визуальные признаки рентгеновских снимков с текстовыми медицинскими описаниями. Ключевой особенностью SiCLIP является её высокая интерпретируемость (explainability), что критически важно для клинического применения, так как врачи могут понимать логику принятия решений нейросетью. Исследование демонстрирует, что интеграция текстовой информации значительно улучшает точность классификации патологий по сравнению с чисто визуальными моделями. Данная разработка имеет высокую практическую значимость для радиологии и профессиональной медицины труда, позволяя автоматизировать скрининг и снизить риск диагностических ошибок при выявлении профессиональных заболеваний легких.

Материал представляет собой обзор новых инструментов и экспериментальных функций семейства моделей Gemini, разработанных специально для расширения масштабов и точности научных исследований. Основной акцент сделан на использовании мультимодальных возможностей ИИ для обработки сложных научных данных, которые ранее требовали колоссальных вычислительных ресурсов и ручного анализа. Представленные инструменты позволяют ученым автоматизировать поиск закономерностей в больших массивах данных, ускорять процесс выдвижения гипотез и моделирования сложных систем. Хотя в данном фрагменте не приводятся конкретные клинические результаты, технология позиционируется как фундаментальный фундамент для ускорения открытий в различных дисциплинах, включая биомедицину. Применение таких моделей может радикально изменить подход к анализу геномных данных, структурных белков и сложных медицинских изображений. Это важный шаг в сторону интеграции генеративного ИИ в повседневную исследовательскую практику ученых во всем мире.

Исследователи разработали инновационную модель глубокого обучения под названием PLASMA (Predicting Lung Adenocarcinoma recurrence via Selective Multimodal Attention), предназначенную для прогнозирования раннего рецидива аденокарциномы легкого (LUAD). Модель использует мультимодальный подход, интегрируя клинические данные, профили экспрессии мРНК и данные о мутациях пациентов с первичными стадиями I-III. Обучение проводилось на масштабном наборе данных The Cancer Genome Atlas (TCGA), что позволило достичь высокой точности. В ходе тестирования PLASMA продемонстрировала превосходство над традиционными методами машинного обучения, показав показатель AUROC 85,0% на тестовой выборке TCGA и 76,5% на внешней валидационной выборке TRACERx Lung. Данная разработка имеет высокую клиническую значимость, так как позволяет проводить эффективную стратификацию рисков и более точно прогнозировать выживаемость пациентов после резекции опухоли. Использование мультимодальных нейросетей открывает новые возможности для персонализированной онкологии в диагностике рецидивов.

В представленном материале рассматривается новая итерация модели Gemini Robotics-ER 1.6, предназначенная для качественного улучшения автономных робототехнических систем. Основной фокус исследования направлен на развитие способностей к пространственному рассуждению (spatial reasoning) и многоракурсному пониманию сцены (multi-view understanding). Технология позволяет роботам более эффективно интерпретировать окружающую среду, что критически важно для выполнения сложных манипуляций и навигации в динамических условиях. В отличие от предыдущих версий, модель 1.6 демонстрирует прогресс в области 'embodied reasoning' — способности ИИ связывать визуальные данные с физическими действиями в реальном пространстве. Это открывает новые возможности для интеграции продвинутых мультимодальных моделей в медицинскую робототехнику, например, для проведения высокоточных манипуляций при хирургических вмешательствах или автоматизированной помощи пациентам. Внедрение таких моделей позволяет сократить ошибки позиционирования и повысить уровень автономности роботов в неструктурированных средах.

В исследовании, опубликованном в журнале npj Digital Medicine, представлена инновационная мультимодальная модель на базе архитектуры Vision-Language для работы с диффузными глиомами у взрослых. Основная задача модели заключается в автоматизации двух критически важных процессов: прогнозировании молекулярно-генетического статуса опухоли и генерации структурированных радиологических отчетов на основе медицинских изображений. Методология объединяет визуальные признаки МРТ-снимков с текстовыми данными, что позволяет достичь высокой точности в определении биомаркеров, которые традиционно требуют дорогостоящей инвазивной биопсии. Использование ИИ позволяет сократить время постановки диагноза и минимизировать человеческий фактор при интерпретации сложных снимков. Результаты демонстрируют потенциал технологии в интеграции визуального анализа и текстовой генерации, что может значительно ускорить процесс принятия клинических решений в нейроонкологии. Данная разработка является важным шагом к созданию полностью автоматизированных систем поддержки принятия врачебных решений (СППВР) в радиологии.

Исследователи представили HalluCodon — кастомизируемый фреймворк, использующий мультимодальные языковые модели для проектирования кодирующих последовательностей, адаптированных под конкретные виды растений. Методология основана на стратегии дизайна через «галлюцинацию», где процесс направляется двумя предиктивными модулями: CodonNAT, оценивающим естественность кодонов, и CodonEXP, прогнозирующим потенциал экспрессии. Система позволяет пользователям дообучать (fine-tune) предобученные белковые и РНК-языковые модели на собственных наборах данных. Текущая реализация включает базовые модели, обученные на кодирующих последовательностях и протеомах 15 различных видов растений. Бенчмарк-тесты подтвердили, что сгенерированные последовательности точно воспроизводят паттерны использования кодонов хозяина и обеспечивают высокие уровни экспрессии в растительных системах. Данная разработка имеет высокую значимость для синтетической биологии, молекулярного земледелия и создания трансгенных культур.

В исследовании, опубликованном в журнале npj Digital Medicine, представлена инновационная методология использования визуально-языковых моделей (VLM) для глубокого анализа легочных узлов. Авторы предлагают подход «graphicalized vision-language modeling», который объединяет визуальные признаки КТ-снимков с текстовыми описаниями для более точной интерпретации патологий. Данная модель направлена на автоматизацию процесса обнаружения узлов и, что более важно, на эффективную стратификацию рисков злокачественности. Использование графических структур позволяет нейросети лучше понимать пространственные взаимосвязи между компонентами узла и окружающими тканями. Внедрение подобных систем в клиническую практику может значительно снизить нагрузку на радиологов и повысить точность ранней диагностики рака легких. Результаты демонстрируют потенциал интеграции мультимодальных данных для создания более надежных систем поддержки принятия врачебных решений в онкологии.

Meta представила Muse Spark — проприетарную мультимодальную модель, которая демонстрирует выдающиеся результаты в медицинских бенчмарках (HealthBench Hard), значительно опережая конкурентов. Несмотря на успех в области медицинских рассуждений, компания отказывается от открытого подхода, характерного для серии Llama.