мультимодальные модели

В представленном материале рассматривается новая итерация модели Gemini Robotics-ER 1.6, предназначенная для качественного улучшения автономных робототехнических систем. Основной фокус исследования направлен на развитие способностей к пространственному рассуждению (spatial reasoning) и многоракурсному пониманию сцены (multi-view understanding). Технология позволяет роботам более эффективно интерпретировать окружающую среду, что критически важно для выполнения сложных манипуляций и навигации в динамических условиях. В отличие от предыдущих версий, модель 1.6 демонстрирует прогресс в области 'embodied reasoning' — способности ИИ связывать визуальные данные с физическими действиями в реальном пространстве. Это открывает новые возможности для интеграции продвинутых мультимодальных моделей в медицинскую робототехнику, например, для проведения высокоточных манипуляций при хирургических вмешательствах или автоматизированной помощи пациентам. Внедрение таких моделей позволяет сократить ошибки позиционирования и повысить уровень автономности роботов в неструктурированных средах.

Исследователи представили HalluCodon — кастомизируемый фреймворк, использующий мультимодальные языковые модели для проектирования кодирующих последовательностей, адаптированных под конкретные виды растений. Методология основана на стратегии дизайна через «галлюцинацию», где процесс направляется двумя предиктивными модулями: CodonNAT, оценивающим естественность кодонов, и CodonEXP, прогнозирующим потенциал экспрессии. Система позволяет пользователям дообучать (fine-tune) предобученные белковые и РНК-языковые модели на собственных наборах данных. Текущая реализация включает базовые модели, обученные на кодирующих последовательностях и протеомах 15 различных видов растений. Бенчмарк-тесты подтвердили, что сгенерированные последовательности точно воспроизводят паттерны использования кодонов хозяина и обеспечивают высокие уровни экспрессии в растительных системах. Данная разработка имеет высокую значимость для синтетической биологии, молекулярного земледелия и создания трансгенных культур.

В исследовании, опубликованном в журнале npj Digital Medicine, представлена инновационная методология использования визуально-языковых моделей (VLM) для глубокого анализа легочных узлов. Авторы предлагают подход «graphicalized vision-language modeling», который объединяет визуальные признаки КТ-снимков с текстовыми описаниями для более точной интерпретации патологий. Данная модель направлена на автоматизацию процесса обнаружения узлов и, что более важно, на эффективную стратификацию рисков злокачественности. Использование графических структур позволяет нейросети лучше понимать пространственные взаимосвязи между компонентами узла и окружающими тканями. Внедрение подобных систем в клиническую практику может значительно снизить нагрузку на радиологов и повысить точность ранней диагностики рака легких. Результаты демонстрируют потенциал интеграции мультимодальных данных для создания более надежных систем поддержки принятия врачебных решений в онкологии.

Meta представила Muse Spark — проприетарную мультимодальную модель, которая демонстрирует выдающиеся результаты в медицинских бенчмарках (HealthBench Hard), значительно опережая конкурентов. Несмотря на успех в области медицинских рассуждений, компания отказывается от открытого подхода, характерного для серии Llama.