языковые модели

Исследователи представили HalluCodon — кастомизируемый фреймворк, использующий мультимодальные языковые модели для проектирования кодирующих последовательностей, адаптированных под конкретные виды растений. Методология основана на стратегии дизайна через «галлюцинацию», где процесс направляется двумя предиктивными модулями: CodonNAT, оценивающим естественность кодонов, и CodonEXP, прогнозирующим потенциал экспрессии. Система позволяет пользователям дообучать (fine-tune) предобученные белковые и РНК-языковые модели на собственных наборах данных. Текущая реализация включает базовые модели, обученные на кодирующих последовательностях и протеомах 15 различных видов растений. Бенчмарк-тесты подтвердили, что сгенерированные последовательности точно воспроизводят паттерны использования кодонов хозяина и обеспечивают высокие уровни экспрессии в растительных системах. Данная разработка имеет высокую значимость для синтетической биологии, молекулярного земледелия и создания трансгенных культур.

Исследователи представили IDiom — новую авторегрессионную языковую модель белка, специально разработанную для генеративного дизайна внутренне неупорядоченных областей белков (IDR). В отличие от традиционных методов, ориентированных на стабильные структуры, IDiom обучалась на массиве из 37 миллионов последовательностей неупорядоченных регионов, отобранных из базы данных AlphaFold. Использование метода аугментации данных 'fill-in-the-middle' позволяет модели генерировать последовательности как в контексте окружающих структурированных доменов, так и в виде полностью неупорядоченных белков. Ключевым достижением стало применение обучения с подкреплением (RL) с использованием модели вознаграждения за субклеточную локализацию, что позволило создавать последовательности с заданными свойствами распределения по клеточным компартментам. Модель успешно воспроизводит биологически релевантные эволюционные статистические характеристики природных IDR. Данная разработка открывает новые возможности для рационального дизайна белков, которые ранее считались недоступными для классических методов моделирования.

Российская языковая модель «ГигаЧат» получила масштабное обновление, расширив свои возможности в области многоязычного понимания и генерации текста. Теперь ИИ-помощник поддерживает более 30 языков, включая языки народов России и стран СНГ, что значительно повышает доступность технологий для различных этнических групп. Основное внимание при разработке было уделено улучшению качества лингвистических конструкций и точности передачи контекста на менее распространенных языках. Это обновление позволяет использовать нейросеть для локализации контента, автоматического перевода и создания персонализированных текстовых ответов в многоязычной среде. Технология имеет высокую значимость для развития цифровой инклюзивности и интеграции ИИ в региональные сервисы коммуникации. Внедрение таких языковых мощностей открывает новые возможности для автоматизации поддержки пользователей и образовательных проектов в мультикультурных регионах.

Исследование представляет новый подход к генерации декой-баз данных в протеомике с использованием языковых моделей белков (PLM) для оценки ложных открытий при идентификации пептидов. Авторы сравнивают PLM-декои с классическими методами (реверс и перемешивание) через три уровня контроля качества: сепарабельность на уровне последовательности, спектральные диагностические метрики и полные конвейеры масс-спектрометрии. Результаты показывают, что PLM-декои сложнее для нейросетей, работающих только с последовательностью, что указывает на меньшее количество артефактов на уровне последовательности. Однако спектральный анализ выявил, что короткие пептиды занимают особенно перенаселённое пространство целевой-декоя и подвержены локальным коллизиям при всех генераторах. В полных поисковых конвейерах обратные декои остаются сильным базовым уровнем, а текущие PLM-генераторы не обеспечивают явного общего преимущества. Исследователи рассматривают PLM-декои не как универсальную замену, а как настраиваемые инструменты для бенчмаркинга, диагностики, стресс-тестирования и будущей адаптивной оптимизации декой-баз.

Исследование посвящено улучшению надежности трансформерных языковых моделей для геномики (GLM), которые демонстрируют высокую эффективность в задачах предсказания на генетических данных, но склонны к излишней уверенности при работе с зашумленными или неизвестными данными. Авторы анализируют влияние нескольких методов оценки неопределенности (uncertainty quantification, UQ), включая температурное масштабирование и эпистемические нейронные сети, на надежность предсказаний моделей в различных доменах геномных и метабаргеномных задач. Сравнение поведения моделей на данных из распределения (in-distribution) и вне распределения (out-of-distribution) показывает, что предложенные методы способны значительно улучшить надежность классификации. Результаты демонстрируют универсальность подхода, так как он работает на нескольких архитектурах GLM и в различных предметных областях. Разработка критически важна для геномики, где неизвестные виды и новые генетические варианты встречаются часто, и надежность предсказаний напрямую влияет на клинические решения. Полученные модели могут применяться для диагностики генетических заболеваний, персонализированной медицины и анализа микробиома. Исходный код проекта доступен в открытом доступе на GitHub, что позволяет исследователям и практикам внедрять эти методы в свои рабочие процессы.