белковые языковые модели

Исследование посвящено фундаментальной проблеме белковых языковых моделей (pLMs): способны ли они обобщать статистическую грамматику белков или же просто запоминают обучающие последовательности. Авторы применили метод псевдоперплексии в качестве зонда для выявления уровня запоминания в модели ProtT5. Методология включала сравнение псевдоперплексии на прокси-датасете (из обучающей выборки) и на контрольной выборке из подлинно новых последовательностей, отобранных по параметрам длины, размера кластера и таксономической принадлежности. В качестве статистического базиса использовались n-грамные языковые модели, которые подтвердили новизну контрольных последовательностей на локальном уровне. Результаты показали статистически значимую разницу в псевдоперплексии между увиденными и невиданными последовательностями, однако сам сигнал запоминания оказался умеренным. Это исследование критически важно для понимания надежности pLMs при проектировании новых белков и их применения в биомедицинских задачах.

В исследовании представлен новый метод оптимизации работы с белковыми языковыми моделями (PLM), которые генерируют объемные многослойные эмбеддинги, создающие высокую нагрузку на системы хранения и вычисления. Авторы предлагают использовать компактное суррогатное представление, основанное на проекциях PCA низкой размерности и кубических полиномиальных траекториях для описания изменений эмбеддингов между слоями трансформера. Данный подход позволяет восстанавливать эмбеддинги любого слоя «на лету» без необходимости повторного запуска ресурсоемкой модели. Эффективность метода была протестирована на моделях ESM-35M и ESM-3B в задачах предсказания белок-белковых взаимодействий и субклеточной локализации. Результаты показывают высокую точность реконструкции при значительном снижении требований к памяти и вычислительным мощностям. Важно, что использование сжатых данных не приводит к потере качества в прикладных задачах, что делает метод масштабируемым решением для биоинформатики и разработки новых лекарств.

В исследовании представлен инновационный метод построения пангеномов, основанный на использовании эмбеддингов белковых языковых моделей (Protein Language Models). В отличие от традиционных методов, опирающихся на выравнивание нуклеотидных или белковых последовательностей, данный подход позволяет выявлять отдаленные ортологи и семантические связи, выходящие за рамки простого сходства последовательностей. Методология включает поиск ближайших соседей с использованием GPU-ускорения, динамическую пакетную обработку и оптимизацию ONNX, что обеспечивает линейную масштабируемость при анализе миллионов белков. Сравнительный анализ с инструментом SCARAP показал, что новый метод формирует более специфичные кластеры. При тестировании на наборе данных CAFA5, содержащем экспериментально подтвержденные данные, предложенный подход значительно превзошел SCARAP по всем метрикам функциональной согласованности и когерентности. Практическая значимость подтверждена успешной характеристикой пангенома 1034 геномов Streptomyces. Разработчики предоставили открытый исходный код на GitHub для масштабирования биоинформатических исследований.

В исследовании представлен SelectZyme — инновационный фреймворк для поиска новых ферментов, использующий эмбеддинги языковых моделей белка (Protein Language Models). Методология объединяет векторные представления белков с методами снижения размерности, иерархической кластеризацией и количественным анализом дендрограмм, что позволяет исследовать биологические последовательности без привязки к фиксированным порогам сходства или заранее известным аннотациям. В ходе тестирования на массиве данных из более чем 100 000 последовательностей PETase (ферментов, расщепляющих пластик), система продемонстрировала способность сохранять структурную целостность фолдов даже в «сумеречной зоне» сходства последовательностей. Ключевым преимуществом является переход от простого фильтрания по сходству к структурированному исследованию латентного пространства, что позволяет выявлять биологически значимые функциональные организации в полностью неконтролируемых (unsupervised) условиях. Данный подход обеспечивает масштабируемую основу для направленного поиска биокатализаторов и служит эффективной отправной точкой для последующей белковой инженерии и разработки новых лекарственных средств.

В исследовании представлен комплексный бенчмарк эффективности белковых языковых моделей (PLM), таких как ESM2 (650M и 3B параметров) и ProtT5-XL, для предсказания номеров Enzyme Commission (EC), что критически важно для аннотации геномов и биоинженерии. Авторы протестировали 1296 моделей, комбинируя три архитектуры PLM с девятью нейросетевыми архитектурами на четырех уровнях иерархии EC и различных порогах идентичности последовательностей. Результаты показали, что простые MLP-классификаторы достигают точности до 98.0% на уровне EC1 и около 97.0% на уровне EC4, сопоставимо с BLAST для белков из обучающей выборки. Однако при работе с эволюционно отдаленными эукариотами (например, Giardia lamblia) модели на базе PLM показали колоссальное превосходство над BLAST, увеличив точность на 31.8 процентных пункта по сравнению с базовой линией в 90 тысяч последовательностей. Для прокариотических протеомов среднее преимущество PLM перед BLAST составило +16.9 процентных пункта на уровне EC4. Исследование также выявило, что архитектура MLP является наиболее эффективной, а использование ESM2-650M практически не уступает по результатам значительно более крупной модели ESM2-3B.

В статье рассматривается критически важный аспект современного биоинформатического ИИ — интерпретируемость и объяснимость белковых языковых моделей (Protein Language Models, PLMs). Авторы Ханклингер и Ферруз представляют комплексный обзор существующих методов объяснимого искусственного интеллекта (XAI), адаптированных для анализа аминокислотных последовательностей. Исследование фокусируется на том, как механизмы внимания и градиентные методы позволяют понять, какие именно паттерны в последовательностях белков определяют их структурные и функциональные свойства. Работа подчеркивает переход от моделей «черного ящика» к прозрачным системам, что необходимо для безопасного внедрения ИИ в процесс разработки лекарств и дизайна белков. Основное внимание уделяется методологиям, которые связывают предсказания нейросетей с биологически значимыми концепциями, такими как вторичная структура и сайты связывания. Данный обзор служит фундаментальной базой для исследователей, стремящихся объединить глубокое обучение с классической молекулярной биологией.

Исследователи представили PLM-SAE — новый механистический фреймворк, использующий разреженные автокодировщики (SAE) для расшифровки сложных эмбеддингов белковых языковых моделей (PLM), таких как серия ESM. Основная проблема существующих моделей заключается в высокой степени запутанности латентных представлений, что мешает точному пониманию биофизических ограничений. Предложенный метод позволяет разделить эти представления на дискретные, биологически интерпретируемые активации, что значительно повышает точность предсказания эффектов мутаций (VEP). В ходе тестирования в режиме zero-shot модель ESM-3 показала существенный прогресс на 114 наборах данных глубокого мутационного сканирования, включая относительное улучшение на 80,8% для человеческой E3-убиквитинлигазы HECD1. Использование дифференцируемого механизма гейтинга обеспечило рост среднего коэффициента корреляции Спирмена на +0,138 в более чем 80% случаев. Кроме того, при применении к многозадачной архитектуре были достигнуты новые показатели SOTA на 17 наборах данных VenusMutHub, где точность предсказания связывания с малыми молекулами выросла на 169,0%. Данная работа закладывает фундамент для более глубокого понимания функциональности белков с помощью ИИ.

Исследование посвящено анализу механизмов работы белковых языковых моделей (PLM), таких как ESM-2 (650 млн параметров) и мультимодальная ESM-3 (1,4 млрд параметров). С помощью разреженных автоэнкодеров (SAE) ученые обнаружили, что 78% выученных признаков между этими разными архитектурами конвергируют, что значительно превышает уровень случайного совпадения (14,2%). Эти общие признаки несут основную функциональную информацию: их AUROC для предсказания функциональных сайтов составляет 0,925, в то время как уникальные для конкретной архитектуры признаки показывают лишь 0,661. Установлено, что структурные токены в ESM-3 не создают новый словарь признаков, а скорее «затачивают» существующий, делая его более биологически информативным (134 обогащенных термина GO против 29). Анализ механизмов внимания выявил конкретную геометрическую голову (L0H7), которая служит «бутылочным горлышком» для поступления структурной информации; ее абляция меняет предсказания вторичной структуры у 40% остатков. Работа доказывает существование общего биологического словаря, который модели находят независимо от модальностей обучения.

Исследователи разработали TriCyP (Tri-state Cysteine Predictor) — эффективную двухслойную нейронную сеть на базе эмбеддингов белковой языковой модели ESM-2, предназначенную для классификации функциональных состояний цистеина. Модель способна различать три состояния: координацию металлов, образование дисульфидных связей и наличие свободных тиолов. В ходе тестирования на независимом наборе данных TriCyP продемонстрировала исключительную точность с показателем AUROC = 0,99, превзойдя существующие методы прогнозирования. Авторы применили инструмент к масштабу протеома, проанализировав 2,7 миллиона остатков цистеина в 0,9 миллионах репрезентативных доменов ECOD. Исследование выявило закономерности распределения: дисульфидные связи преобладают в внеклеточных белках эукариот, а координация металлов сосредоточена в ядерных белках, что связано с обилием цинк-пальцевых транскрипционных факторов. Кроме того, метод позволил обнаружить ранее неизвестные семейства металл-связывающих белков и выявить области структурной неопределенности в моделях AlphaFold. Полученный каталог доступен сообществу как ресурс для дальнейших биоинформатических исследований.

Исследователи разработали GeoARG — инновационную платформу, объединяющую структурные признаки белков с моделями языков белка (Protein Language Models) через процесс дистилляции знаний. Основная проблема текущих методов заключается в зависимости от гомологии последовательностей, что мешает поиску эволюционно далеких генов устойчивости к антибиотикам (ARG). GeoARG решает эту задачу, позволяя проводить масштабный скрининг, используя только входные последовательности, но при этом учитывая геометрические ограничения структур. В ходе крупномасштабного метагеномного анализа с помощью нового метода было обнаружено 1485 высоконадежных кандидатов в гены устойчивости, которые значительно отличаются от уже известных типов. Структурный анализ подтвердил, что эти новые кандидаты сохраняют геометрию активных центров и стабильные конфигурации связывания лигандов, характерные для механизмов резистентности. Данная разработка существенно расширяет понимание филогенетического ландшафта резистома и предоставляет мощный инструмент для борьбы с антибиотикорезистентностью. Для широкого использования авторы запустили публичный веб-сервер.

Исследователи представляют ProteinSage — новую фреймворк предобучения для моделей белковых языков, который интегрирует явные структурные ограничения вместо традиционного подхода, основанного исключительно на последовательностях. Методология включает структурированное маскирование белковых последовательностей и каузальную задачу, позволяющую моделировать долгосрочные зависимости в структуре белка. Такой подход позволяет достигать конкурентоспособных результатов при использовании меньшего объёма данных и вычислительных ресурсов. Валидация на задаче обнаружения белков с многопроходными трансмембранными спиральными архитектурами показала успешную идентификацию шести ранее неаннотированных гомологов микробных родопсинов. Это демонстрирует способность модели к истинному структурному обобщению, а не просто подгонке под конкретные задачи. Разработка ProteinSage открывает путь к более эффективному обучению представлений белков с сохранением структурной информации, что критически важно для предсказания структуры белков, дизайна лекарств и понимания механизмов заболеваний. Технология может ускорить открытие новых терапевтических мишеней и персонализированные подходы к лечению на основе белковых взаимодействий.