интерпретируемость ИИ

В данном исследовании представлен новый метод механистической интерпретируемости под названием VFUSE, предназначенный для аудита генеративных моделей белков на предмет создания опасных патогенов. Авторы обучают разреженные автоэнкодеры (SAE) на активациях диффузионных трансформеров, чтобы выявлять скрытые признаки, связанные с вирулентностью. Методология была протестирована на популярных моделях RoseTTAFold3 и RFDiffusion3, используемых для фолдинга и синтеза белков. Результаты показали, что линейные зонды, работающие в латентном пространстве SAE, обнаруживают опасные дизайны значительно эффективнее, чем стандартные представления моделей. Исследователям удалось идентифицировать моносемантические признаки, которые активируются исключительно на опасных структурах, достигнув показателя AUROC 0,84 при высокой статистической значимости (q < 10^-13). Данная работа имеет критическое значение для обеспечения биобезопасности при использовании ИИ в протеомике и синтетической биологии.

Исследование посвящено изучению механизмов интерпретируемости предобученных геномных языковых моделей (gLM), в частности модели InstaDeeps Nucleotide Transformer v2 с 500 миллионами параметров. Авторы применили метод разреженных автоэнкодеров (SAE) ко всем 24 слоям энкодера для анализа латентных признаков. В ходе работы были построены графы знаний «последовательность-признак» для исследования пространства признаков SAE и проведено сравнение сообществ ДНК, связывающихся с цисплатином, и не связывающихся с ним с использованием центральности PageRank. Экспериментальные интервенции с использованием декодера и CNN-классификатора связывания показали асимметричные эффекты: подавляющие признаки могли полностью разрушить прогностический сигнал, в то время как признаки, связанные со связыванием, вызывали кумулятивный сдвиг предсказаний. Результаты доказывают, что представления gLM кодируют высокогранулярный синтаксис последовательностей и паттерны консервативности, ориентируясь на локальные биофизические ограничения, а не на сложные распределенные регуляторные логики. Это объясняет высокую эффективность моделей в молекулярных задачах при их относительной слабости в широком регуляторном выводе.

В статье представлен новый фреймворк для анализа интерпретируемости моделей глубокого обучения, основанный на формальном понятии семантики модели из философии науки. Авторы аргументируют, что интерпретируемость является лишь одним из аспектов семантики модели, а не её полным описанием. Исследование иллюстрирует предложенный фреймворк примерами из биомедицинской области, демонстрируя практическую применимость подхода. Работа подчеркивает критическую важность понимания не только того, как работают медицинские ИИ-модели, но и того, что именно они представляют в семантическом смысле. Это особенно актуально для клинической практики, где врачи должны доверять рекомендациям алгоритмов. Фреймворк позволяет систематически анализировать неявные семантические аспекты моделей, которые часто остаются скрытыми при стандартной интерпретации. Статья опубликована в Nature Machine Intelligence, что указывает на высокую научную значимость работы. Подход может способствовать более надежному внедрению ИИ в медицинские приложения за счет улучшения прозрачности и доверия к алгоритмам.