интерпретируемость ИИ

В данной статье представлен масштабный обзор области применения значений Шепли (Shapley values) в контексте клинических предиктивных моделей. Авторы систематизируют текущие методы интерпретируемости машинного обучения, фокусируясь на кооперативной теории игр как инструменте для объяснения вклада отдельных признаков в прогноз модели. Работа служит не только обзором, но и практическим руководством для исследователей и клиницистов, стремящихся внедрить объяснимый ИИ (XAI) в медицинскую практику. Особое внимание уделяется методологическим аспектам расчета значений Шепли, их вычислительной сложности и интерпретации результатов в условиях неопределенности. Статья подчеркивает важность прозрачности алгоритмов для построения доверия между врачами и системами поддержки принятия врачебных решений. Рассматриваются преимущества подхода перед другими методами атрибуции, такими как LIME или простые градиентные методы, особенно в случае сложных нелинейных зависимостей. Авторы выделяют ключевые вызовы, включая необходимость больших вычислительных ресурсов и риск некорректной интерпретации локальных объяснений. Работа закладывает теоретическую базу для более надежного использования черных ящиков ИИ в критически важных медицинских сценариях.

В статье представлен новый интерпретируемый фреймворк AuditPPI, предназначенный для аудита моделей предсказания белок-белковых взаимодействий (PPI), основанных на языковых моделях белков. Авторы используют разреженные автоэнкодеры (SAE) для извлечения признаков из замороженной языковой модели и преобразования их в инвариантные к порядку отпечатки пар, что позволяет переформулировать задачу предсказания PPI как проблему табличного обучения. Методология включает мультимасштабный аудит информации, поддерживающей предсказания, с использованием различных бенчмарков, включая белок-разделенные и контролирующие топологию. Ключевые результаты показывают, что хотя AuditPPI достигает конкурентоспособной предсказательной точности, стандартные бенчмарки часто опираются на контекстуальные сокращения, такие как субклеточная ко-локализация, а не на специфические биологические сигналы интерфейсов взаимодействий. Структурный анализ не выявил значительного обогащения признаков в интерфейсах после контроля за поверхностной экспозицией, что указывает на отсутствие механической достоверности у многих существующих предикторов. Работа демонстрирует, что предсказательный успех не всегда означает понимание биологического механизма, и предлагает практический инструмент для оценки того, захватывают ли модели реальные сигналы взаимодействий или используют артефакты данных. Это исследование критически важно для развития надежных ИИ-систем в структурной биологии и фармакологии, так как помогает отделить истинные биологические инсайты от статистических совпадений.

В статье представлен новый метод глубокого обучения AGMNet (Adaptive Gated Multimodal Network), предназначенный для классификации болезни Паркинсона. Модель интегрирует данные структурной магнитно-резонансной томографии (МРТ), визуализации транспортера дофамина (DaT), а также признаки асимметрии и биомаркеры. Для обеспечения интерпретируемости решений нейросети используется метод Grad-CAM, позволяющий визуализировать области на снимках, наиболее влияющие на классификацию. Оценка производительности проводилась с помощью пятикратной перекрестной проверки и сравнения с базовыми архитектурами, такими как VGG16, VGG19, InceptionV3 и Xception. Результаты показали точность 0.8318, сбалансированную точность 0.8278, чувствительность 0.8556 и специфичность 0.8000. Площадь под ROC-кривой (AUC) составила 0.711, а коэффициент корреляции Мэтьюса (MCC) — 0.6458. Исследование демонстрирует, что адаптивное мультимодальное слияние данных улучшает интеграцию структурной, функциональной и асимметричной информации по сравнению с использованием только МРТ. Модель AGMNet показала конкурентоспособные результаты относительно существующих архитектур глубокого обучения. Веса затворов подтвердили высокую значимость функциональных данных и признаков асимметрии для точной диагностики. Предложенный подход предлагает перспективный и интерпретируемый инструмент для помощи в диагностике болезни Паркинсона на основе мультимодальных медицинских изображений.

В статье представлен новый фреймворк UniWave-2 для анализа последовательностей нуклеиновых кислот, который решает проблемы информационной разреженности и разрыва непрерывности последовательностей, характерные для традиционных методов глубокого обучения, использующих дискретное кодирование. Авторы предлагают преобразовывать биологические последовательности в сигналы волновых форм, интегрируя в схему кодирования физико-химические свойства, такие как гидрофобность, для более полного отражения структуры молекул. Для повышения разрешения волновых форм применяются преобразование Фурье и вейвлет-преобразование, что позволяет точно захватывать как локальные детали, так и глобальные периодические паттерны в данных. В основе архитектуры лежит легковесная многомасштабная модель GRU (Gated Recurrent Unit), способная взаимодействовать с функциями в разных измерениях, улавливать двунаправленные временные зависимости и учитывать пространственную позиционную информацию. Исследование демонстрирует конкурентоспособные результаты модели на множестве задач геномного анализа, подчеркивая её эффективность по сравнению с существующими подходами. Особое внимание уделено интерпретируемости: анализ важности последовательностей (ISM) показал, что волновое кодирование позволяет получать объяснимые атрибуты без необходимости использования градиентной информации, что критически важно для доверия к ИИ в медицине. Результаты работы позиционируют UniWave-2 как легкий и интерпретируемый инструмент для анализа геномных данных, что может быть применено в персонализированной медицине и диагностике генетических заболеваний.

Статья представляет SSLVNet — гибридную модель на базе самообучения и Vision Transformers для автоматической многоклассовой диагностики заболеваний сетчатки по фотографиям глазного дна. Модель достигает высокой точности (84.44%) и обеспечивает интерпретируемость предсказаний с помощью Grad-CAM, что критически важно для внедрения в клиническую практику.

В статье представлена новая архитектура на базе YOLOv11 для автоматической классификации восьми типов заболеваний сетчатки по изображениям ОКТ. Модель достигает 98% точности и обеспечивает высокую интерпретируемость за счет визуализации Grad-CAM, что делает её перспективной для поддержки скрининга.

В статье представлена новая архитектура нейронной сети MSHAN, сочетающая многомасштабную абстракцию признаков и иерархические механизмы внимания для классификации аритмий по данным ЭКГ. Модель достигла точности 96,25% на базе данных MIT-BIH, превзойдя традиционные методы, и использует визуализацию SHAP для обеспечения интерпретируемости решений, что помогает кардиологам проверять правильность предсказаний.

В статье представлен метод DualTopoDDI — интерпретируемая модель глубокого обучения на основе двойных топологических графов для предсказания взаимодействий между лекарствами (DDI). Традиционные методы часто не способны предоставить механизмы таких взаимодействий, что критично для безопасности пациентов. Авторы применили модель для прогнозирования 9,2 миллиардов потенциальных взаимодействий среди одобренных препаратов, достигнув 97,99% точности для высоконадежных предсказаний. Модель обеспечивает интерпретируемость на молекулярном уровне, выявляя ключевые субструктуры, ответственные за действие препаратов, как с атомарной, так и с связевой точек зрения. Особое внимание уделено объяснению механизмов токсичности, включая успешную расшифровку кардиотоксичности при комбинации препаратов для лечения COVID-19. Оценка на 11 бенчмарк-наборах данных показала, что DualTopoDDI превосходит существующие аналоги по производительности, обобщающей способности и интерпретируемости. Этот инструмент предоставляет критически важные инсайты для обеспечения безопасности лекарств и их дизайна.

В статье представлен пакет R и приложение Shiny ProteoScopeR, предназначенное для стандартизации и повышения воспроизводимости количественного протеомного анализа. Инструмент объединяет ключевые этапы обработки данных, такие как нормализация, обработка пропущенных значений и статистическое моделирование, в единый отслеживаемый рабочий процесс с возможностью экспорта отчётов. Особое внимание уделено интеграции внешнего искусственного интеллекта, который анализирует экспортированные данные и предлагает оптимальные настройки для утверждения исследователем, при этом все вычисления остаются в среде R. В качестве кейс-стади использовались данные DIA-NN по стекловидному телу глаза (69 образцов, 3667 белковых групп) для сравнения патологий nAMD и pmCNV. Исследователи протестировали шесть методов нормализации и семь стратегий обработки пропусков, после чего применили циклический ло-сглаживание для сравнения пяти дифференциальных рабочих процессов. Результаты показали, что алгоритмы limma и proDA выявили 54 и 37 белковых групп соответственно, из которых 31 были общими при строгих статистических критериях. Работа демонстрирует высокую чувствительность результатов к выбору аналитических методов и предлагает решение для прозрачного документирования этих решений в научных исследованиях.

В данном исследовании проводится глубокий анализ интерпретируемости 8 моделей из семейств ESM2 и AMPLIFY, предназначенных для работы с белковыми последовательностями. Авторы провели послойный анализ того, как именно языковые модели (pLM) кодируют биологические знания, протестировав 22 различных концепции человеческого протеома. Результаты показали четкую иерархию: ранние слои лучше всего улавливают базовые физико-химические свойства и линейные мотивы, последующие слои отвечают за вторичную структуру, а средние слои — за семантику на уровне доменов. Применение методов интервенции, вдохновленных молекулярной биологией, подтвердило способность эмбеддингов различать активные и неактивные фосфомиметические мутанты. Важным открытием стало то, что объем обучающих данных и вычислительные ресурсы оказывают более значительное влияние на линейное появление биологических концепций, чем простое увеличение количества параметров модели. Работа дает ценные рекомендации для создания более надежных и биологически обоснованных моделей для дизайна белков и предсказания их функций.

Исследование посвящено анализу механизмов работы геномных фундаментальных моделей (Genomic Foundation Models) и выявлению того, какие именно слои нейросети наиболее важны для классификации генетических вариантов. Авторы исследуют разрыв между «репрезентативными» слоями (где пиковая точность одного признака) и «нагрузочными» слоями (на которые опирается итоговый классификатор). В ходе экспериментов на базе 8 008 вариантов из базы ClinVar использовались модели NT-v2 500M (MLM) и Evo 2 7B (CLM). Результаты показали, что эти слои не совпадают: в MLM-моделях нагрузочные слои находятся в середине-начале сети, а в гибридных CLM-моделях — глубоко в конце. Практическая значимость работы заключается в том, что использование стандартного последнего слоя (last-layer pooling) приводит к потере важного сигнала; например, в модели NT-v2 использование 1-мерного скаляра из среднего слоя повышает AUROC на 0,049 по сравнению с классическим 1024-мерным методом. Это дает четкое руководство для оптимизации архитектур при анализе генетических данных.

В исследовании представлен новый метод интерпретируемости GDTR (Genomic Deep-Thinking Ratio), предназначенный для анализа геномных фундаментальных моделей без необходимости дополнительного обучения. Авторы используют подход через анализ остаточных потоков (residual-stream lens), чтобы определить «глубину стабилизации» каждого нуклеотидного токена — слой, на котором его представление становится стабильным относительно финального состояния модели. При тестировании на модели Evo 2 7B было обнаружено, что сайты сплайс-доноров и акцепторов стабилизируются примерно на два слоя раньше, чем интронные контексты. Исследование также показало, что нарушение канонического мотива GT в сайтах сплайсинга увеличивает глубину стабилизации, в то время как перемешивание окружающего контекста заставляет мотив стабилизироваться раньше. Кроме того, метод GDTR позволил выявить различия в глубине стабилизации для вариантов ClinVar, где синонимичные замены демонстрируют наибольшую глубину. Данный инструмент предоставляет новый вектор интерпретируемости для геномных моделей, дополняя существующие методы предсказания вариантов и оценки их последствий.

В исследовании представлен новый метод быстрого обучения биологически информированных нейронных сетей (BINN), которые интегрируют биологические пути и белковые взаимодействия непосредственно в архитектуру нейросети. Исследователи протестировали модель на масштабных данных UK Biobank, охватывающих около 500 000 человек, используя генотипические и протеомные данные для анализа шести распространенных заболеваний. Работа выявила две критические проблемы интерпретируемости: систематическую предвзятость оценок атрибуции из-за топологии графа и феномен «прогностической множественности», когда разные модели с одинаковой архитектурой приходят к разным биологическим выводам при схожей точности. Однако авторы доказывают, что эта множественность может быть полезна: при анализе 100 реплик BINN для диабета 2 типа были обнаружены кластеры решений, фокусирующиеся на разных механизмах (воспалительном или печеночно-метаболическом). Это позволяет использовать вариативность объяснений ИИ как инструмент для изучения гетерогенности сложных заболеваний и поиска различных биологических путей их развития.

В данном исследовании представлен новый метод механистической интерпретируемости под названием VFUSE, предназначенный для аудита генеративных моделей белков на предмет создания опасных патогенов. Авторы обучают разреженные автоэнкодеры (SAE) на активациях диффузионных трансформеров, чтобы выявлять скрытые признаки, связанные с вирулентностью. Методология была протестирована на популярных моделях RoseTTAFold3 и RFDiffusion3, используемых для фолдинга и синтеза белков. Результаты показали, что линейные зонды, работающие в латентном пространстве SAE, обнаруживают опасные дизайны значительно эффективнее, чем стандартные представления моделей. Исследователям удалось идентифицировать моносемантические признаки, которые активируются исключительно на опасных структурах, достигнув показателя AUROC 0,84 при высокой статистической значимости (q < 10^-13). Данная работа имеет критическое значение для обеспечения биобезопасности при использовании ИИ в протеомике и синтетической биологии.

В данной исследовательской работе представлен первый алгоритм контрфактуальных объяснений (Counterfactual Explanation, CE), специально разработанный для работы с сетями сходства пациентов (Patient Similarity Networks, PSNs). В отличие от традиционных методов, использующих табличные данные, авторы применяют графовые нейронные сети (GNN), которые учитывают не только индивидуальные признаки пациента, но и его связи с клинически и биомолекулярно схожими индивидами. Предложенный метод является универсальным и не зависит от конкретной модели классификатора (model-agnostic), что позволяет интегрировать его в различные системы поддержки принятия врачебных решений. Исследование проводилось на синтетических данных и на реальной когорте пациентов с болезнью Альцгеймера. Результаты показали, что новый алгоритм демонстрирует конкурентоспособность по сравнению с классическими методами для табличных данных и признанным инструментом GNNExplainer. Данная разработка имеет критическое значение для повышения интерпретируемости ИИ в медицине, позволяя врачам понимать, какие именно изменения в клинических или биомолекулярных показателях могли бы изменить прогноз заболевания.

Исследование посвящено изучению механизмов интерпретируемости предобученных геномных языковых моделей (gLM), в частности модели InstaDeeps Nucleotide Transformer v2 с 500 миллионами параметров. Авторы применили метод разреженных автоэнкодеров (SAE) ко всем 24 слоям энкодера для анализа латентных признаков. В ходе работы были построены графы знаний «последовательность-признак» для исследования пространства признаков SAE и проведено сравнение сообществ ДНК, связывающихся с цисплатином, и не связывающихся с ним с использованием центральности PageRank. Экспериментальные интервенции с использованием декодера и CNN-классификатора связывания показали асимметричные эффекты: подавляющие признаки могли полностью разрушить прогностический сигнал, в то время как признаки, связанные со связыванием, вызывали кумулятивный сдвиг предсказаний. Результаты доказывают, что представления gLM кодируют высокогранулярный синтаксис последовательностей и паттерны консервативности, ориентируясь на локальные биофизические ограничения, а не на сложные распределенные регуляторные логики. Это объясняет высокую эффективность моделей в молекулярных задачах при их относительной слабости в широком регуляторном выводе.

В статье представлен новый фреймворк для анализа интерпретируемости моделей глубокого обучения, основанный на формальном понятии семантики модели из философии науки. Авторы аргументируют, что интерпретируемость является лишь одним из аспектов семантики модели, а не её полным описанием. Исследование иллюстрирует предложенный фреймворк примерами из биомедицинской области, демонстрируя практическую применимость подхода. Работа подчеркивает критическую важность понимания не только того, как работают медицинские ИИ-модели, но и того, что именно они представляют в семантическом смысле. Это особенно актуально для клинической практики, где врачи должны доверять рекомендациям алгоритмов. Фреймворк позволяет систематически анализировать неявные семантические аспекты моделей, которые часто остаются скрытыми при стандартной интерпретации. Статья опубликована в Nature Machine Intelligence, что указывает на высокую научную значимость работы. Подход может способствовать более надежному внедрению ИИ в медицинские приложения за счет улучшения прозрачности и доверия к алгоритмам.