трансформеры

Исследование оценивает эффективность использования архитектуры Transformer для анализа эмоционального состояния пациентов в ходе психотерапии. Авторы обнаружили, что извлеченные признаки тональности речи коррелируют с клиническими показателями дистресса и могут служить дополнительным инструментом для выявления пациентов с риском ухудшения состояния или прекращения лечения.

Исследователи представили TFBindFormer — новую гибридную архитектуру на базе трансформера, предназначенную для высокоточного предсказания взаимодействий между транскрипционными факторами (ТФ) и ДНК. В отличие от существующих моделей, которые опираются преимущественно на последовательности ДНК и характеристики хроматина, TFBindFormer использует механизм перекрестного внимания (cross-attention) для интеграции специфических данных о белках, полученных из их последовательностей и структур. Это позволяет модели учитывать белок-зависимую специфичность связывания, которую ранее игнорировали вычислительные методы. Тестирование проводилось на сотнях клеточно-специфичных ТФ и сотнях миллионов геномных участков (bins). Результаты показали значительное превосходство над базовыми моделями, работающими только с ДНК, выраженное в существенном росте показателей AUPRC и AUROC. Данная разработка предлагает масштабируемый и эффективный фреймворк для полногеномного картирования регуляторных взаимодействий, что критически важно для понимания механизмов экспрессии генов без дорогостоящих экспериментов ChIP-seq.

Исследование предлагает практический фреймворк для малоэталонного развертывания предобученных трансформеров МРТ в различных задачах нейровизуализации. Авторы используют стратегию предобучения Masked Autoencoder на 31 миллионе 2D срезов МРТ и демонстрируют state-of-the-art результаты с точностью 99.24% и превосходными показателями сегментации.

Исследование сравнивает две модели глубокого обучения (Swin Transformer V2 и ConvNeXt V2) для классификации доброкачественных и злокачественных образований молочной железы по гистопатологическим изображениям. Swin Transformer V2 показал лучшую точность (0.985), превосходя современные CNN в распознавании морфологических особенностей тканей. Результаты подтверждают преимущества трансформерных архитектур для систем компьютерной диагностики в цифровой патологии.

Исследование посвящено улучшению надежности трансформерных языковых моделей для геномики (GLM), которые демонстрируют высокую эффективность в задачах предсказания на генетических данных, но склонны к излишней уверенности при работе с зашумленными или неизвестными данными. Авторы анализируют влияние нескольких методов оценки неопределенности (uncertainty quantification, UQ), включая температурное масштабирование и эпистемические нейронные сети, на надежность предсказаний моделей в различных доменах геномных и метабаргеномных задач. Сравнение поведения моделей на данных из распределения (in-distribution) и вне распределения (out-of-distribution) показывает, что предложенные методы способны значительно улучшить надежность классификации. Результаты демонстрируют универсальность подхода, так как он работает на нескольких архитектурах GLM и в различных предметных областях. Разработка критически важна для геномики, где неизвестные виды и новые генетические варианты встречаются часто, и надежность предсказаний напрямую влияет на клинические решения. Полученные модели могут применяться для диагностики генетических заболеваний, персонализированной медицины и анализа микробиома. Исходный код проекта доступен в открытом доступе на GitHub, что позволяет исследователям и практикам внедрять эти методы в свои рабочие процессы.

Исследователи представили новый метод scCChain — фреймворк на основе трансформерных нейросетей для анализа пространственной транскриптомики. Метод интегрирует активность лиганд-рецепторов в пространственно разрешённые программы коммуникации клеток и локализует горячие точки на уровне отдельных клеток и пространственных пятен. scCChain использует структурированное снижение размерности для выявления кандидатов программ, затем применяет взвешенные случайные блуждания по графу клеток для формирования цепочек коммуникации. Трансформерная модель оценивает цепочки, приоритезируя биологически значимые программы и определяя зоны повышенной активности. Метод применён к данным пространственной транскриптомики рака молочной железы человека, показав способность выявлять опухолевые программы с ангиогенной сигнализацией в инвазивных зонах. В данных на основе визуализации метод определил горячие точки коммуникации CXCL12-CXCR4 на клеточном уровне. Исследование демонстрирует интерпретируемость и точность цепочечного трансформерного моделирования для анализа сложных тканей. Метод позволяет как разведывательный поиск новых программ коммуникации, так и целевой анализ конкретных пар лиганд-рецептор.