обучение с подкреплением

Исследователи разработали новый AI-фреймворк OPTIMIS для решения проблемы управления сложными биологическими системами на разных масштабах. Методология объединяет дискретный стохастический алгоритм Гиллеспи для микромасштабной динамики рецепторов с непрерывными нелинейными дифференциальными уравнениями для макромасштабного поведения организма. Для достижения скорости, необходимой для глубокого обучения с подкреплением (RL), гибридная система сжимается в дифференцируемый суррогат Neural ODE, действующий как быстрый цифровой двойник. В качестве демонстрации концепции фреймворк применён к инженерной клеточной терапии, где агенты RL обучаются динамическим закрытым петлям лечения внутри суррогатной среды. Ключевой результат: отслеживание микроскопической непредсказуемой клеточной активности как раннего предупреждающего сигнала позволило ИИ непрерывно корректировать дозу препарата, предвосхищая и останавливая опасные иммунные реакции до их неконтролируемого развития. Вычислительное усовершенствование улучшило показатели успешного контроля до более чем 70% в высоко нестабильных симулированных фенотипах, что представляет собой значимый прорыв для персонализированной медицины. Практическая значимость: метод предоставляет общий фреймворк для адаптивного вмешательства в многомасштабные биологические системы, открывая путь к автоматизированному принятию клинических решений в реальном времени.

Исследование посвящено применению обучения с подкреплением (Reinforcement Learning) для генеративных языковых моделей ДНК, что имеет прямое значение для геномики и персонализированной медицины. Авторы использовали технику Group Relative Policy Optimization (GRPO) с функцией вознаграждения, основанной на ограничениях из инженерной биологии, для генерации плазмид — простых генетических конструкций, широко используемых в биотехнологии. Ключевой результат: модель достигла 77% качества при контроле, по сравнению с 5% у предобученной базовой модели, что демонстрирует значительное улучшение. Примечательно, что помимо явно оптимизированных признаков, сгенерированные последовательности демонстрируют биологическую реалистичность в термодинамической стабильности, паттернах использования кодонов и распределении длин открытых рамок считывания (ORF) — свойствах, не включённых в функцию вознаграждения. Эти эмерджентные свойства указывают на способность RL пост-тренинга направлять модели ДНК в биологически когерентные области пространства последовательностей. Результаты открывают перспективы для дизайна генетических конструкций, разработки генной терапии и создания синтетических биологических систем.

Исследование представляет новый подход к молекулярному докингу — предсказанию конформации связывания малых молекул с белковыми мишенями, что критически важно для открытия новых лекарств. Авторы предлагают фреймворк обучения с подкреплением для тренировки диффузионных моделей непосредственно на недифференцируемых объективах физической валидности. Подход позволяет корректировать модель DiffDock-Pocket для генерации физически корректных поз лигандов с сохранением ключевых белково-лигандных взаимодействий. Результаты показывают существенное увеличение доли генерируемых поз, которые являются физически валидными, при этом не требуется дополнительных вычислений во время инференса. Важнейший результат — улучшение структурной точности: возрастает доля структур с позами, близкими к нативным, особенно для белковых мишеней, отличающихся от данных обучения. Доработанная модель превосходит как классические алгоритмы докинга, так и другие методы машинного обучения на наборе данных PoseBusters. Исследование демонстрирует, что обучение с подкреплением может научить диффузионные модели лучше соблюдать физические ограничения без необходимости постобработки результатов. Это открывает перспективы для более точного предсказания взаимодействия лекарств с белками-мишенями в фармацевтических исследованиях.