безопасность ИИ

В статье исследуются критические уязвимости и вызовы безопасности, возникающие при использовании мультиагентных систем на основе больших языковых моделей (LLM) в различных предметных областях. Авторы выделяют семь ключевых проблем, связанных с взаимодействием агентов, которые могут привести к компрометации данных или некорректному выполнению задач при переходе между доменами. Основное внимание уделяется рискам, возникающим в процессе обмена контекстом и инструментами между специализированными агентами. Исследование подчеркивает необходимость разработки новых протоколов безопасности и методов изоляции для предотвращения несанкционированного доступа и манипуляций в сложных ИИ-экосистемах. Результаты работы имеют важное значение для разработчиков архитектур ИИ, стремящихся к созданию надежных и безопасных автономных систем. Данная работа закладывает теоретическую основу для защиты мультиагентных сред от атак типа 'prompt injection' и междоменных утечек.

Исследование оценивает способность пяти современных языковых моделей (включая GPT-5 и GPT-4o) решать клинические задачи, связанные с лечением болей в пояснице. Авторы выявили критические ошибки в безопасности и полноте ответов, а также доказали, что структурированный промпт-инжиниринг может значительно улучшить качество медицинских рекомендаций ИИ.

Данное исследование, опубликованное в журнале Artificial Intelligence in Medicine, посвящено критическому анализу способности больших языковых моделей (LLM) предоставлять точную и безопасную медицинскую информацию. В центре внимания находится процесс извлечения данных, касающихся специфических аспектов эпидуральной анестезии, что является критически важным для клинической практики. Авторы проводят сравнительный анализ различных архитектур моделей, проверяя их на предмет галлюцинаций, фактических ошибок и соответствия доказательной медицине. Методология включает оценку точности ответов на сложные клинические вопросы, где цена ошибки крайне высока. Результаты исследования ставят под сомнение прямую корреляцию между количеством параметров модели и качеством её медицинских ответов, указывая на то, что более компактные, но специализированные модели могут демонстрировать сопоставимую или даже превосходящую надежность. Работа подчеркивает необходимость внедрения строгих протоколов верификации для использования LLM в качестве инструментов поддержки принятия врачебных решений.

Российская ИТ-компания «СберТех» представила новое решение Platform V SOWA AI, предназначенное для управления жизненным циклом моделей искусственного интеллекта в корпоративной среде. Платформа ориентирована на обеспечение безопасного и контролируемого масштабирования ИИ-сервисов, что критически важно для крупных организаций с высокими требованиями к безопасности данных. Продукт позволяет автоматизировать процессы развертывания, мониторинга и управления моделями, минимизируя риски некорректной работы алгоритмов. Основной акцент сделан на создании единой инфраструктуры для работы с различными типами моделей, обеспечивающей их стабильность и воспроизводимость. Внедрение решения помогает бизнесу снизить операционные затраты на поддержку ИИ-проектов и ускорить переход от прототипов к промышленной эксплуатации. Данная разработка является важным шагом в развитии инфраструктурного ПО для поддержки ИИ-трансформации в российском секторе.

В статье, опубликованной в журнале npj Digital Medicine, предлагается инновационный подход к контролю за использованием больших языковых моделей (LLM) в здравоохранении — мониторинг на основе способностей (capability-based monitoring). Авторы подчеркивают, что текущие стратегии надзора неэффективны, так как LLM являются универсальными системами, чьи внутренние возможности многократно используются в различных медицинских задачах. Вместо проверки каждой отдельной задачи, предлагается организовать мониторинг вокруг общих когнитивных и функциональных способностей моделей. Это позволит выявлять системные недостатки, редкие ошибки («long-tail errors») и эмерджентное поведение на ранних стадиях. В работе детально рассматриваются рекомендации для разработчиков ИИ, руководителей медицинских организаций, профессиональных сообществ и государственных регуляторов. Такой подход критически важен для обеспечения безопасности и надежности внедрения генеративного ИИ в клиническую практику.

Статья посвящена критической важности непрерывного мониторинга медицинских ИИ-систем после их развертывания. Автор рассматривает проблему деградации моделей и «дрейфа данных» (data drift), возникающих из-за изменений в клинической практике и популяциях пациентов.

Президент России Владимир Путин на совещании, посвященном развитию технологий искусственного интеллекта, обозначил приоритетную задачу по анализу рисков и угроз. Основное внимание уделено необходимости разработки моделей предотвращения проблем, которые могут возникнуть при масштабном внедрении нейросетей в чувствительные сектора экономики и общества. Глава государства подчеркнул, что ИИ будет интегрирован практически во все отрасли, включая социальную сферу и здравоохранение. Особый акцент сделан на растущем влиянии технологий на повседневную жизнь людей и общую экономическую стабильность. В рамках стратегии планируется не только внедрение инструментов ИИ, но и создание механизмов своевременного реагирования на потенциальные технологические вызовы. Данное заявление задает вектор государственного регулирования и безопасности при масштабировании ИИ-решений в критической инфраструктуре.

Компания Kilo представила платформу KiloClaw для организаций, предназначенную для решения проблемы «теневого ИИ» (Shadow AI) и бесконтрольного использования автономных агентов сотрудниками. В условиях тренда Bring Your Own AI (BYOAI) работники внедряют персональных агентов для автоматизации задач, что создает критические уязвимости и риски утечки интеллектуальной собственности через личные API-ключи. KiloClaw предоставляет централизованную панель управления, позволяющую ИТ-службам идентифицировать, отслеживать и ограничивать действия автономных агентов, не блокируя при этом продуктивность. В отличие от традиционных систем управления доступом (IAM), ориентированных на людей, решение учитывает динамическую природу агентов, которые способны самостоятельно выстраивать цепочки задач и взаимодействовать с корпоративными данными в Slack, Jira и репозиториях кода. Платформа позволяет интегрировать разрозненные инструменты в единый реестр для аудита поведения и потоков данных, предотвращая использование корпоративной информации сторонними серверами для обучения моделей.

Юта стала первым штатом США, разрешившим ИИ-системе автономно обрабатывать повторные рецепты для пациентов с хроническими заболеваниями. Исследователи из Mindgard AI обнаружили уязвимости в чат-боте компании Doctronic, однако власти штата утверждают, что текущая система работает под строгим контролем.

Мини-обзор посвящён применению больших языковых моделей в клинической практике, сравнивает общие и специализированные медицинские модели. Статья анализирует преимущества в эффективности документации и диагностических рассуждениях, а также проблемы галлюцинаций, приватности и валидности метрик оценки. Описываются перспективные направления развития, включая retrieval-augmented generation и агентные архитектуры.