Правительство США опубликовало новые рекомендации по безопасности AI для критической инфраструктуры

Большие возможности, которые предоставляют сегодня технологии искусственного интеллекта и машинного обучения, используются, к сожалению, не только в благих целях. Ими все чаще злоупотребляют, преступники. На этот факт даже обратили внимание сотрудники ведущих разведок мира. В частности, альянс Five Eyes (FVEY), в который входят Австралия, Канада, Новая Зеландия, Великобритания и США, опубликовал информационный бюллетень по кибербезопасности, в котором были изложены основные рекомендации к тому, как надо конфигурировать, развертывать и контролировать системы ИИ так, чтобы они не стали инструментом в руках злоумышленников.  

Вслед за этим, используя в т.ч. выводы экспертов FVEY, новое руководство, по безопасности в сфере ИИ выпустил и DHS. Документ охватывает такие аспекты как планирование, эксплуатация, управление и контроль ИИ-систем на протяжении всего жизненного цикла. 

В частности, рекомендуется разработать комплексную культуру управления рисками ИИ, применять индивидуальный контекстный подход к каждому проекту, внедрить действенные метрики для оценки, анализа и отслеживания уязвимостей ИИ, выстроить (на основе приоритетов) систему реагирования на угрозы и инциденты.  

Одной из угроз, на борьбу с которыми направлены упомянутые рекомендации является «взлом» больших языковых моделей (LLM jailbreak). Все чаще злоумышленникам удается обойти встроенные механизмы защиты и спровоцировать ИИ на создание вредоносного контента. Для этого используются особые последовательности тщательно продуманных вопросов или подсказкок, которые постепенно приводят к тому, что LLM генерирует информацию, которую запрещено показывать. 

Кроме того, как показало одно из недавних научных исследований, с помощью LLM удается успешно взламывать сайты используя метод «однодневных уязвимостей» (exploit one-day vulnerabilities) — когда дыры в безопасности, ИИ находит быстрее, чем разработчик успевает их закрыть.  

Рекомендуемые DHS передовые методы включают в себя мерs по обеспечению безопасности среды развертывания, проверку источника моделей ИИ и безопасности цепочки поставок ПО, обеспечение надежной и проверенной архитектуры среды развертывания, контроль конфигураций, проверку целостности ИИ-системы и пр. Дополнительно рекомендовано реализовать строгий контроль доступа к данным и моделям, а также внедрить надежный и прозрачный процесс журналирования всех действий.