На Black Hat 2023 Мария Маркштедтер, генеральный директор и основатель Azeria Labs, выступила с основным докладом о будущем генеративного ИИ, навыках, необходимых сообществу безопасности в ближайшие годы, и о том, как злоумышленники могут сегодня проникать в приложения на основе ИИ.
Эпоха генеративного ИИ знаменует новый технологический бум
И Маркстедтер, и Джефф Мосс, хакер и основатель Black Hat, подошли к этому вопросу с осторожным оптимизмом, уходящим корнями в технологические потрясения прошлого. Мосс отметил, что генеративный ИИ, по сути, выполняет сложное предсказание.
“По экономическим причинам это вынуждает нас брать все наши проблемы и превращать их в проблемы прогнозирования”, — сказал Мосс. “Чем больше вы сможете превратить свои ИТ-проблемы в проблемы прогнозирования, тем скорее вы получите выгоду от ИИ, верно? Поэтому начните думать обо всем, что вы делаете, как о проблеме прогнозирования”.
Он также кратко затронул проблемы интеллектуальной собственности, в связи с которыми художники или фотографы могут подать в суд на компании, которые удаляют данные обучения из оригинальной работы. Подлинная информация может стать товаром, сказал Мосс. Он представляет будущее, в котором каждый человек владеет ” … нашим собственным набором аутентичных, или я должен сказать, некоррумпированных, данных … ”, которые человек может контролировать и, возможно, продавать, что имеет ценность, потому что это аутентично и без ИИ.
По словам Мосса, в отличие от времен бума программного обеспечения, когда Интернет впервые стал общедоступным, регулирующие органы сейчас быстро переходят к созданию структурированных правил для ИИ.
“Мы никогда по-настоящему не видели, чтобы правительства опережали события”, — сказал он. “И это означает, что, в отличие от предыдущей эпохи, у нас есть шанс участвовать в выработке правил”.
Многие сегодняшние усилия правительств по регулированию ИИ находятся на ранних стадиях, например, проект Билля о правах в области искусственного интеллекта США от Управления науки и технологий.
Крупные организации, стоящие за гонкой вооружений с генеративным ИИ, особенно Microsoft, развиваются так быстро, что сообщество безопасности спешит не отставать, сказал Маркстедтер. Она сравнила бум генеративного ИИ с первыми днями iPhone, когда безопасность не была встроенной, а сообщество разработчиков джейлбрейков заставляло Apple постепенно придумывать новые способы остановить хакеров.
“Это вызвало волну повышения безопасности”, — сказала Маркстедтер, и компании начали осознавать ценность улучшений безопасности. То же самое происходит сейчас с генеративным ИИ, не обязательно потому, что все технологии новые, но потому, что количество вариантов использования значительно увеличилось с появлением ChatGPT.
“Чего они [предприятия] действительно хотят, так это автономных агентов, предоставляющих им доступ к суперумной рабочей силе, которая может работать все часы дня, не получая зарплату”, — сказала Маркстедтер. “Итак, наша задача — понять технологию, которая меняет наши системы и, как следствие, наши угрозы”, — сказала она.
Новая технология сопряжена с новыми уязвимостями в системе безопасности
По словам Маркстедтер, первым признаком игры в кошки-мышки между общественным использованием и безопасностью стало то, что компании запретили сотрудникам использовать ChatGPT. Организации хотели быть уверены, что сотрудники, использующие чат-бота с искусственным интеллектом, не передали конфиденциальные данные внешнему поставщику или их конфиденциальная информация не попала в черный ящик данных обучения ChatGPT.
“Знаете, мы могли бы остановиться здесь и сказать: ‘ИИ не собирается развиваться и становиться неотъемлемой частью нашего бизнеса, они явно отвергают его», ” сказала Маркстедтер.
За исключением того, что предприятия и поставщики корпоративного программного обеспечения не отвергли его. Таким образом, недавно сформировавшийся рынок машинного обучения как услуги на таких платформах, как Azure OpenAI, должен сбалансировать быстрое развитие и традиционные методы обеспечения безопасности.
Многие новые уязвимости возникают из-за того, что возможности генеративного ИИ могут быть мультимодальными, что означает, что они могут интерпретировать данные из нескольких типов или модальностей контента. Например, один генеративный ИИ мог бы одновременно анализировать текстовый, видео- и аудиоконтент. Это представляет проблему с точки зрения безопасности, поскольку чем более автономной становится система, тем больше рисков она может принять.
Например, Adept работает над моделью под названием ACT-1, которая может получать доступ к веб-браузерам и любому программному средству или API на компьютере с целью, как указано на их веб-сайте, ” … системы, которая может делать все, что человек может делать перед компьютером”.
Агент искусственного интеллекта, такой как ACT-1, требует защиты внутренних и внешних данных. Агент искусственного интеллекта также может считывать данные об инцидентах. Например, агент искусственного интеллекта может загрузить вредоносный код в процессе попытки решить проблему безопасности.
Это напоминает Маркстедтер о работе, которую хакеры проделывали в течение последних 10 лет для защиты сторонних точек доступа или приложений «программное обеспечение как услуга», которые подключаются к персональным данным и приложениям.
“Нам также необходимо пересмотреть наши представления о безопасности данных, потому что данные модели — это данные в конечном итоге, и вам нужно защищать их так же, как и ваши конфиденциальные данные”, — сказал Маркстедтер.
Маркштедтер указала на документ, опубликованный в июле 2023 года “(Ab) использование изображений и звуков для непрямого ввода инструкций в мультимодальные LLM”, в котором исследователи определили, что они могут обмануть модель, заставив ее интерпретировать изображение аудиофайла, который выглядит безвредным для человеческих глаз и ушей, но вводит вредоносные инструкции в код, к которому ИИ затем может получить доступ.
Вредоносные изображения, подобные этому, могут быть отправлены по электронной почте или внедрены на веб-сайтах.
“Итак, теперь, когда мы потратили много лет, обучая пользователей не нажимать на объекты и вложения в фишинговых электронных письмах, нам теперь приходится беспокоиться о том, что агент искусственного интеллекта может быть использован для автоматической обработки вредоносных вложений электронной почты”, — сказал Маркстедтер. “Проникновение данных с помощью этих автономных агентов станет довольно тривиальным, потому что у них есть доступ ко всем нашим данным и приложениям”.
Одним из возможных решений является выравнивание модели, при котором ИИ инструктируется избегать действий, которые могут не соответствовать его намеченным целям. Некоторые атаки нацелены конкретно на модальное выравнивание, предписывая большим языковым моделям обходить их выравнивание по модели.
“Вы можете думать об этих агентах как о другом человеке, который верит всему, что читает в Интернете, и, что еще хуже, делает все, что Интернет велит ему делать”, — сказал Маркстедтер.
Заменит ли ИИ профессионалов в области безопасности?
Наряду с новыми угрозами частным данным генеративный ИИ также вызвал опасения по поводу того, как люди вписываются в рабочую силу. Маркстедтер сказала, что, хотя она не может предсказать будущее, генеративный ИИ на данный момент создал множество новых проблем, для решения которых должна присутствовать индустрия безопасности.
“ИИ значительно увеличит нашу рыночную капитализацию, потому что наша отрасль действительно росла с каждым значительным технологическим изменением и будет продолжать расти”, — сказала она. “И мы разработали достаточно хорошие решения для большинства наших предыдущих проблем безопасности, вызванных этими технологическими изменениями. Но мы сталкиваемся с новыми проблемами или вызовами, для которых у нас просто нет решений. На создание этих решений уходит много денег ”.
Спрос на исследователей в области безопасности, которые знают, как обращаться с моделями генеративного ИИ, возрастет, сказала она. Это может быть хорошо или плохо для сообщества безопасности в целом.
“ИИ может и не заменить вас, но специалисты по безопасности, пользующиеся ИИ, могут”, — сказал Маркстедтер.
Она отметила, что специалисты по безопасности должны следить за разработками в области “объяснимого ИИ”, который помогает разработчикам и исследователям заглядывать в черный ящик данных обучения генеративного ИИ. Для создания инструментов обратного инжиниринга, позволяющих узнать, как модели принимают решения, могут потребоваться специалисты по безопасности.
Что ждет генеративный ИИ с точки зрения безопасности?
Генеративный ИИ, вероятно, станет более мощным, заявили Маркстедтер и Мосс.
“Нам нужно серьезно отнестись к возможности того, что автономные агенты ИИ станут реальностью на наших предприятиях”, — сказала Маркстедтер. “И нам нужно переосмыслить наши концепции идентификации и управления активами по-настоящему автономных систем, имеющих доступ к нашим данным и нашим приложениям, что также означает, что нам нужно переосмыслить наши концепции безопасности данных. Итак, мы либо показываем, что интегрировать автономные агенты с полным доступом слишком рискованно, либо признаем, что они становятся реальностью, и разрабатываем решения, которые сделают их использование безопасным ”.
Она также предсказывает, что приложения искусственного интеллекта на мобильных телефонах будут распространяться.
“Итак, вы много услышите о проблемах ИИ”, — сказал Мосс. “Но я также хочу, чтобы вы подумали о возможностях ИИ. Возможности для бизнеса. У нас, профессионалов, есть возможности принять участие и помочь управлять будущим”.