По мере того, как технологии искусственного интеллекта, такие как ChatGPT, продолжают совершенствоваться, возрастает и их потенциальное использование киберпреступниками. По данным BlackBerry Global Research, 74% опрошенных ИТ-руководителей признали потенциальную угрозу ChatGPT для кибербезопасности. 51% респондентов считают, что в 2023 году будет успешная кибератака, приписываемая ChatGPT.
Вот краткое изложение некоторых наиболее значимых проблем и рисков, связанных с кибербезопасностью, о которых сообщалось в ChatGPT.
Учетные данные ChatGPT и запросы на джейлбрейк в Dark Web
Украденные учетные данные в Dark Web
В июне 2023 года компания по кибербезопасности Group-IB опубликовала исследование о торговле украденными учетными данными ChatGPT в Dark Web. По данным компании, в период с июня 2022 по март 2023 года было украдено более 100 000 учетных записей ChatGPT. Более 40 000 из этих учетных данных были украдены из Азиатско-Тихоокеанского региона, за которым следуют Ближний Восток и Африка (24 925), Европа (16 951), Латинская Америка (12 314) и Северная Америка (4737).
Есть две основные причины, по которым киберпреступники хотят получить доступ к учетным записям ChatGPT. Очевидная из них — получить в свои руки платные аккаунты, которые не имеют ограничений по сравнению с бесплатными версиями. Однако основной угрозой является слежка за аккаунтом — ChatGPT хранит подробную историю всех запросов и ответов, что потенциально может привести к утечке конфиденциальных данных.
Дмитрий Шестаков, руководитель отдела анализа угроз Group-IB, написал: “Многие предприятия интегрируют ChatGPT в свой операционный поток. Сотрудники вводят в него секретную корреспонденцию или используют бота для оптимизации проприетарного кода. Учитывая, что стандартная конфигурация ChatGPT сохраняет все разговоры, это может непреднамеренно предоставить злоумышленникам доступ к конфиденциальной информации, если они получат данные учетной записи ”.
Запросы на джейлбрейк в Dark Web
SlashNext, компания по облачной защите электронной почты, сообщила об увеличении количества запросов на джейлбрейк на подпольных форумах киберпреступников. Эти подсказки предназначены для обхода барьеров ChatGPT и позволяют злоумышленнику создавать вредоносный контент с помощью искусственного интеллекта.
Превращение ChatGPT в оружие
Основная проблема, связанная с использованием ChatGPT, заключается в его потенциальном использовании киберпреступниками. Используя возможности этого чат-бота с искусственным интеллектом, киберпреступники могут легко проводить сложные фишинговые атаки, рассылать спам и другой мошеннический контент. ChatGPT может убедительно выдавать себя за отдельных лиц или доверенные организации, увеличивая вероятность обмана ничего не подозревающих пользователей, создавая возможность разглашения конфиденциальной информации или становления жертвой мошенников (рисунок A).

Как видно из этого примера, ChatGPT может повысить эффективность атак социальной инженерии, предлагая более реалистичные и персонализированные взаимодействия с потенциальными жертвами. Будь то с помощью электронной почты, мгновенных сообщений или платформ социальных сетей, киберпреступники могут использовать ChatGPT для сбора информации, укрепления доверия и, в конечном итоге, обмана людей с целью раскрытия конфиденциальных данных или выполнения вредоносных действий.
ChatGPT может сделать более эффективными дезинформацию или фейковые новости
Распространение дезинформации и фейковых новостей является растущей проблемой в Интернете. С помощью ChatGPT киберпреступники могут быстро генерировать и распространять большие объемы вводящего в заблуждение или вредоносного контента, который может быть использован для операций влияния. Это может привести к усилению социальных волнений, политической нестабильности и недоверию общественности к надежным источникам информации.
ChatGPT может писать вредоносный код
ChatGPT имеет несколько протоколов, которые предотвращают выдачу запросов, связанных с написанием вредоносного ПО или участием в любых вредных, незаконных или неэтичных действиях. Однако даже злоумышленники с низкоуровневыми навыками программирования все еще могут обходить протоколы и заставлять его писать вредоносный код. Несколько исследователей безопасности написали об этой проблеме.
Компания по кибербезопасности HYAS опубликовала исследование о том, как с помощью ChatGPT они создали проверенную концепцию вредоносного ПО под названием Black Mamba. Она представляет собой полиморфное вредоносное ПО с функциями кейлоггера.
Марк Стокли написал на веб-сайте MalwareBytes Labs, что он заставил ChatGPT написать программу-вымогатель, но пришел к выводу, что ИИ очень плох в этом. Одной из причин этого является ограничение слов в ChatGPT, составляющее около 3000 слов. Стокли заявил, что “ChatGPT, по сути, смешивает и перефразирует контент, который он нашел в Интернете”, поэтому фрагменты кода, которые он предоставляет, не являются чем-то новым.
Исследователь Аарон Малгрю из компании по защите данных Forcepoint раскрыл, как можно обойти все защитные барьеры ChatGPT, заставив его писать код фрагментами. Этот метод создал продвинутую вредоносную программу, которая осталась незамеченной 69 антивирусными системами VirusTotal, платформой, проверяющей обнаружение вредоносных программ на различных антивирусных системах.
Познакомьтесь с WormGPT, искусственным интеллектом, разработанным для киберпреступников
Дэниел Келли из SlashNext представил новый инструмент искусственного интеллекта, рекламируемый в Dark Web под названием WormGPT. Инструмент рекламируется как “Лучшая альтернатива GPT для Blackhats” и предоставляет ответы на запросы без каких-либо этических ограничений, в отличие от ChatGPT, который затрудняет создание вредоносного контента. На рисунке B показано приглашение от SlashNext.
Рисунок B

Разработчик WormGPT не предоставляет информацию о том, как был создан искусственный интеллект и какие данные ему передавались в процессе обучения.
WormGPT предлагает несколько подписок: ежемесячная подписка стоит 100 евро, а 10 первых запросов — 60 евро. Годовая подписка составляет 550 евро. Частная настройка с частным выделенным API стоит 5000 евро.
Как вы можете смягчить киберугрозы, созданные искусственным интеллектом?
Не существует конкретных методов смягчения киберугроз, создаваемых искусственным интеллектом. Применяются обычные рекомендации по безопасности, в частности, касающиеся социальной инженерии. Сотрудники должны быть обучены обнаруживать фишинговые электронные письма или любые попытки социальной инженерии — будь то с помощью электронной почты, мгновенных сообщений или социальных сетей. Кроме того, помните, что отправлять конфиденциальные данные в ChatGPT не рекомендуется, поскольку это может привести к утечке.