Преступная нейросеть. Могут ли хакеры обратить во зло искусственный интеллект

S

SSHMAN

Original poster
Наш мир меняется и новые технологии приносят с собой не только новые возможности, но и новые опасности. Материал посвящен нейросетям. Но не тем вещам, на которые способны сами нейросети, — про это и так все пишут, — а тому, какой потенциальный вред могут принести нейросети в руках хакеров.

Образ хакера в современных медиа — это образ мага, чудотворца, у которого роль заклятий играют скрипты, вирусы и многое другое. Хакеры в одиночку, практически с телефона, способны взломать самую совершенную систему безопасности, пробиться через любой файерволл. Хакеры-преступники в этом контексте представляются злыми волшебниками, использующими современные инструменты во зло. Один из таких инструментов — это, разумеется, искусственный интеллект.

Что такое ИИ?
Искусственный интеллект — это зонтичный термин, включающий в себя довольно много разных инструментов, связанных с нейросетями, большими данными и машинным обучением. Чаще всего он используется для обозначения нейросети, натренированной на решение какой-либо, чаще всего интерпретационной, задачи: распознавание речи, изображений, перевод текстов с контекстом с языка на язык и так далее.

Обычная нейросеть — это в первом приближении сложно устроенная математическая функция f(x, a), которая зависит от набора аргументов x и некоторого набора параметров a. Она получает на вход данные определенного формата и выдает результат.

Создание самой простой нейросети выглядит так. Сначала определяется задача, потом выбирается тип нейросети. Дальше находится массив размеченных данных. На этих данных нейросеть обучается, то есть в автоматическом режиме подбираются такие значения параметров a, чтобы на размеченной выборке функция принимала нужные значения.

Наконец, сеть тестируется, и после этого, в принципе, она готова к работе — если на всех предыдущих этапах ничего не сломалось, если выборка была хорошей, если удалось угадать правильную архитектуру сети и так далее.

Важный нюанс: нейросети представляют собой узкоспециальный инструмент, заточенный под решение конкретной задачи. Попытки переучить нейросеть или расширить сферу ее применения приводят к тому, что она не только не обучается новому, но и «теряет» навык решения предыдущей задачи.

Судя по всему, узкая специализация — это математическое свойство, не зависящее от физической реализации этого инструмента. Это означает, что если вам требуется решить задачу, пусть и близкую, но отличную от той, которую решает имеющаяся нейросеть, то вам придется заново разрабатывать новую.

Наконец, нейросеть не программируется в привычном понимании этого слова. Это означает, что проверка теоретической корректности полученного результата (как проверка алгоритма в программе) требует создания новых методов, инструментов. Иными словами, вопрос безопасности работы — а под безопасностью мы понимаем отсутствие сбоев — это нерешенная задача, для которой еще предстоит создать подходящие инструменты.

Чем занимаются современные хакеры?
Современные хакеры имеют мало общего с тем образом профессионалов-одиночек, который представлен в телевизионных сериалах. Хакеры, занимающиеся противоправными действиями, в массе своей входят в организованные преступные группировки, зачастую объединяющие большое число программистов сравнительно невысокого уровня.

Их основная цель, как и любой ОПГ, — извлечение прибыли с минимальными расходами и рисками. Этим определяются основные направления работы киберпреступников: львиная доля совершаемых ими преступлений завязана на воровстве личных данных пользователей, мошенничестве и вымогательстве.

Соответственно, можно выделить пять основных типов киберугроз.

Больше половины всех киберугроз — это заражение компьютероввредоносным программным обеспечением. Помимо привычных всем вирусов на сайтах, хакеры давно используют более любопытные технологии — например,

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

вредоносный код в open-source проекты или

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

серверы для автоматического обновления ПО.

В последнем случае через такую систему были заражены десятки (а возможно, и сотни) тысяч компьютеров по всему миру.

Еще один тип — индивидуальные мошеннические атаки. Они подразумевают прямой контакт с пользователем с целью убедить человека отдать данные или добровольно установить то или иное приложение, содержащее вредоносный код. В подобных атаках часто участвуют живые люди, которые могут притворяться службой поддержки, сотрудниками банка и так далее.

Такие атаки подразумевают чаще всего прямое воровство денег. Иногда следствием атаки становится заражение вирусом, который кодирует данные и требует перевода денег для разблокировки (это виртуальная форма вымогательства).

Классический взлом систем с использованием программ, скриптов и так далее. На этот вид преступлений приходится чуть меньше 17 процентов от всех киберугроз.

Часто это часть глобальной схемы — например, заражение серверов вредоносными программами. Одна из основных целей хакерских атак (помимо традиционных государственных институтов) — криптобиржи и прочие площадки, связанные с криптовалютой.

По-прежнему пользуются популярностью атаки на сайты. В основном речь идет про онлайн-магазины и прочие площадки, аккумулирующие личную информацию своих пользователей. Эти данные либо просто похищаются, либо используется схема с вымогательством.

Наконец, последний тип — это не устаревающие DDos-атаки. В июле 2019 года им исполнилось ровно 20 лет. Основная идея здесь состоит в создании сети ботов — компьютеров, готовых по команде посылать запросы на заданный сервер, перегружая его.

Нужны ли хакерам нейросети?
В СМИ довольно часто встречаются истории, указывающие на потенциальную опасность нейросетей в руках хакеров.

Считается, что нейросети сделают уже существующие угрозы более опасными:

1) Создание нейросетей, способных имитировать общение с человеком, например по электронной почте. Подразумевается, что нейросети надо продержаться достаточное время, чтобы получатель поверил, что с ним общается кто-то, кому он доверяет. При этом пользователь должен перевести «собеседнику» деньги или раскрыть частные данные.

2) HDDos или «человеческая» версия DDos-атаки. Сейчас многие системы умеют распознавать DDos-атаки и довольно эффективно с ними борются. Подразумевается, что использование не просто бот-нета для генерации запросов, а нейросетевых ботов поможет создать иллюзию, что сайт подвергся наплыву живых пользователей.

3) Преодоление систем антивирусной защиты. Считается, что нейросети помогут в заражении компьютеров вредоносными программами.

Все три сценария крайне маловероятны и откровенно фантастичны. Например, если нейросети первого типа будут созданы, то они в первую очередь пригодятся для автоматических систем маркетинга, то есть появятся в руках маркетологов. Далее, нейросети, имитирующие поведение живых пользователей, выгоднее использовать для имитации большого трафика на сайтах, чем для их обрушения. Наконец, нейросети, которые что-то там обходят — это совсем отдаленное, и не факт что реализуемое, будущее.

Есть, впрочем, и более экзотические сценарии.

В 2018 году больницы и клиники несколько раз становились целью хакерских атак. В одном случае менеджменту больницы

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

хакерам выкуп в биткоинах, чтобы те вернули доступ к данным пациентов.

Дело в том, что в плане IT (в том числе и в плане безопасности) медицинские учреждения сильно отстают от других учреждений, имеющих дело с персональными данными. Зачастую в медицинских учреждениях используются программные продукты, которые, по мнению экспертов, уязвимы для разного рода хакерских атак.

Фантазии и реальность
Несколько израильских исследователей решили выяснить, какой максимальный урон медицинскому учреждению могли бы принести хакеры, вооруженные нейросетью. Для этого они придумали такой сценарий: через уязвимые программные продукты хакеры получают доступ к персональным данным пациентов, в частности к рентгеновским снимкам.

Предположим, хакеры используют нейросеть, натренированную на очень специальную задачу: «убирать» с рентгеновских снимков раковые опухоли. Подобное вмешательство в персональные данные, говорят исследователи, может иметь летальные последствия для пациентов.

Подобных статей появляется довольно много, но, как и в этой конкретной статье, в них не учитывается множество факторов.

Во-первых, нейросеть, упоминаемая в этом исследовании, может быть создана лишь при участии большого числа специалистов, причем ее необходимо тренировать на данных, полученных для специфических медицинских исследований. Не приходится ожидать, что у среднестатистической хакерской группировки окажется доступ к подобной обучающей выборке.

Во-вторых, описанный сценарий подразумевает очень дорогую и очень специальную атаку на данные. Любопытно, что в статье говорится об изменении снимков, но не других записей, например анализов пациентов. Это означает, что сами авторы работы потенциально очень сильно упрощают сложность придуманной ими атаки, нацеленной на вмешательство в медицинские данные с целью повлиять на постановку диагноза.

Неудивительно, таким образом, что большинство экспертов сходится во мнении: для текущих хакерских задач существующие нейросети не подходят из-за высокой сложности и стоимости обучения. Если новые угрозы, связанные с нейросетями, и возникнут, то исключительно вместе с новыми путями их применения.

Значит, нейросети хакерам не нужны?

Вредоносное программное обеспечение способно наносить ощутимый урон производствам. Так, WannaCry — вирус, изначально не предназначавшийся для атак на заводские системы, — привел к остановке производства на нескольких заводах Renault, а также попал в системы производства компании Nissan.

Иными словами, правильный ответ состоит из двух частей.

Во-первых, нейросети не нужны обычным хакерам, однако в промышленном шпионаже и атаках на государственном уровне они могут найти свое применение или даже уже нашли.

Во-вторых, прогресс не стоит на месте. Если сейчас работа с нейросетями — это долго и дорого, то это не значит, что так будет всегда. Появление стандартизированных библиотек, размеченных дата-сетов в открытом доступе может кардинально изменить ситуацию. И тогда преступления с использованием нейросетей могут войти в жизнь обычного пользователя. А, значит, думать об этих угрозах надо уже сейчас.