Pешил поговоpить, о тoй облaсти, кoторaя, как я считaю, состaвляет и бyдет остaваться лидеpoм в использyемых теxнолoгиях и котоpyю использyют для идeнтификaции(и не только) атак в cyber-мире - и .
В этой теме я попытаюсь рассмотреть классические технологии - с машинным обучением и искусственным интеллектом и без него.
А также о уникальном виде (насколько мне известно) технологии машинного обучения и искусственного интеллекта, который имитирует (насколько это известно) деятельность нашего мозга.
В cyber-мире, правила, вероятно, являются самыми уступчивые и податливые вещами.
В мире кибер атак сегодня, в общем, используются параллельно четыре широкомасштабные технологии:
Уведомления/предупреждения на основе Threshold.
Уведомления/предупреждения на основе правил.
Уведомления/предупреждения на основе сертификата или дигитальной подписи.
И машинное обучение.
Многие системы искусственного интеллекта, основанные на "классических" алгоритмах машинного обучения, включают в себя одну или несколько из следующих функций:
Самая интеллектуальная машина, которую мы знаем, - это наш мозг
Если мы смотрим на наш мозг, особенно по сравнению с механизмами искусственного интеллекта, мы находим некоторые удивительные факты:
Но как это все связанно с Cyber миром?
В Cyber мире, самые современные атаки на сегодняшний день часто атакуют наши человеческие слабости, такие как:
(например, окно входа в систему, которое внезапно перескакивает, и мы не замечаем как заполняем имя пользователя и пароль в нем, и данные немедленно перенаправляются злоумышленнику).
Или эмоциональную часть, посредством таких атак, как социальная инженерия.
Единственное, что может нам помочь в таких вещах, - это компьютер, который будет работать так же, как мы, в интеллектуальном смысле этого слова, но не эмоционально затронутый, как мы, который будет постоянно измерять наше поведение и предупреждать о значительных нарушениях.
Хокинс исследовал в течение нескольких лет, и основал компанию Numenta которая отвечвет за проект с открытым кодом под именем .
Этот проект реализует алгоритм, который точно имитирует работу нашего неокортекса.
Итак, как работает мозг? На сегодняшний день у науки нет ответов на все вопросы, но на некоторые из них определенно да.
Наш мозг на самом деле не вычислительная машина, а система памяти.
Человеческий сжимается внутри черепа и его размер, если развернуть его на столе, будет иметь размер столовой салфетки и толщину около 6 миллиметров.
Одна из самых интересных особенностей неокортекса заключается в том, во всех областях, выглядит почти одинаково.
Это означает, что область в неокортексе, которая обрабатывает слуховой вход, область, которая обрабатывает визуальный ввод или понимание языка, распознавание лица и тд ... все построено точно так же.
Другими словами, наши моз в любом месте и для любого ввода используют один и тот же алгоритм.
Мы все знаем что в компьютере все хранится как последовательность битов, некоторые включены, а некоторые выключены.
Но если мы спросим почему буква "а" сохранена на компьютере как 01100001 ?
Ответ будет таковым: Потомучто ктото так решил.
В нашем мозгу этот процесс работает принципиально иначе.
Клетки неокортекса соединены иерархическим образом.
В абстракте он немного похож на солдата на посту(незнаю кто и как служил), пока первый слой видит что-то (то есть какую то последовательность битов), что он уже знает, скажем, машина одного из командиров базы, он сообщит своему командиру короткий отчет, содержащий какое-то имя для события, например, "командир базы прибыл".
Но если, например происходит чтото "необычное" (к примеру незнакомая машина), когда солдат не знает что делать, он сообщит своему командиру обо всех делалях: модель и год машины как выглядит пасажир и тд.
В случае, если командир не знает, он передаст всю информацию по цепочке до того момента, когда кто-то примет решение и вернет инструкции солдату в охранном посту, что делать в подобных случаях.
Вернемся к нашему мозгу
, каждый слой будет пытатся определить, на сколько это возможно, поступающую информацию. Если это удастся, переночится короткое "имя" на слои над ним, но если входящая информация не будет определена, она будет перемещена, на следующие уровни в иерархии.
Еще одна важная особенность нашего мозга - память по порядку (набор/комплект).
Попробуйте спеть любую песню, которую вы знаете, с седьмого слова, не напевая ее себе перед седьмым словом, тяжело?
Я думаю всем знакомы те, когда их спрашивают какая буква идет перед "K" начинают пере-говаривать весь алфавит
На самом деле нам трудно думать о чем-то сложном, что не хранится в памяти как набор/комплект шаблонов/моделей и тд.
Это связано с тем, что наш мозг создан для запоминания наборов шаблонов, а не абсолютных значений.
Что такое автоассоциативность?
Помните те посты, которые время от времени бегают на Facebook/VK с текстом, который включает одно слово дважды, или текст со словами где порядок букв в слове неправильный, во всех этих случаях у многих людей мозг исправляет эти ошибки автоматически, даже без нашего внимания.
Причина в том что если получаемый "шаблон" будет достаточно похожим на то что ожидалось нашим мозгом, получается что мозг фактически изменяет получаемые данные так чтобы они соответствовали ожидаемому.
Кинорежиссеры и фокусники используют этот эффект много раз - например, актер может стоять без рубашки за столом или мебелью, и мы будем уверены, что он голый, или что ноги, торчащие из-под стола, принадлежат одному и тому же человеку(когда это не всегда так).
так же, когда мы слышим песню и пытаемся повторить ее позже, мы сможем это сделать и это даже будет похоже или даже очень похоже, но не то же самое, наш ум помнит об отношениях между вещами в мире, а не о самих вещах.
Я думаю теперь стало немного яснее.
В Cyber-мире все работает похоже, младший аналитик видит предупреждение, которое выскочило на системе о ряде попыток входа с определенным именем пользователя, нескольких подозрительных предупреждений о сканировании с внешнего адреса.
Если эта деятельность кажется ему очень похожей на то, что он знает или сталкивался, он расследует инцидент и предоставит отчет о собитии.
Что он знает и способен расследовать, он представит краткий отчет о найденном событии, и только если это исключительный случай, он передаст всю информацию по точно таким же причинам,
Именно по этим причинам такой алгоритм может помочь Cyber-миру:
Разумеется, использование этой технологии никоим образом не ограничивается только Cyber-миром, наоборот, благодаря свойствам этого алгоритма, как и наш мозг, он подходит для многих других приложений.
Например использование NuPic чтобы предсказать географический маршрут в соответствии с прошлыми данными и предупредить об отклонения от маршрута.
В этой теме я попытаюсь рассмотреть классические технологии - с машинным обучением и искусственным интеллектом и без него.
А также о уникальном виде (насколько мне известно) технологии машинного обучения и искусственного интеллекта, который имитирует (насколько это известно) деятельность нашего мозга.
В cyber-мире, правила, вероятно, являются самыми уступчивые и податливые вещами.
В мире кибер атак сегодня, в общем, используются параллельно четыре широкомасштабные технологии:
Уведомления/предупреждения на основе Threshold.
Код:
Технология основанная на Thresholds, на самом деле подвержена риску- если данный показатель немного ниже установленного Threshold-а.
Например, если мы решаем, что количество попыток ввода пользователя является указанным показателем, и если оно больше 10 за период времени, это попытка Brute-Force атаки, это может то и так, но если это 9 попыток за этот же период времени, это менее проблематично?
С другой стороны, если это невинный пользователь, совершивший 11 попыток - это обязательно проблематично?Уведомления/предупреждения на основе правил.
"Пользователь, который вошел в систему, даже если он находится в отпуске" - Обычно выясняется довольно быстро как проблематичные, есть множество правил, которые нужно настроить, и очень скоро это начинает выглядеть как бесконечная и безнадежная миссия.
Уведомления/предупреждения на основе сертификата или дигитальной подписи.
IP-адресов, файлов,URL-адресов и тд.
Также в бесконечной и безнадежной гонке достаточно быстро создавать достаточно точные подписи и следовательно не удовлетворяют.
Также в бесконечной и безнадежной гонке достаточно быстро создавать достаточно точные подписи и следовательно не удовлетворяют.
И машинное обучение.
Код:
В последние годы продвинулось очень сильно, и иногда казалось бы, что вот вот сможет выполнить все ожидания и надежды, которые были установлены, и нехватает ресурсов.
Но на самом деле - абсолютно нет.
Если мы хорошо поищем на самую интеллектуальную машину, которую мы знаем сегодня, мы обнаружим, что она действительно близка ... на плечах каждого из нас.
Даже сегодня, после десятилетий исследований в области искусственного интеллекта, двух с половиной лет мальчик все еще умеет ходить, прыгать, бегать, говорить и понимать язык лучше, чем большинство современных решений.
Он делает это не с компьютером, а с нейронами, которые в 5 миллионов раз медленнее, чем любой базовый компьютер , Кроме того, наш мозг фактически содержит святой грааль программистов: один алгоритм, который выполняет как обработку звука, изображение, язык и ... все, что вы можете придумать, и все, что делает вас ... кем вы являетесь.Многие системы искусственного интеллекта, основанные на "классических" алгоритмах машинного обучения, включают в себя одну или несколько из следующих функций:
- Потребность переодического запуска скрипта для настройки или корректировки той или иной функции что выполняется в реальном времени.
- Потребность одновременного выполнения множества процессов распределенным образом на нескольких серверах.
- Потребность в чрезвычайно быстром аппаратном обеспечении для выполнения расчетов в разумные сроки.
Самая интеллектуальная машина, которую мы знаем, - это наш мозг
Если мы смотрим на наш мозг, особенно по сравнению с механизмами искусственного интеллекта, мы находим некоторые удивительные факты:
- У него нет потребности переодического запуска процесов для настройки или корректировки своих процесов.
- Нервные клетки в нашем мозгу могут делать что-то вроде 200 действий в секунду. Если это звучит для вас много, подумайте, что базовый компьютер может выполнять миллиард операций одновременно.
- Наш мозг работает параллельно, ... наши клетки относительно медленны, поэтому через полсекунды информация, поступающая в мозг, может проходить через не более 100 нейронов.
- Для людей полсекунды, то есть параллельной активности максимум 100 ячеек, достаточно, чтобы идентифицировать кошку на картинке по сравнению с медведе, для ПК - 100 шагов достаточно ... возможно, переместить один символ на экране ...
Но как это все связанно с Cyber миром?
В Cyber мире, самые современные атаки на сегодняшний день часто атакуют наши человеческие слабости, такие как:
(например, окно входа в систему, которое внезапно перескакивает, и мы не замечаем как заполняем имя пользователя и пароль в нем, и данные немедленно перенаправляются злоумышленнику).
Или эмоциональную часть, посредством таких атак, как социальная инженерия.
Единственное, что может нам помочь в таких вещах, - это компьютер, который будет работать так же, как мы, в интеллектуальном смысле этого слова, но не эмоционально затронутый, как мы, который будет постоянно измерять наше поведение и предупреждать о значительных нарушениях.
Хокинс исследовал в течение нескольких лет, и основал компанию Numenta которая отвечвет за проект с открытым кодом под именем .
Этот проект реализует алгоритм, который точно имитирует работу нашего неокортекса.
Итак, как работает мозг? На сегодняшний день у науки нет ответов на все вопросы, но на некоторые из них определенно да.
Наш мозг на самом деле не вычислительная машина, а система памяти.
Человеческий сжимается внутри черепа и его размер, если развернуть его на столе, будет иметь размер столовой салфетки и толщину около 6 миллиметров.
Одна из самых интересных особенностей неокортекса заключается в том, во всех областях, выглядит почти одинаково.
Это означает, что область в неокортексе, которая обрабатывает слуховой вход, область, которая обрабатывает визуальный ввод или понимание языка, распознавание лица и тд ... все построено точно так же.
Другими словами, наши моз в любом месте и для любого ввода используют один и тот же алгоритм.
Мы все знаем что в компьютере все хранится как последовательность битов, некоторые включены, а некоторые выключены.
Но если мы спросим почему буква "а" сохранена на компьютере как 01100001 ?
Ответ будет таковым: Потомучто ктото так решил.
В нашем мозгу этот процесс работает принципиально иначе.
Клетки неокортекса соединены иерархическим образом.
В абстракте он немного похож на солдата на посту(незнаю кто и как служил), пока первый слой видит что-то (то есть какую то последовательность битов), что он уже знает, скажем, машина одного из командиров базы, он сообщит своему командиру короткий отчет, содержащий какое-то имя для события, например, "командир базы прибыл".
Но если, например происходит чтото "необычное" (к примеру незнакомая машина), когда солдат не знает что делать, он сообщит своему командиру обо всех делалях: модель и год машины как выглядит пасажир и тд.
В случае, если командир не знает, он передаст всю информацию по цепочке до того момента, когда кто-то примет решение и вернет инструкции солдату в охранном посту, что делать в подобных случаях.
Вернемся к нашему мозгу
, каждый слой будет пытатся определить, на сколько это возможно, поступающую информацию. Если это удастся, переночится короткое "имя" на слои над ним, но если входящая информация не будет определена, она будет перемещена, на следующие уровни в иерархии.Еще одна важная особенность нашего мозга - память по порядку (набор/комплект).
Попробуйте спеть любую песню, которую вы знаете, с седьмого слова, не напевая ее себе перед седьмым словом, тяжело?
Я думаю всем знакомы те, когда их спрашивают какая буква идет перед "K" начинают пере-говаривать весь алфавит
На самом деле нам трудно думать о чем-то сложном, что не хранится в памяти как набор/комплект шаблонов/моделей и тд.
Это связано с тем, что наш мозг создан для запоминания наборов шаблонов, а не абсолютных значений.
Что такое автоассоциативность?
Помните те посты, которые время от времени бегают на Facebook/VK с текстом, который включает одно слово дважды, или текст со словами где порядок букв в слове неправильный, во всех этих случаях у многих людей мозг исправляет эти ошибки автоматически, даже без нашего внимания.
Причина в том что если получаемый "шаблон" будет достаточно похожим на то что ожидалось нашим мозгом, получается что мозг фактически изменяет получаемые данные так чтобы они соответствовали ожидаемому.
Кинорежиссеры и фокусники используют этот эффект много раз - например, актер может стоять без рубашки за столом или мебелью, и мы будем уверены, что он голый, или что ноги, торчащие из-под стола, принадлежат одному и тому же человеку(когда это не всегда так).
так же, когда мы слышим песню и пытаемся повторить ее позже, мы сможем это сделать и это даже будет похоже или даже очень похоже, но не то же самое, наш ум помнит об отношениях между вещами в мире, а не о самих вещах.
Я думаю теперь стало немного яснее.
В Cyber-мире все работает похоже, младший аналитик видит предупреждение, которое выскочило на системе о ряде попыток входа с определенным именем пользователя, нескольких подозрительных предупреждений о сканировании с внешнего адреса.
Если эта деятельность кажется ему очень похожей на то, что он знает или сталкивался, он расследует инцидент и предоставит отчет о собитии.
Что он знает и способен расследовать, он представит краткий отчет о найденном событии, и только если это исключительный случай, он передаст всю информацию по точно таким же причинам,
Именно по этим причинам такой алгоритм может помочь Cyber-миру:
- Он подходит для выявления аномалий в текстах, изображениях и числовых показателях.
- Он работает во многом так же, как и человек понял бы обнаружил бы аномалии в этих данных.
- Для адаптации своих операций не требуется синхронизированных процессов корректировки и настройки.
- Это относительно не требует очень много ресурсов и не нагружает систему.
- Не требует сохранения информации, проходящей через нее.
Разумеется, использование этой технологии никоим образом не ограничивается только Cyber-миром, наоборот, благодаря свойствам этого алгоритма, как и наш мозг, он подходит для многих других приложений.
Например использование NuPic чтобы предсказать географический маршрут в соответствии с прошлыми данными и предупредить об отклонения от маршрута.