Создание зеркал сайтов, клонирование страницы входа

ins1der

Pro Member
Сообщения
101
Реакции
80
Посетить сайт
С программой

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

вы можете создать копию сайта у себя на диске. Программа доступна для всех популярных платформ, посмотреть подробности об установке на разные системы, о графическом интерфейсе и ознакомиться со всеми опциями вы можете на странице

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

.

Далее я рассмотрю несколько примеров использования HTTrack с уклоном на пентестинг.

В плане хакинга HTTrack может быть полезна для:

  • исследования структуры сайта (подкаталоги, страницы сайта)
  • поиск файлов на сайте (документы, изображения)
  • поиск по документам и метаданным файлов с сайта
  • клонирование страниц входа с целью последующего использования для фишинга
Создадим директорию, где мы будем сохранять скаченные зеркала сайтов:
Код:
mkdir websitesmirrors

Посмотрим абсолютный путь до только что созданной директории:
Код:
readlink -f websitesmirrors
В моём случае это /home/mial/websitesmirrors, у вас будет какой-то другой адрес – учитывайте это и заменяйте пути в приведённых мною командах на свои.

Простейщий запуск HTTrack выглядит так:
Код:
httrack адрес_сайта -O "путь/до/папки/зеркала"

Здесь:

  • адрес_сайта – сайт, зеркало которого нужно сохранить на диск
  • путь/до/папки/зеркала – папка, куда будет сохранён скаченный сайт
Я бы рекомендовал с каждым запуском программы использовать опцию -F, после которой указывать пользовательский агент:
Код:
httrack адрес_сайта -F "User Agent" -O "путь/до/папки/зеркала"

Списки строк User Agent я смотрю

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

.

Пример запуска:
Код:
httrack http://z-oleg.com/ -F "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" -O "/home/mial/websitesmirrors/z-oleg.com"
Этой командой будет сделано локальное зеркало сайта с сохранением его оригинальной структуры папок и файлов.

Если вы хотите сосредоточится на файлах (документы, изображения), а не на структуре сайта, то обратите внимание на опцию -N4: все HTML страницы будут помещены в web/, изображения/другое в web/xxx, где xxx это расширения файлов (все gif будут помещены в web/gif, а .doc в web/doc)

Пример запуска с опцией -N4:
Код:
httrack http://thailandcer.ru/ -N4 -F "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" -O "/home/mial/websitesmirrors/thailandcer.ru/"
По умолчанию HTTrack учитывает содержимое файла robots.txt, т.е. если он запрещает доступ к папкам, документам и файлам, то HTTrack не пытается туда зайти. Для игнорирования содержимого robots.txtиспользуется опция -s0

Пример запуска с опцией -s0:
Код:
httrack http://spryt.ru/ -s0 -N4 -F "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" -O "/home/mial/websitesmirrors/spryt.ru/"
Для обновления уже созданного зеркала можно использовать сокращённую опцию --update, которая означает обновить зеркало, без подтверждения и которая равнозначна двум опциям -iC2.

Для продолжения создания зеркала, если процесс был прерван, можно использовать сокращённую опцию --continue (означает продолжить зеркало, без подтверждения), либо эквивалентные опции -iC1.

Создание клона страницы входа на сайт
Думаю, нет нужды объяснять, зачем пентестеру может понадобиться клон страницы входа, например, сайта vk.com, mail.ru и т.д.

Нужно учитывать следующее:

  • у сайта могут быть разные страницы для входа с мобильного устройства и для входа с компьютера
  • адрес страниц для входа с мобильного устройства и с компьютера может быть одинаковым или разным
  • нам не нужно клонировать весь сайт – достаточно только одной страницы
Чтобы притвориться мобильным браузером нужно использовать соответствующую строку User Agent, я буду использовать эту (рекомендую вам выбрать свою собственную строку!):
Код:
Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9
Чтобы узнать, какой адрес используется для входа с мобильных устройств, я воспользуюсь программой cURL. Опция -i означает показывать не только полученные данные, но и заголовки. После опции -Aможно указать Пользовательский Агент:
Код:
curl -i -A "Mozilla/5.0 (Linux; U; Android 4.0.3; ru-ru; LG-L160L Build/IML74K) AppleWebkit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" https://vk.com

Получаем:
Код:
HTTP/2 302
server: nginx
date: Tue, 04 Jul 2017 09:46:47 GMT
content-type: text/html; charset=windows-1251
content-length: 0
location: https://m.vk.com/
x-powered-by: PHP/3.13127
set-cookie: remixlang=0; expires=Sun, 01 Jul 2018 18:09:12 GMT; path=/; domain=.vk.com
strict-transport-security: max-age=0

Интересующей нас строкой является location:

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

. Она означает, что вход для мобильных клиентов размещён по адресу

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.




Проблема с адресом решена. Также нам нужно менять User Agent в программе HTTrack (опция -F).

Кроме этого, нам нужно использовать опцию -r2, которая ограничит HTTrack получением одной страницы, без попытки клонировать сайт.

Примечание: сайт может выдавать различное содержимое на уровне скриптов веб-приложения, основываясь на полученной строке Пользовательского Агента), а не в зависимости от адреса. Также возможен вариант, когда сайт использует универсальный шаблон, подстраивающийся под любое разрешение экрана – в этом случае адрес входа на сайт будет одинаковым для всех типов устройств, и HTML код также будет одинаковым.

Примечание 2: даже перейдя на адрес мобильной версии, веб-приложение, основываясь на строке User Agent может перенаправить вас на полную версию сайта. Поэтому при создании клона страницы важно и вводить правильный адрес, и подменять строку Пользовательского Агента.

Итак, делаем клон страницы входа vk.com для компьютеров:
Код:
httrack https://vk.com -r2 -F "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" -O "/home/mial/websitesmirrors/vk.com/"

Результат:

Получение мобильной версии сайта:
httrack

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

-r2 -F "Mozilla/5.0 (Linux;

При попытке просмотреть полученную страницу, имеется бесконечный редирект. Судя по всему, встроена какая-то проверка на путь страницы. Она не может быть реализована иначе, чем через JavaScript, поэтому ищем и удаляем лишний код. В данном случае «лишним» является подсвеченный блок (второй блок JavaScript кода):

После этого удаления, клонированная страница прекрасно открывается в веб-браузере:

Как можно убедиться по скриншотам, нам показаны англоязычные версии сайта. Чтобы этого избежать, нужно отправлять дополнительные заголовки (опция --headers) с языковыми настройками ("Accept-Language: ru-RU,ru;q=0.5"). Т.е. к нашим командам нужно добавить строку --headers "Accept-Language: ru-RU,ru;q=0.5"

Получится:
Код:
httrack https://vk.com --headers "Accept-Language: ru-RU,ru;q=0.5" -r2 -F "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" -O "/home/mial/websitesmirrors/vk.com/"

И:

Код:
httrack https://m.vk.com --headers "Accept-Language: ru-RU,ru;q=0.5" -r2 -F "Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9" -O "/home/mial/websitesmirrors/vk.com.mob/"
Результат:


И:



Рассмотрим ещё один пример для yandex.ru
Код:
curl -i -A "Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9" https://yandex.ru
Редиректа не происходит! Это означает, что нам нужно поменять только User Agent, адрес менять не нужно.

Получение полной версии сайта:
Код:
httrack https://yandex.ru -r2 -F "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" -O "/home/mial/websitesmirrors/yandex.ru/"

Получение мобильной версии сайта:
Код:
httrack https://yandex.ru -r2 -F "Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9" -O "/home/mial/websitesmirrors/yandex.ru.mob/"


Немного сбила с толку ситуация с mail.ru – редиректа при попытке притвориться мобильным устройством не происходило и для моего любого User Agent’а в любом случае показывалась полная версия (думаю, дело в неудачной строке User Agent). Зато набрав в браузере m.mail.ru, я сразу получил адрес мобильной версии

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

, тогда:
Получение полной версии сайта:

Код:
httrack https://mail.ru -r2 -F "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" -O "/home/mial/websitesmirrors/mail.ru/"

Получение мобильной версии сайта:

Код:
httrack "https://mail.ru/?from=m" -r2 -F "Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9" -O "/home/mial/websitesmirrors/mail.ru.mob/"
Соответствующие результаты:



И:



Клонирование сайта требующего входа (ввод логина и пароля)
Если вам нужно клонировать сайт, требующий входа (например, форум), то настройте Burp Suite для работы с вашим веб-браузером. Перейдите на сайт и посмотрите, какие кукиз передаются на него. После этого запустите HTTrack с опцией --headers, после которой укажите передаваемые кукиз.

Заключение
В данной статье было показано, как создать зеркало сайта на своём компьютере, как полностью клонировать его структуру, либо распределить файлы в зависимости от их типа по соответствующим папкам. Также был показан примерный алгоритм создания клонов страниц входа на сайты, причём как для полной версии, так и для мобильной.
 
Последнее редактирование:
  • Like
Реакции: Adinson
Название темы
Автор Заголовок Раздел Ответы Дата
Admin Интересно Создание своего Shadowsocks + v2ray + tor [Часть 2] Настройка системы для работы 0
Admin Интересно Создание своего Shadowsocks и обфускация трафика [Часть 1] Настройка системы для работы 1
codeprasya [CodePrasya]- Создание сайтов, софта любых сложностей|| Website development, software of any complexity. Ищу работу. Предлагаю свои услуги. 8
yumpa Hyper-V. Создание большого количества виртуальных машин Полезные статьи 0
A Создание сайтов Предоставляю работу. Ищу специалиста. 0
R Продам Создание сайтов Услуги дизайнеров/веб-разработчиков 0
B Создание и раскрутка телеграм каналов. Полный гайд (2020) Spam/DDOS/Malware 0
B Создание чат-ботов без программирования за 1 час Spam/DDOS/Malware 0
ev0117434 Интересно Создание вредоносных QR-кодов для взлома телефонов и других устройств Уязвимости и взлом 11
P Проверено Создание HTML-писем/Рандомизация текста | Creating HTML-letters/Text Randomization Услуги дизайнеров/веб-разработчиков 0
dhusss Создание аккаунта Предоставляю работу. Ищу специалиста. 0
АнАлЬнАя ЧуПаКаБрА INLINE Создание лендингов.(RU) Проекты Private Keeper 0
Forevonly Создание цепочки из нескольких SHH Полезные статьи 0
Forevonly Создание собственных (элитных) дешевых прокси под свои дела Полезные статьи 4
C Создание сетевого червя Вопросы и интересы 3
shellest Создание сайта в сети TOR Низкоуровневое программирование 1
turizm200 Создание портативных программ Полезные статьи 0
AngelOfLove Delphi для начинающих – Урок 3 – Создание переменных С/C++ 0
Forevonly Создание фишинга СИ/Фишинг/Мошенничество 11
F Услуги программиста. Создание веб приложений на ASP.NET MVC Ищу работу. Предлагаю свои услуги. 4
K Создание Socks и Https прокси через дедик Софт для работы с текстом/Другой софт 0
NickelBlack Интересно Coqui - Кейлоггер, который активируется только для сайтов, связанных с банками. Вирусология 0
Kalash Разработка .onion сайтов Ищу работу. Предлагаю свои услуги. 0
S Продам Базы сайтов знакомств РФ, Украины, СНГ, Европы, США. 2020 г.! Все что не подошло по разделу 0
Khan Продам «KHAN Studio» Профессиональный дизайн на любой бюджет (Аватарки / Баннеры / Оформления / Прайсы / Логотипы / Макеты сайтов и пр.) Услуги дизайнеров/веб-разработчиков 1
Denik Интересно Угоняем логины и пароли с фишинговых сайтов Полезные статьи 3
HoBzY Качественная Верстка сайтов Низкие цены, Быстрая работа HoBzY Низкоуровневое программирование 1
zladey1986 Интересно HTracer 3.4.4 — скрипт для продвижения сайтов по НЧ и СЧ запросам Софт от наших юзеров 0
A Продам Верстка сайтов с - 0 Front-end разработчик. Услуги дизайнеров/веб-разработчиков 0
A Верстка сайтов. Front-end разработчик. Ищу работу. Предлагаю свои услуги. 0
A Эффективный статейный прогон по 200 жирным трастовым сайтов Ищу работу. Предлагаю свои услуги. 0
P Интересно Набираем людей для создания сайтов Предоставляю работу. Ищу специалиста. 0
A Качественная верстка сайтов! HTML5, CSS3, Jquery, Bootstrap 4! Услуги дизайнеров/веб-разработчиков 0
N Предоставляю услуги по устранению сайтов и серверов с помощью DDOS атак.Наш сервис поможет решить ваши проблемы с конкурентами. Спам / Флуд / Ддос 0
Denik Как заработать более $ 1000 в месяц со взрослых веб-сайтов Способы заработка 4
I Профессионально решаем задачи в сфере разработки сайтов, приложений, дизайна, продвижения Низкоуровневое программирование 0
scr.asia Качественные услуги по веб-программированию: создание, обслуживание, поддержка и доработка сайтов Услуги дизайнеров/веб-разработчиков 1
S Проверка сайтов на безопасность Свободное общение и флейм 9
SSHMAN Гитхабовский набор для взлома сайтов из сериала Mr.Robot Уязвимости и взлом 3
Denik Интересно Программа создания шаблонов сайтов Template Toaster v5.0.0.6985 Софт для работы с текстом/Другой софт 0
starowar Разработка сайтов / ботов / ваших проектов по ТЗ на php, js, mysql Продажа софта 0
B Первый в рунете бот, курс и программное обеспечение — генератор видео-сайтов (2019) Раздача email 0
mmilolika Продам Продам логи бот нета. А так же дампы сайтов различных тематик. более 27750 дампов различных тематик (бизнес-медицина-игры-спорт-форекс и др.) 2.5т Финансы - биллинги, банки, кошельки, логи 1
Admin Интересно Дампы 6 фитнес сайтов Другое 0
B TOP BASE - Отборная база сайтов для бесплатного продвижения Другое 1
АнАлЬнАя ЧуПаКаБрА INLINE Продвижение сайтов с внутренним балансом [Минималка 1000р] Проекты Private Keeper 4
АнАлЬнАя ЧуПаКаБрА INLINE Конструктор сайтов Проекты Private Keeper 0
A Блокировке пиратских сайтов быть? Новости в сети 0
АнАлЬнАя ЧуПаКаБрА MIX Огромное облако баз всех стран + Дампы сайтов Раздача email 0
Ltb12263 [Kali Linux] theHarvester взлом сайтов! Spam/DDOS/Malware 2

Название темы