Пишем парсер на Python - грабим Proxy ч.1

Forevonly

Original poster
Pro Member
Сообщения
599
Реакции
601
Посетить сайт
Конечно же все вы когда-нибудь пользовались прокси, и сегодня мы научимся делать парсер для добычи оных.


Прокси-сервер — промежуточный сервер, позволяющий замаскировать собственное местоположение.

Парсер - это программа, которая автоматизирует сбор информации с заданных ресурсов.



Приступим:

Для начала мы накидаем такую конструкцию

Код:
import requests
from bs4 import BeautifulSoup


if __name__ == '__main__':
    main()

Модуль requests нужен для обращения к серверу, BeautifulSoup анализирует html код, и последняя запись это точка входа в главную функцию main() которую мы напишем в самом конце программы.



Далее создадим функцию get_html которая принимает аргумент site. Переменная r обращается к requests методом get и получает чтение site. Функция возвращает r выведенную в текст.


Код:
def get_html(site):
    r = requests.get(site)
    return r.text
Далее создаём вторую функцию get_page_data для получения данных со страницы html. Эти сырые данные попадают в переменную soup. Обрабатывает данные BeautifulSoup, принимая код html. И в качестве парсера указываем 'lxml.

Код:
def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')

Добывать прокси мы будем с

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

поэтому заходим по этому адресу, открываем инструменты разработчика кнопкой F12. Удобнее всего, на мой взгляд реализовано в ГуглХром. Кому-то нравится в лисе, но это не так важно. Наша задача определить в исходном коде, где находятся нужные нам строки.



В исходнике мы видим что proxy заключены в таблицу, и у этой таблицы есть id 'theProxyList'


Внутри таблицы находится тег tbody


А внутри тега tbody есть теги tr при наведении на которые выделяется строка (линия) с нужными данными.


Значит чтобы спарсить эту линию добавим в нашу функцию такую строку



Код:
line = soup.find('table', id='theProxyList').find('tbody').find_all('tr')
# Ищем с помощью find 'tbody' и с помощью find_all все 'tr'

Прекрасно, начало есть. Но это ещё не всё друзья, не так быстро дела делаются.

В функцию get_page_data теперь добавим цикл, в котором мы будем обращаться по индексу к нужным данным. Дата и время проверки не будем парсить, так как это не такая нужная информация. Остальное преобразуем в текст с помощью text

Код:
for tr in line:
        td = tr.find_all('td')
        ip = td[1].text
        port = td[2].text
        country = td[3].text
        anonym = td[4].text
        types = td[5].text
        time = td[6].text

Теперь полученные данные запишем в словарь

Код:
      data = {'ip': ip,
                'Порт': port,
                'Страна': country,
                'Анонимность': anonym,
                'Тип': types,
                'Время отклика': time}

И выведем на печать print(data).



Осталось написать главную функцию, в ней мы принимаем url сайта, и по цепочке идёт обработка предыдущими функциями.

Код:
def main():
    url = 'http://foxtools.ru/Proxy'
    get_page_data(get_html(url))

Наконец-то запускаем скрипт и видим следующую картину:


Данные успешно спарсились, но картинка не такая как хотелось бы. Присутствует куча мусора в виде \xa0, \r\n, \r\n\t\t\t\t\t

Значит будем от него избавляться. С помощью replace удалим всё лишнее, и для этого поправим наш цикл



Код:
    for tr in line:
        td = tr.find_all('td')
        ip = td[1].text
        port = td[2].text
        country = td[3].text.replace('\xa0', '')
        anonym = td[4].text.replace('\r\n        ', '')
        types = td[5].text.replace('\r\n\t\t\t\t\t', '').replace('\r\n        ', '')
        time = td[6].text

Запускаем по новой - другое дело, уже всё читабельно.


Исходник:

Код:
import requests
from bs4 import BeautifulSoup


def get_html(site):
    r = requests.get(site)
    return r.text


def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')
    line = soup.find('table', id='theProxyList').find('tbody').find_all('tr')

    for tr in line:
        td = tr.find_all('td')
        ip = td[1].text
        port = td[2].text
        country = td[3].text.replace('\xa0', '')
        anonym = td[4].text.replace('\r\n        ', '')
        types = td[5].text.replace('\r\n\t\t\t\t\t', '').replace('\r\n        ', '')
        time = td[6].text

        data = {'ip': ip,
                'Порт': port,
                'Страна': country,
                'Анонимность': anonym,
                'Тип': types,
                'Время отклика': time}

        print(data)


def main():
    url = 'http://foxtools.ru/Proxy'
    get_page_data(get_html(url))


if __name__ == '__main__':
    main()

Ну вот мы и научились некоторым приёмам парсинга страниц. В следующей статье мы продолжим работать с этим парсером и добавим функционал.

До встречи! ;)
 
  • Like
Реакции: blev
Название темы
Автор Заголовок Раздел Ответы Дата
Forevonly Пишем парсер на Python - грабим Proxy ч.2 Бруты/Парсеры/Чекеры 0
UnderD0g Интересно PHP - Пишем свой фишинг скрипт для кражи тт аккаунтов {Уровень: EASY} Другие ЯП 2
LightMan Интересно C# - Пишем Watchdog (Модуль защиты вашего трояна) .NET 2
K Интересно [Roman Akhromieiev] Telegram. Пишем ботов на Node JS и Telegraf (2020) Другое 1
Daniel01 Пишем малютку для скана сайта Софт от наших юзеров 6
АнАлЬнАя ЧуПаКаБрА Интересно Пишем брут на любой(почти) банк [OFX] Другие ЯП 1
shellest Пишем свой перехватчик СМС Android Другие ЯП 2
T0pDro4eR Пишем WinLocker на Delphi С/C++ 0
NikitaBoom Пишем отзывы и получаем от 200 рублей в день. Способы заработка 12
Forevonly Пишем скрипт для работы с VirusTotal-ом Полезные статьи 0
Forevonly Пишем шифровальщик на python Полезные статьи 0
Traven Пишем спамер Telegram, на Python Другое 0
Traven Пишем свой стиллер на Python Другие ЯП 4
Traven WinLocker на python. Пишем вирус. Другое 0
VLAD1337 Пишем переносной кейлоггер на C++ Полезные статьи 1
OUTCAST Пишем стиллер на Batch Вирусология 15
AngelOfLove Delphi для начинающих – Урок 6 – Пишем свой калькулятор С/C++ 0
eceNin [PHP] Пишем свой движок 2.0 Другие ЯП 0
Glods Пишем многопоточный Brute С/C++ 0
rif009 Пишем билдер C# вариант 1 .NET 2
АнАлЬнАя ЧуПаКаБрА INLINE Переписанный приватный парсер номеров [1 из 13] Проекты Private Keeper 1
E VkSearch — бесплатный парсер пользователей ВК Бруты/Парсеры/Чекеры 1
W SQL Hunter1.2 (парсер для Google и поиск уязвимостей sql) Spam/DDOS/Malware 12
mcaff Создать софт парсер Свободное общение и флейм 2
АнАлЬнАя ЧуПаКаБрА VkSearch — бесплатный парсер пользователей ВК Бруты/Парсеры/Чекеры 3
Y возьму на обучению вбиву в амазон и ебей Предоставляю работу. Ищу специалиста. 0
Kalash [Розыгрыш] Розыгрыш 1000 рублей на киви!!! Розыгрыши 0
S Простой способ получить реальные $30 на торговлю Предоставляю работу. Ищу специалиста. 0
bu8ba Собственное казино и зарабатываем на нем Способы заработка 1
M Блэк на #~Shinigami~# Black list и Разборки 1
V Схема заработка на SMM партнерках Способы заработка 1
G залью на сша, белоруссию Предоставляю работу. Ищу специалиста. 1
brigabos Как экономить на Яндекс.Директ, Google Ads и соц. сетях. Кешбеки и купоны. Другое 0
Janipai Схема заработка от 5$ в день на своем аккаунте инстаграм Способы заработка 5
X Есть тут кто с репой на ире? Свободное общение и флейм 2
U Нужны люди со всего мира на верифы Предоставляю работу. Ищу специалиста. 2
E Как сменить устройство на Tide? Вопросы и интересы 0
zladey1986 Продам Скрипт прием платежей p2p, card 2 card (с карты на карту) Все что не подошло по разделу 1
brigabos Простая схема как получить 133$ на рекламу в Google Ads (Adwords) Другое 0
S ✅ Промокоды на продвижение в Instagram, до 60% кешбек. Спам, рассылки, трафик, SEO 0
S ✅ АдминВПС. Промокод на скидку 60% - хостинг и VPS. Сайты/Хостинг/Сервера 1
I Ross CLOUD - Лучшее и самое БОЛЬШОЕ ОБЛАКО ЛОГОВ на рынке Ищу работу. Предлагаю свои услуги. 0
I Ross CLOUD - Лучшее и самое БОЛЬШОЕ ОБЛАКО ЛОГОВ на рынке Финансы - биллинги, банки, кошельки, логи 0
adflak Полный спектр услуг: Постинг на форумах \ Ссылки в подписях \ Разоблачение мошенников \ И многое другое! Ищу работу. Предлагаю свои услуги. 6
L Приглашаются дроповоды по ЕС на стабильную работу с высокой оплатой. Предоставляю работу. Ищу специалиста. 2
superman_ddos Service DDOS Attack/ДДОС Атака на заказ. Профессионалы к вашим услугам. Спам / Флуд / Ддос 2
U Интересно Нужны люди из Грузии, Украины и Снг на верифы Предоставляю работу. Ищу специалиста. 0
xoWells Схема на миллион. Забираем свои BTC у жертвы :) Обучения, схемы, мануалы 1
B Bitmoneyekb.com - Обмен криптовалюты на наличные МСК/ЕКБ Обменники 0
Khan Хакер из Бобруйска заработал полмиллиона долларов на брутфорс-атаках Новости в сети 0

Название темы