Пишем парсер на Python - грабим Proxy ч.1

Forevonly

Pro Member
Сообщения
599
Реакции
601
Посетить сайт
Конечно же все вы когда-нибудь пользовались прокси, и сегодня мы научимся делать парсер для добычи оных.


Прокси-сервер — промежуточный сервер, позволяющий замаскировать собственное местоположение.

Парсер - это программа, которая автоматизирует сбор информации с заданных ресурсов.



Приступим:

Для начала мы накидаем такую конструкцию

Код:
import requests
from bs4 import BeautifulSoup


if __name__ == '__main__':
    main()

Модуль requests нужен для обращения к серверу, BeautifulSoup анализирует html код, и последняя запись это точка входа в главную функцию main() которую мы напишем в самом конце программы.



Далее создадим функцию get_html которая принимает аргумент site. Переменная r обращается к requests методом get и получает чтение site. Функция возвращает r выведенную в текст.


Код:
def get_html(site):
    r = requests.get(site)
    return r.text
Далее создаём вторую функцию get_page_data для получения данных со страницы html. Эти сырые данные попадают в переменную soup. Обрабатывает данные BeautifulSoup, принимая код html. И в качестве парсера указываем 'lxml.

Код:
def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')

Добывать прокси мы будем с

Авторизируйтесь или Зарегистрируйтесь что бы просматривать ссылки.

поэтому заходим по этому адресу, открываем инструменты разработчика кнопкой F12. Удобнее всего, на мой взгляд реализовано в ГуглХром. Кому-то нравится в лисе, но это не так важно. Наша задача определить в исходном коде, где находятся нужные нам строки.



В исходнике мы видим что proxy заключены в таблицу, и у этой таблицы есть id 'theProxyList'


Внутри таблицы находится тег tbody


А внутри тега tbody есть теги tr при наведении на которые выделяется строка (линия) с нужными данными.


Значит чтобы спарсить эту линию добавим в нашу функцию такую строку



Код:
line = soup.find('table', id='theProxyList').find('tbody').find_all('tr')
# Ищем с помощью find 'tbody' и с помощью find_all все 'tr'

Прекрасно, начало есть. Но это ещё не всё друзья, не так быстро дела делаются.

В функцию get_page_data теперь добавим цикл, в котором мы будем обращаться по индексу к нужным данным. Дата и время проверки не будем парсить, так как это не такая нужная информация. Остальное преобразуем в текст с помощью text

Код:
for tr in line:
        td = tr.find_all('td')
        ip = td[1].text
        port = td[2].text
        country = td[3].text
        anonym = td[4].text
        types = td[5].text
        time = td[6].text

Теперь полученные данные запишем в словарь

Код:
      data = {'ip': ip,
                'Порт': port,
                'Страна': country,
                'Анонимность': anonym,
                'Тип': types,
                'Время отклика': time}

И выведем на печать print(data).



Осталось написать главную функцию, в ней мы принимаем url сайта, и по цепочке идёт обработка предыдущими функциями.

Код:
def main():
    url = 'http://foxtools.ru/Proxy'
    get_page_data(get_html(url))

Наконец-то запускаем скрипт и видим следующую картину:


Данные успешно спарсились, но картинка не такая как хотелось бы. Присутствует куча мусора в виде \xa0, \r\n, \r\n\t\t\t\t\t

Значит будем от него избавляться. С помощью replace удалим всё лишнее, и для этого поправим наш цикл



Код:
    for tr in line:
        td = tr.find_all('td')
        ip = td[1].text
        port = td[2].text
        country = td[3].text.replace('\xa0', '')
        anonym = td[4].text.replace('\r\n        ', '')
        types = td[5].text.replace('\r\n\t\t\t\t\t', '').replace('\r\n        ', '')
        time = td[6].text

Запускаем по новой - другое дело, уже всё читабельно.


Исходник:

Код:
import requests
from bs4 import BeautifulSoup


def get_html(site):
    r = requests.get(site)
    return r.text


def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')
    line = soup.find('table', id='theProxyList').find('tbody').find_all('tr')

    for tr in line:
        td = tr.find_all('td')
        ip = td[1].text
        port = td[2].text
        country = td[3].text.replace('\xa0', '')
        anonym = td[4].text.replace('\r\n        ', '')
        types = td[5].text.replace('\r\n\t\t\t\t\t', '').replace('\r\n        ', '')
        time = td[6].text

        data = {'ip': ip,
                'Порт': port,
                'Страна': country,
                'Анонимность': anonym,
                'Тип': types,
                'Время отклика': time}

        print(data)


def main():
    url = 'http://foxtools.ru/Proxy'
    get_page_data(get_html(url))


if __name__ == '__main__':
    main()

Ну вот мы и научились некоторым приёмам парсинга страниц. В следующей статье мы продолжим работать с этим парсером и добавим функционал.

До встречи! ;)
 
  • Like
Реакции: blev
Название темы
Автор Заголовок Раздел Ответы Дата
Forevonly Пишем парсер на Python - грабим Proxy ч.2 Бруты/Парсеры/Чекеры 0
LightMan Интересно C# - Пишем Watchdog (Модуль защиты вашего трояна) .NET 1
K Интересно [Roman Akhromieiev] Telegram. Пишем ботов на Node JS и Telegraf (2020) Другое 1
Daniel01 Пишем малютку для скана сайта Софт от наших юзеров 6
АнАлЬнАя ЧуПаКаБрА Интересно Пишем брут на любой(почти) банк [OFX] Другие ЯП 1
shellest Пишем свой перехватчик СМС Android Другие ЯП 2
T0pDro4eR Пишем WinLocker на Delphi С/C++ 0
NikitaBoom Пишем отзывы и получаем от 200 рублей в день. Способы заработка 12
Forevonly Пишем скрипт для работы с VirusTotal-ом Полезные статьи 0
Forevonly Пишем шифровальщик на python Полезные статьи 0
Traven Пишем спамер Telegram, на Python Другое 0
Traven Пишем свой стиллер на Python Другие ЯП 4
Traven WinLocker на python. Пишем вирус. Другое 0
VLAD1337 Пишем переносной кейлоггер на C++ Полезные статьи 1
OUTCAST Пишем стиллер на Batch Вирусология 15
AngelOfLove Delphi для начинающих – Урок 6 – Пишем свой калькулятор С/C++ 0
eceNin [PHP] Пишем свой движок 2.0 Другие ЯП 0
Glods Пишем многопоточный Brute С/C++ 0
rif009 Пишем билдер C# вариант 1 .NET 2
АнАлЬнАя ЧуПаКаБрА INLINE Переписанный приватный парсер номеров [1 из 13] Проекты Private Keeper 1
E VkSearch — бесплатный парсер пользователей ВК Бруты/Парсеры/Чекеры 1
W SQL Hunter1.2 (парсер для Google и поиск уязвимостей sql) Spam/DDOS/Malware 12
mcaff Создать софт парсер Свободное общение и флейм 2
АнАлЬнАя ЧуПаКаБрА VkSearch — бесплатный парсер пользователей ВК Бруты/Парсеры/Чекеры 3
Khan Хакер из Бобруйска заработал полмиллиона долларов на брутфорс-атаках Новости в сети 0
B Заливы на карты Предоставляю работу. Ищу специалиста. 0
D Оптовый взлом почты на заказ (цена 20$) Взлом почты Mail.ru Yandex.ru Rambler.ru Ищу работу. Предлагаю свои услуги. 0
Ricardo Milos Продам Сим-карты на физ лиц | МТС | Мегафон | Билайн | Tele2 | Yota | Ростелеком | AIVA Финансы - биллинги, банки, кошельки, логи 0
H Заработок на арбитраже трафика в своем сообществе Вконтакте в 2021м году Способы заработка 0
H 1000$ на продаже сообществ (2021) Способы заработка 0
H Первые деньги на Авито без вложений (2021) Способы заработка 0
H 5000 р в день на трафике (2021) Способы заработка 0
K HASH Bhf.io Дамп на 19gb Раздача email 0
Р Интересно 1000 рублей на Delivery Club HONOR 10X Lite или HUAWEI P smart Способы заработка 0
NickelBlack MIX 587k на btc Раздача email 0
K Актуализируем / прочекаем Ваши телефонные базы на валид Пробив информации/Прозвоны 0
SamBonus ❗️Фотодропы. Фото шаблоны для отрисовки. Идеальное качество, любые комплекты на заказ. Ищу работу. Предлагаю свои услуги. 0
AnanasOfficial Реклама на теневых форумах. Ищу работу. Предлагаю свои услуги. 0
Р Интересно 100 руб на мобильник(нужны сканы) Другое 0
Z Продам лью на германию Финансы - биллинги, банки, кошельки, логи 1
zheka424 Заработок на партнерке банков от 2 000 руб Способы заработка 1
K Софт для наркутки на прямые трансляции youtube + чекер логов Продажа софта 0
B Обмен биткоинов на наличные в Москве Bitkov.net Обменники 0
Р Интересно Бесплатно отправляем СМС на любой номер Другое 2
lisan Чекну ваши базы, на свой банк 50/50 (Brute/Checker) Предоставляю работу. Ищу специалиста. 2
L Продам лью на юр счета украины Финансы - биллинги, банки, кошельки, логи 0
J нужны люди на доставку документов Предоставляю работу. Ищу специалиста. 0
T Дедик на 1 год от Alibaba Раздача dedic/ssh/proxy 0
Y Продам залью на xoom Финансы - биллинги, банки, кошельки, логи 0
A Как зарабатывать от 10$ на просмотре почты!!! Способы заработка 6

Название темы