BetExplorer
Олег Суворинов, опубликовано Ср 03 апреля 2024 14:00Просматривая заказы на Хабр Фриланс, заинтересовала одна работа по извлечению данных (scraping) с BetExplorer. Заказчик предложил структуру по которой он хотел бы видеть данные после scraping’а. Решил потратить некоторое время на это. Вот что получилось:
Список proxy servers
Олег Суворинов, опубликовано Ср 24 января 2024 13:00Представляю список бесплатных прокси-серверов, в формате JSON. Адреса прокси ‘scrapped’ с Free Proxy List, Srape-It. Список совершенно бесплатен и обновляется каждые 30 минут. Использование данного списока, возможно только для образовательных целей.
Для проверки работоспосбности прокси, можно использовать PyPi пакет py-valid-proxy …
Пакет py-valid-proxy
Олег Суворинов, опубликовано Чт 23 ноября 2023 10:00Реализуя проекты с использованием web-scraping’a, некоторые запросы приходилось делать через прокси-сервера. Про получение списка свободных прокси напишу позже, готовлю отдельный пакет. Имея адрес прокси-сервера, перед запросом с его использованием, захотелось проверить его “живучесть”, схему по которой работает, время ответа …
Пакет py-random-useragent
Олег Суворинов, опубликовано Чт 08 июня 2023 10:00Работая над одним из проектов, потребовалось сделать “web scraping” нескольких сайтов, один из необходимых элементов “web scraping`a”, это рандомизировать User-Agent в заголовке запроса. На Python много реализаций, выше указаного, решился на свою реализацию и заодно получить практику по созданию …
Генератор случайных паролей
Олег Суворинов, опубликовано Вс 25 июля 2021 20:00Пример простого кода, основанного на модуле random, это библиотека для создания псевдо-случайных чисел, с довольно большим функционалом. В данном примере используется функция choice — которая возвращает случайный элемент из списка символов. В качестве источника символов, символы, которые можно ввести на клавиатуре …