Записки стареющего кодера

Проект Scrapers: Spider User_Agents

Список актуальных и популярных User-Agent для Desktop устройств (Linux, Windows, macOS, Mac OS X). Список конечно не полный, да он и создавался для использования через Requests в моих проектах. Данного количества вполне достаточно. Какие были нюансы при написании данного spider …

Проект Scrapers: Spider класс BaseSpider

Основная работа при создании spider’а, это метод parse, класса Spider, остальное, является вспомогательным. Некоторые свойства, методы решил вынести в базовый класс BaseSpider, чтобы не заниматься ‘copy-paste’, наследование в Python никто не отменял. Это сильно облегчило жизнь. Описывать долго тут …

Проект Scrapers

Затеял тут некий проект, дал ему, громкое наименование: Scrapers, парсеры сайтов, небольших интернет-магазинов, к таким монстрам как Ozon, WB, присматриваюсь. Думаю, скоро и ими займусь. Все это выкладываю на свой сервер, где под Docker работает Scrapyd — сервис для развертывания и …

BetExplore

Просматривая заказы на Хабр Фриланс, заинтересовала одна работа по извлечению данных (scraping) с BetExplorer.
Заказчик предложил структуру по которой он хотел бы видеть данные после scraping’а. Решил потратить некоторое время на это.
Вот что получилось:

https://cdn.suvorinov.ru …

Магазины Дикси

Поучаствовал как то я в маркетинговых исследованиях по торговой сети Дикси, в частности моя задача заключалась в
получении списка торговых точек сети. Посидев не которое время в интернете, поковырял сайты с помощью
инструментов веб-разработки, нашел подходящий вариант для парсинга. Получилось …

Список proxy servers

Представляю список бесплатных прокси-серверов, в формате JSON. Список совершенно бесплатен и обновляется каждые 30 минут.
Использование данного списока, возможно только для образовательных целей. Проверку работоспосбности прокси, представлю, в ближайшее время отдельным PyPi пакетом или функцией.

Скачать

curl https://cdn.suvorinov …

Пакет py-valid-proxy

Реализуя проекты с использованием web-scraping’a, некоторые запросы приходилось делать через прокси-сервера. Про получение списка свободных прокси напишу позже, готовлю отдельный пакет. Имея адрес прокси-сервера, перед запросом с его использованием, захотелось проверить его “живучесть”, схему по которой работает, время ответа …

Пакет py-random-useragent

Работая над одним из проектов, потребовалось сделать “web scraping” нескольких сайтов, один из необходимых элементов “web scraping`a”, это рандомизировать User-Agent в заголовке запроса. На Python много реализаций, выше указаного, решился на свою реализацию и заодно получить практику по созданию …

Генератор случайных паролей

Пример простого кода, основанного на модуле random, это библиотека для создания псевдо-случайных чисел, с довольно большим функционалом. В данном примере используется функция choice — которая возвращает случайный элемент из списка символов. В качестве источника символов, символы, которые можно ввести на клавиатуре …