Записки стареющего кодера

Проект Scrapers: Spider User_Agents

Список актуальных и популярных User-Agent для Desktop устройств (Linux, Windows, macOS, Mac OS X). Список конечно не полный, да он и создавался для использования через Requests в моих проектах. Данного количества вполне достаточно. Какие были нюансы при написании данного spider …

Проект Scrapers: Spider класс BaseSpider

Основная работа при создании spider’а, это метод parse, класса Spider, остальное, является вспомогательным. Некоторые свойства, методы решил вынести в базовый класс BaseSpider, чтобы не заниматься ‘copy-paste’, наследование в Python никто не отменял. Это сильно облегчило жизнь. Описывать долго тут …

Проект Scrapers

Затеял тут некий проект, дал ему, громкое наименование: Scrapers, парсеры сайтов, небольших интернет-магазинов, к таким монстрам как Ozon, WB, присматриваюсь. Думаю, скоро и ими займусь. Все это выкладываю на свой сервер, где под Docker работает Scrapyd — сервис для развертывания и …

BetExplore

Просматривая заказы на Хабр Фриланс, заинтересовала одна работа по извлечению данных (scraping) с BetExplorer.
Заказчик предложил структуру по которой он хотел бы видеть данные после scraping’а. Решил потратить некоторое время на это.
Вот что получилось:

https://cdn.suvorinov.ru …

Магазины Дикси

Поучаствовал как то я в маркетинговых исследованиях по торговой сети Дикси, в частности моя задача заключалась в
получении списка торговых точек сети. Посидев не которое время в интернете, поковырял сайты с помощью
инструментов веб-разработки, нашел подходящий вариант для парсинга. Получилось …

Список proxy servers

Представляю список бесплатных прокси-серверов, в формате JSON. Список совершенно бесплатен и обновляется каждые 30 минут.
Использование данного списока, возможно только для образовательных целей. Проверку работоспосбности прокси, представлю, в ближайшее время отдельным PyPi пакетом или функцией.

Скачать

curl https://cdn.suvorinov …