Записки стареющего кодера

Магазины Дикси
Олег Суворинов, опубликовано Сб 04 мая 2024 13:00

Поучаствовал как то я в маркетинговых исследованиях по торговой сети Дикси, в частности моя задача заключалась в
получении списка торговых точек сети. Посидев не которое время в интернете, поковырял сайты с помощью
инструментов веб-разработки, нашел подходящий вариант для парсинга. Получилось …

Читать 1 мин
BetExplorer
Олег Суворинов, опубликовано Ср 03 апреля 2024 14:00

Просматривая заказы на Хабр Фриланс, заинтересовала одна работа по извлечению данных (scraping) с BetExplorer. Заказчик предложил структуру по которой он хотел бы видеть данные после scraping’а. Решил потратить некоторое время на это. Вот что получилось:

https://cdn.suvorinov.ru …

Читать 1 мин
Список proxy servers
Олег Суворинов, опубликовано Ср 24 января 2024 13:00

Представляю список бесплатных прокси-серверов, в формате JSON. Список совершенно бесплатен и обновляется каждые 30 минут.
Использование данного списока, возможно только для образовательных целей.
Для проверки работоспосбности прокси, можно использовать PyPi пакет py-valid-proxy.
Он прост в использовании и легко интегрируется с …

Читать 1 мин
Пакет py-valid-proxy
Олег Суворинов, опубликовано Чт 23 ноября 2023 10:00

Реализуя проекты с использованием web-scraping’a, некоторые запросы приходилось делать через прокси-сервера. Про получение списка свободных прокси напишу позже, готовлю отдельный пакет. Имея адрес прокси-сервера, перед запросом с его использованием, захотелось проверить его “живучесть”, схему по которой работает, время ответа …

Читать 2 мин
Пакет py-random-useragent
Олег Суворинов, опубликовано Чт 08 июня 2023 10:00

Работая над одним из проектов, потребовалось сделать “web scraping” нескольких сайтов, один из необходимых элементов “web scraping`a”, это рандомизировать User-Agent в заголовке запроса. На Python много реализаций, выше указаного, решился на свою реализацию и заодно получить практику по созданию …

Читать 1 мин
Генератор случайных паролей
Олег Суворинов, опубликовано Вс 25 июля 2021 20:00

Пример простого кода, основанного на модуле random, это библиотека для создания псевдо-случайных чисел, с довольно большим функционалом. В данном примере используется функция choice — которая возвращает случайный элемент из списка символов. В качестве источника символов, символы, которые можно ввести на клавиатуре …

Читать 1 мин