Затеял тут некий проект, дал ему, громкое наименование: Scrapers, парсеры сайтов, небольших интернет-магазинов, к таким монстрам как Ozon, WB, присматриваюсь. Думаю, скоро и ими займусь. Все это выкладываю на свой сервер, где под Docker работает Scrapyd — сервис для развертывания и запуска Scrapy проектов. Кстати, сделал сам, образ под Docker, а не сам Scrapyd, подсмотрел конечно, не без этого. Доступ к результатам (данным) парсеров реализовал через собственный CDN, громкое название, а по сути отдаю статику через NGINX. Там есть некая описательная часть, каждого парсера и представлена структура данных. При написании новых парсеров (spider’ов) здесь, в блоге, буду описывать, решение проблем, нюансов при их реализации.
Read more: