Работая над одним из проектов, потребовалось сделать “web scraping” нескольких сайтов, один из необходимых элементов “web scraping`a”, это рандомизировать User-Agent в заголовке запроса. На Python много реализаций, выше указаного, решился на свою реализацию и заодно получить практику по созданию пакетов для PyPI. Инструментов по созданию пакетов достаточно, но как было написано в одном из постов на Хабр: “Можно быть прогрессивным и использовать poetry.” Выступаю за прогресс, использовал poetry. За основу использую список User-Agent.
Вот что получилось:
Установить
pip install py-random-useragent
Использовать
>>> from py_random_useragent import UserAgent
>>> ua = UserAgent().get_ua()
>>> print(ua)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.4.1 Safari/605.1.15
Read more: