Продвинутый парсер цен сайтов конкурентов

Задача

Требовался инструмент для автоматического сбора и мониторинга цен поставщиков и конкурентов с возможностью работы по расписанию и обработки обрывов соединения.

Решение

Создан парсер, который работает по расписанию, поддерживает обрывы соединения и несколько попыток чтения. Позволяет добавлять несколько поставщиков или конкурентов в очередь заданий, экспортировать данные в Excel для сопоставления и импорта в 1С, а также выгружать прайс на указанную дату. Используется технология сокращения числа запросов и построения карты сайта за один хит, хранится история собранных цен.