Парсинг недвижимости для proptech стартапа

Задача

Сервису по поиску недвижимости требовалось постоянно собирать данные с сайтов конкурентов, включая квартиры, жилые комплексы и планировки, для предоставления актуальной информации пользователям.

Решение

Разработано Django-приложение, которое сегментированно обходит сайт-донор. Для извлечения контента из интерактивных элементов (попапы, карусели) использован Selenium, что также обошло защиту от парсинга. Собранные данные проходят обработку через рерайтер и переводчик: проводится перекрестная проверка языковых версий, заполнение пробелов переводом, а затем нейросеть переписывает чувствительные к авторскому праву тексты. В админ-панель добавлены фильтры и настройки, подготовлены гайды по развертыванию.