ETL и датавиз для Rusprofile: seo-аналитика на больших данных

Задача

Необходимо было разработать решение для анализа больших объёмов данных, которое позволит контролировать и повышать эффективность поискового продвижения сайта, избежав затрат на Метрику ПРО (от 300 тысяч рублей в месяц) из-за ограничений сэмплирования в Яндекс Метрике

Решение

Разработали ETL-систему и дашборд на Yandex DataLens с использованием ClickHouse для хранения данных, Airflow для оркестрации потоков данных и Jupyter Notebooks для работы с кодом. Спроектировали структуру датасета, создали коннекторы к Logs API Яндекс Метрики и API Топвизора, организовали многоуровневое хранение данных (tmp, raw, dwh-слои) для защиты от ошибок и ускорения работы дашборда, обогатили данные дополнительными срезами для гибкой сегментации и анализа