Как мы ускорили импорт 500 тысяч записей до минуты и сохранили p99 API ниже 50 мс

Задача

Продукт регулярно получал крупные каталоги из нескольких внешних источников с разными форматами и неполными данными. Импорт был частью основного процесса, но последовательная обработка приводила к росту времени, потребления памяти и конкуренции с пользовательскими запросами.

Решение

Спроектировали отдельный контур обработки данных: потоковое чтение файла, параллельная нормализация и сопоставление записей, массовая загрузка через COPY в staging-таблицы и атомарная публикация после проверок. Добавили наблюдаемость через Prometheus и Grafana, автоматическое восстановление и идемпотентные повторные запуски.