Как мы очистили клиентскую базу из 500 000 записей за 3 часа

Задача

Требовалось быстро и качественно избавиться от дублирующих записей в клиентской базе, чтобы сделать её максимально чистой и избежать ошибок в аналитике и сегментации.

Решение

Разработан модуль для коробочных порталов Битрикс24, который ищет дубликаты по любым комбинациям полей (включая пользовательские) и автоматически объединяет их с переносом всех связанных сущностей (сделки, задачи, компании и др.). Алгоритм оптимизирован для больших баз: поиск по 500 000 записей занимает 2,5–3 часа. Результаты можно экспортировать в Excel или передавать во внешние системы, включая 1С.