SparkURL: классификация миллиардов URL для Carnegie Mellon University
Разработали конвейер классификации миллиардов URL для Carnegie Mellon University: модель достигла accuracy 0,8845 и macro F1 0,8612.
Открыть проект Подбор агентства по задаче →
Задача
Для исследовательской работы Carnegie Mellon University требовалось находить покупки и переходы по рекламе в многолетней истории посещения сайтов. Исходные данные содержали сотни терабайт информации и миллиарды URL.
Решение
Подготовили экспертные правила разметки URL, извлекли признаки и обучили модель Spark MLlib. Обработка запускается в вычислительной среде SLURM на кластере Bridges-2 с 45 воркерами по 124 ядра. Результаты сохраняются в Parquet, агрегаты строятся в DuckDB для проверки оценок.
Результат
- 0,8845 Accuracy модели на валидационной выборке
- 0,8612 Macro F1 модели на валидационной выборке
- 45 Воркеров на кластере Bridges-2
- 124 Ядер на каждом воркере
Конвейер классифицирует миллиарды URL и формирует данные для исследования покупок и рекламных переходов. На валидационной выборке модель показала accuracy 0,8845 и macro F1 0,8612.
8 место в категории Университет → Разработка ПО
Похожие кейсы
Сайт и редизайн редактора презентаций Slider Ai за 2 месяца
Обновили сайт и редактор презентаций Slider Ai: скорость загрузки выросла в 4 раза, отказы снизились в 1,5 раза, а весь проект завершили за 2 месяца.
Платформа управления знаниями TEAMLY: 35 000+ пользователей и 235 компаний
Разработана платформа TEAMLY для управления знаниями, заменившая Confluence и Notion: более 235 компаний и 35 000+ пользователей.
За 2 недели мигрировали 20 000+ аккаунтов с Notion на российскую платформу TEAMLY
За 2 недели до блокировки Notion в России платформа TEAMLY помогла мигрировать более 20 000 аккаунтов, 90% переносов прошли успешно.
Сервис оценки и развития разработчиков
Создали открытый сервис и базу знаний для оценки навыков разработчиков по объективным критериям.
Мокапус — генератор анимированных трехмерных мокапов онлайн
Создали онлайн-генератор анимированных 3D-мокапов для презентации дизайна.
Приоритет: ребрендинг и комплексное сопровождение федеральной программы
Разработали цифровую платформу для программы «Приоритет 2030»: весь процесс от подачи заявок до выдачи грантов переведён в онлайн, а согласование изменений сократилось до недели.