Российские учёные создали инструмент для проверки данных перед обучением ИИ-моделей

Учёные Центра практического искусственного интеллекта Сбербанка и Института AIRI представили SplitLight — открытый инструмент для диагностики данных перед обучением и сравнением рекомендательных моделей. Научная статья была представлена на ACM SIGIR 2026 — ведущей международной конференции уровня A*.

Рекомендательные системы стали неотъемлемой частью цифровой экосистемы: их применяют как в электронной коммерции и видеосервисах, так и в контентных платформах и приложениях для потребителей. Именно на основе экспериментов компании решают, какие модели отправлять в разработку, а затем и в продукт. Но если данные для обучения ИИ подготовлены неаккуратно или условия эксперимента расходятся с реальной жизнью, команда рискует выбрать неподходящее решение и потратить ресурсы впустую. SplitLight снижает этот риск — он позволяет заранее проверить данные и оценить, насколько результаты эксперимента применимы на практике. Инструмент свободно доступен для использования и может применяться в двух режимах: библиотека на Python для разработчиков и интерактивный веб-интерфейс, не требующий кода.

Главная задача SplitLight — сделать невидимое видимым. Сбои в логировании, сдвинутые временные метки, дублирующиеся события — такие дефекты часто остаются незамеченными, но способны серьёзно исказить итоговые метрики. Инструмент обнаруживает аномалии и позволяет исправить ошибки подготовки данных ещё до запуска эксперимента.

Вторая задача, которую решает SplitLight, — несопоставимость результатов между разными исследованиями. Две команды могут работать с одним датасетом, но из-за различий в фильтрации, агрегации или разбиении приходить к противоположным выводам. SplitLight даёт возможность зафиксировать ключевые статистики выбранного подхода, чтобы в будущем эксперименты можно было воспроизводить и корректно сопоставлять с другими работами.

Третий важный аспект — проверка на реалистичность. Инструмент помогает понять, не попали ли в обучающую выборку данные из будущего, учтены ли новые пользователи и объекты, насколько сильно различаются тренировочные и валидационные срезы. Если эти детали упущены, блестящий результат на тесте может рассыпаться в реальной эксплуатации.

Сразу увидеть общую картину качества данных можно, используя сводный дашборд с детальными статистиками.

Команда проекта во главе с исполнительным директором по исследованию данных Центра практического ИИ Сбербанка Алексея Васильева протестировала SplitLight на шести популярных открытых датасетах и наглядно показала: даже незначительные изменения в разбиении способны заметно повлиять на метрики и трактовку качества модели.

Сергей Рябов, старший управляющий директор, директор по AI-трансформации Сбербанка:

«SplitLight позволяет специалистам детально изучить данные и заранее выявить скрытые искажения. Для продуктовых команд в маркетплейсах, стримингах и медиа — это надёжная защита перед дорогими экспериментами: быстрая проверка данных, выбор корректного сплита и подтверждение, что тест приближен к реальности. Это снижает риск внедрения моделей, эффективных лишь на бумаге. Исследовательским группам SplitLight упрощает документирование, воспроизводимость и сравнение с публикациями, а также позволяет анализировать сторонние датасеты для корректной оценки своих решений».

Исходный код библиотеки SplitLight доступен на российской платформе для командной разработки GitVerse, а также на GitHub.