Российские ученые измерили точность ИИ-моделей, которые применяют при разработке лекарств на основе антител

Учёные Центра практического искусственного интеллекта Сбербанка вместе с коллегами из Института AIRI представили SAASBench — открытый бенчмарк для оценки ИИ-моделей, которые используют при разработке лекарств на основе антител. Бенчмарк — это специальный набор тестов, на котором можно сравнить разные модели по единым правилам.

Антитела — белки иммунной системы, которые распознают определённые молекулы — антигены. На основе антител создают многие современные препараты, в том числе для лечения онкологических, аутоиммунных и инфекционных заболеваний. ИИ-модели применяют ещё до лабораторных экспериментов: они помогают выбрать наиболее перспективные варианты антител для дальнейшей проверки.

В этом смысле важно то, насколько сильно антитело связывается с белком. Эта характеристика называется аффинностью. Но кроме того, для будущего лекарства не менее важна специфичность — способность антитела связываться именно с нужным антигеном и не реагировать на похожие белки человека.

Именно специфичность проверяет SAASBench. В тест вошли 20 клинически одобренных антител. Для каждого из них модель получает шесть возможных мишеней: один правильный антиген и пять похожих белков человека. Задача ИИ — выбрать нужный. Всего исследователи сформировали 120 смоделированных комплексов «антитело — антиген».

Учёные протестировали с помощью SAASBench пять распространённых вычислительных подходов. Новый бенчмарк показал, что хорошие результаты в оценке аффинности — силы связывания антитела с антигеном — ещё не гарантируют такой же точности при выборе нужной мишени среди похожих белков. Таким образом, SAASBench выявляет качество ИИ-моделей, которое особенно важно при отборе потенциальных лекарств.

Сергей Рябов, старший управляющий директор, директор по ИИ-трансформации Сбербанка:

«Мы решили проверить искусственный интеллект на прагматичный вопрос: найдёт ли он среди нескольких похожих белков именно тот, с которым должно работать антитело. Для этого разработали SAASBench — инструмент для сравнения ИИ-моделей на ранних этапах создания антител. Он не заменяет лабораторию, но помогает отсеять ненадёжные вычислительные подходы. Умение связываться с белком и умение связываться с нужным белком — далеко не одно и то же. Если модель ошибается заранее, вся команда рискует впустую потратить ресурсы. SAASBench позволяет заметить проблему до того, как она ударит по бюджету».

Дмитрий Умеренков, старший научный сотрудник лаборатории «Сильный ИИ в медицине» Института AIRI:

«Специфичность антитела — это его способность связываться именно с нужной мишенью и не взаимодействовать с другими, похожими молекулами. Поэтому оценивать специфичность важно, ведь даже очень хорошо связывающееся антитело может оказаться непригодным, если оно цепляется за множество посторонних белков — это снижает точность диагностики, эффективность терапии и может повышать риск побочных эффектов. Наш бенчмарк помогает при проверке сгенерированных ИИ последовательностей антител на специфичносить и дает возможность ответить на вопрос о том, какие существующие инструменты стоить использовать, а какие нет. Это важно, чтобы повысить точность и надёжность оценки, своевременно отсеивать потенциально неспецифичные последовательности и тем самым сокращать число дорогостоящих экспериментов».

Научная работа опубликована в сборнике 32-й международной конференции ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’26), которая прошла в Республике Корея. Бенчмарк и данные исследования также опубликованы в открытом доступе.