Российские учёные нашли способ оптимизировать работу моделей искусственного интеллекта

Человек общается с ИИ-помощником, и тот помнит детали разговора месячной давности и не путается в фактах, а компания при этом не тратит состояние на вычислительные ресурсы. Исследователи Центра практического искусственного интеллекта Сбербанка в сотрудничестве с учёными Института AIRI и Сколтеха нашли способ определять тот самый момент, когда нейросеть при экономии памяти начинает терять смысл. Этот метод лёг в основу научной статьи, представленной на международной конференции EACL 2026 в Марокко. Разработчики применили новый метод при обновлении ИИ-помощника ГигаЧат: теперь он запоминает ключевые факты о пользователе и использует их в дальнейшем общении – делая взаимодействие более естественным и персонализированным.

Современные ИИ-модели умеют рассуждать уже почти как человек, но с памятью часто возникают вопросы. Стандартный подход — просто вложить в контекст нейросети всю историю переписки или кипу документов. Это работает до тех пор, пока текстов мало. Как только контекст достигает определённого размера, могут возникать несоответствия ответам желанным. Модель помнит начало и конец, но теряет то, что было в середине. Учёные называют это эффектом Lost in the Middle. К тому же обработка миллионов токенов требует большого объёма видеопамяти.

Эффективным методом обработки больших объёмов данных является сжатие информации с последующим переводом в векторные представления. Данный подход позволяет минимизировать потребление вычислительных ресурсов. Критическим ограничением метода выступает риск необратимого искажения данных при превышении пороговых значений сжатия — феномен, определенный как переполнение токенов (token overflow).

Российские исследователи предложили инструмент для борьбы с этой проблемой. Они создали лёгкий обучаемый классификатор, который работает как детектор качества. Он проверяет сжатые токены ещё до того, как они попадут в большую языковую модель. Если классификатор видит, что смысл нарушен, он не пропускает испорченный контекст дальше. И тогда система может подставить оригинальный несжатый текст или поискать свежие документы. В любом случае, некорректные данные не уйдут в генерацию, пользователь не получит недостоверный ответ, а компания не потратит лишних средств на вычисления.

Для бизнеса, который встраивает ИИ-модели в свои корпоративные поисковики, ассистентов или боты поддержки, это прямая экономия. Учёным исследование даёт строгую методологию: теперь понятно, где проходит граница сжимаемости текста и как отследить момент переполнения токенов. В обществе же это повышает доверие к технологиям и популярность ИИ-помощников.  Например, разработчики применили метод при обновлении флагманской модели Сбера GigaChat Ultra – она научилась запоминать факты о пользователе и использовать их для дальнейшей персонализации общения. Это делает взаимодействие более естественным и комфортным.

Николай Тиден, директор Центра практического искусственного интеллекта Сбербанка:

«Представьте, что нужно пересказать итоги трёхчасового стратегического совещания парой фраз. Ключевые тезисы вы выделите, но высок риск упустить критически важные нюансы или исказить смысл. Так же работает механизм сжатия контекста в языковых моделях. Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестаёт быть оптимизацией и ведёт к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надёжности искусственного интеллекта — сокращение издержек и повышение точности принятия решений».