Сбер представил первый в России бенчмарк Cowork Bench для оценки ИИ-агентов на офисных задачах

На конференции ГигаКонф для инженеров Сбер представил первый в России открытый русскоязычный бенчмарк — Cowork Bench, предназначенный для оценки качества выполнения офисных задач ИИ-агентами. Бенчмарк позволяет определить, какие рабочие процессы ИИ способен выполнять самостоятельно и насколько стабильно он с ними справляется. Разработкой платформы для создания и управления ИИ-агентами GigaCowork занимается российская ИТ-компания «Салют для бизнеса» (входит в экосистему Сбера).

Сowork Bench стал первым российским бенчмарком, ориентированным не на оценку ответов ИИ-моделей, а на способность агентов самостоятельно выполнять конкретные задачи от начала до конца: обрабатывать заявки клиентов, готовить отчёты, производить расчёты — без участия сотрудников.

Cowork Bench включает 475 сквозных офисных задач, охватывает 12 бизнес-функций и 26 корпоративных систем. В основу бенчмарка легли проверенные международные практики оценки ИИ-агентов, адаптированные под российский бизнес: сценарии учитывают реальные запросы отечественных компаний и их сотрудников и включают в себя работу с таблицами, документами, почтой, календарем, хранилищем данных, базой знаний и внутренними сервисами организаций. Например, одна из бизнес-задач агента – анализ бюджета: ему нужно сопоставить план-факт по четырём подразделениям, рассчитать отклонения, объяснить их причины, подготовить отчёт и презентацию, пересмотреть прогноз, отправить письма. Другая – организация командировки команды: отобрать сотрудников, подобрать билеты, посчитать бюджет, завести встречи в календарь.

Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка:

«На данный момент нет российских бенмарков-аналогов, которые оценивают способность ИИ-агентов выполнять офисные задачи от начала до конца, учитывая специфику компаний России — их корпоративные системы, сценарии и запросы. Cowork Bench — первый бенчмарк в таком классе, он помогает оценить, насколько хорошо агенты справляются с реальными рабочими процессами и какую их часть могут забрать на себя. И, главное, мы сделали его открытым для рынка: любой разработчик или компания может использовать Cowork Bench, чтобы проверить собственный harness и улучшить качество работы своих ИИ-агентов».

Для того чтобы оценить насколько окружение влияет на способность ИИ-агентов выполнять офисные задачи, разработчики GigaCowork сравнили девять решений на одной открытой модели, с одинаковыми задачами, данными и процедурой проверки. В сравнении участвовали восемь зарубежных инструментов — Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode, Strands baseline и российская платформа GigaCowork. Результаты показали, что выбор харнесса напрямую влияет на результат работы ИИ-агентов: доля успешно выполненных заданий варьируется от 62% до 80% в зависимости от обвязки, и в некоторых случаях разница доходит до 20% на одной большой языковой модели. GigaCowork справился с 75,2% задач, войдя в число лидеров сравнения. Лучше всего платформа показала себя при работе с объемными выгрузками, таблицами, документами Word и календарем.

Владимир Толмачев, генеральный директор «Салют для Бизнеса»:

«Существующие бенчмарки оценивают возможности моделей — знания, рассуждения, решение математических задач или написание кода. Эти оценки полезны, но сами по себе не показывают, сможет ли система подготовить квартальный анализ бюджета и довести результаты до ответственных руководителей. Такая задача требует найти исходные файлы, сопоставить данные, выполнить расчёты, создать документы, отправить письма. В офисной работе результат работы ИИ во многом зависит от программной оболочки, которая управляет контекстом, памятью, инструментами и интеграцией агентов с корпоративными системами. Поэтому бизнесу важно выбирать не просто «умную» модель с высокими показателями, а решение, которое лучше справляется с их конкретными рабочими задачами».