• 17 ноября, 2026

Эксперт Т1 рассказал, как внедрить ИИ, которому будут доверять пользователи

Чтобы пользователи доверяли ИИ-системе, поставщик должен доказать, что она стабильно выдает нужный результат и не выходит за заданные границы. Для финансовой отрасли такой доказательной базой может стать «паспорт доверия» — набор документов по результатам испытаний для конкретной версии, конфигурации и сценария использования модели. Об этом заявил заместитель руководителя направления «Искусственный интеллект» ИТ-холдинга Т1 Сергей Карпович на международном форуме Kazan Digital Week.

Паспорт доверия, по словам эксперта, состоит из четырех блоков. Первый описывает, какую бизнес-задачу решает система, кто ею пользуется, к каким данным и действиям у нее есть доступ. Не менее важно перечислить, чего система делать не должна: на какие запросы отказаться отвечать, когда передать диалог сотруднику, какие операции ей запрещены, даже если технически она может их выполнить. Еще до испытаний банк и поставщик договариваются об измеримых критериях допуска — качестве ответов, доле критических ошибок, устойчивости к атакам, скорости работы.

«Без исходных порогов протокол тестирования превращается в перечень наблюдений, по которому нельзя принять решение, запускать систему или нет», — отметил Сергей Карпович.

Второй блок раскрывает состав ИИ-системы: какая базовая модель используется и как ее дообучали, откуда берутся данные, какие внешние сервисы и инструменты задействованы и на каких условиях.

«Мы недавно строили идеальную ML-платформу для финансовой организации с учетом требований ИБ, этики и внутренних регламентов. Получилась сборка из почти 60 компонентов. Чтобы развернуть их в банке, нужно очень серьезно поработать с информационной безопасностью, департаментами эксплуатации и ИТ: объяснить происхождение всего компонентного состава, показать политику лицензирования и то, как он будет дорабатываться с учетом обновлений операционных систем и фреймворков», — подчеркнул Сергей Карпович.

Поставщик должен гарантировать, что компоненты будут поддерживаться и оставаться безопасными. Если каких-то сведений нет — например, разработчик базовой модели не раскрывает данные для обучения, — это нужно честно указать и компенсировать собственными проверками.

Третий блок — тестирование и приемка. Здесь важнее не пройти испытания, а зафиксировать ситуации, в которых система не дает нужного результата. Для этого ее проверяют на сложных и граничных случаях, под нагрузкой, имитируют атаки. При этом результаты действительны только для протестированной версии: новая модель, другой промпт или обновленная база знаний требуют повторной проверки.

Четвертый компонент паспорта доверия — доказанная безопасность архитектуры. Заказчик должен видеть, как данные проходят между системами, как работа системы контролируется и при необходимости отключается. Особенно важно это при запуске ИИ-агентов.

«У агентов появляются функции, которых раньше никогда не было, что автоматичсеки превращает их в точки создания уязвимостей внутри организации», — пояснил Сергей Карпович. Агент не должен получать больше прав, чем человек, от имени которого он действует.

«Доверие возникает тогда, когда пользователь понимает, при каких условиях система всегда воспроизводит нужный ему результат. Задача поставщика — дать клиенту доказательную базу, которая это позволяет. Если доказательства нельзя воспроизвести, это не доверенный ИИ, а система, которой просто решили поверить», — подытожил Карпович.

Похожие статьи

Объём кредитов среднему, крупному и крупнейшему бизнесу, выданных Сбером…

В ближайшие три года ИИ перестанет быть отдельной функцией и станет частью повседневных процессов банка и его клиентов.

ИИ-проект «Ингосстраха» IngoRead стал лауреатом премии «Лидеры страхового рынка»

«Ингосстрах» стал лауреатом премии Агентства страховых новостей «Лидеры страхового рынка» с проектом IngoRead — собственной разработкой компании на основе технологий искусственного…

Альфа-Деньги напрямую подключились к ЕБС и планируют провести 7…

​​​​​​Альфа-Деньги запустили прямую интеграцию с Единой биометрической системой (ЕБС) через её оператора — Центр биометрических технологий (ЦБТ).