Сбер выпустил открытые токенизаторы — базовые компоненты для создания моделей генерации изображений и видео

Команда Kandinsky выложила в открытый доступ KVAE-2.0 — семейство токенизаторов для диффузионных моделей генерации изображений и видео. Это базовые компоненты для создания современных моделей искусственного интеллекта, которые умеют генерировать картинки и ролики.

С новым решением можно сжимать видео до четырёх раз сильнее по сравнению с предыдущей версией, при этом качество восстановления изображения становится только лучше. Для разработчиков и исследователей это означает, что обучение диффузионных моделей ускоряется на порядок, сами ИИ-решения работают качественнее, а требования к вычислительной инфраструктуре снижаются.

По ключевым метрикам качества KVAE-2.0 опережает аналоги от Tencent и Alibaba — одни из крупнейших игроков в генеративном ИИ. Решение распространяется под открытой лицензией MIT, его можно использовать в исследовательских задачах и коммерческих проектах.

Денис Димитров, руководитель проекта Kandinsky, управляющий директор по исследованию данных Сбера:

«С KVAE-2.0 качественная видеогенерация стала доступнее для всех: стартапов, университетов, независимых разработчиков. Решение позволяет обучать модели генерации видео с нуля в разы быстрее и дешевле, не зависеть от зарубежных токенизаторов, достигая при этом лучших результатов по качеству. Это открывает новые сценарии — от генерации рекламных роликов с точными логотипами и текстом до учебных материалов с чёткими визуальными деталями. Все модели линейки — в открытом доступе. Это даёт инженерам и исследователям по всему миру возможность использовать их в своих разработках и стимулирует рост открытой экосистемы отечественных технологий».

Токенизаторы преобразуют изображения и видео в компактный числовой код (так называемые латентные представления), с которым работают генеративные модели, такие как Kandinsky. От структуры этого представления напрямую зависят вычислительные затраты на обучение генеративной модели и её итоговое качество.

Ключевое преимущество KVAE-2.0 — в фокусе на создании семантически устойчивых представлений — специальных кодов, точно и стабильно отражающих смысл изображения. Они лучше сохраняют значимые элементы сцены, такие как текст, лица и структурные объекты. Это критично для работы основной генеративной модели в прикладных сценариях — от генерации рекламных материалов до образовательного контента. Модели KVAE-2.0 дополнительно обучили работе с русским текстом в кадре, в этих сценариях их качество значительно выше аналогов.