У пользователей нейросети Сбера Kandinsky 2.2 появилась возможность создавать видеоролики по текстовому описанию в режиме анимации. По одному текстовому описанию генерируется 4-секундное видео c выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640x640 пикселей. Синтез одной секунды видео в среднем занимает около 20 секунд.

Генерация анимационных видеороликов работает в тестовом режиме и доступна самым активным пользователям Kandinsky 2.2, которые получат приглашение в ближайшее время. До конца года оценить новые возможности нейросети смогут абсолютно все. Те пользователи, которые хотят попробовать новые возможности модели сейчас, могут оставить заявку на получение доступа в Telegram-боте.

Для того чтобы сгенерировать видео в режиме анимации, нужно описать текстом то, что хочется увидеть. Далее бот предложит на выбор 16 вариантов анимации сцены, а после этого нейросеть сгенерирует анимированный видеоролик. Также доступна генерация составных сцен: пользователь может ввести несколько текстовых описаний (до трёх), затем выбрать для каждого свою механику анимации, а после этого модель создаст «мини-фильм».

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:

Основой для синтеза видео является модель генерации изображений по текстовым описаниям Kandinsky 2.2. Для расширения её возможностей были реализованы разные виды анимации изображений, что позволило перемещать объекты, приближать и отдалять их, оживлять статику всеми возможными способами. В основе всех режимов анимации лежат функции image2image (перерисовка изображения по текстовому описанию) и inpainting/outpainting (дорисовка части изображения внутри и за его пределами), которые уже были реализованы в базовой модели.

Нейросеть разработали и обучили исследователи Sber AI совместно с учёными из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

ПАО Сбербанк — один из крупнейших банков в России и один из ведущих глобальных финансовых институтов. На долю Сбербанка приходится около трети активов всего российского банковского сектора. Сбербанк является ключевым кредитором для национальной экономики и занимает одну из крупнейших долей на рынке вкладов. Основным акционером ПАО Сбербанк является Российская Федерация в лице Министерства финансов Российской Федерации, владеющая 50% уставного капитала ПАО Сбербанк плюс 1 голосующая акция. Оставшимися 50% минус 1 голосующая акция от уставного капитала банка владеют российские и международные инвесторы. Банк располагает обширной филиальной сетью в России: около 14 тысяч точек обслуживания. Генеральная лицензия Банка России на осуществление банковских операций № 1481 от 11.08.2015. Официальные сайты банка: www.sberbank.com (сайт Группы Сбербанк), www.sberbank.ru.