Vidu S2:全球领先的实时交互与编辑模型

Vidu S2-Avatar

实时交互模型

支持实时语音交互、复杂动作控制、结合参考图完成物品互动、服装更换、和背景切换

Vidu S2-Editing

实时编辑模型

基于风格、服装、主体及背景参考图,对输入视频流进行实时编辑

Vidu S2-Avatar:实时交互模型

Vidu S2-Avatar

支持语音对话,语音控制数字人做复杂动作,如跳舞

直播持品互动

实现根据指令与参考图中的物品互动,比如拿起来某指定物品做介绍,穿上参考图中的衣服,或将背景换成参考图中的背景

720P+ 高清输出

数字人支持720P+高清画质

离线数字人

高质量的离线数字人,按照预设内容读稿或者做动作

Vidu S2-Editing:实时编辑模型

风格渲染

根据风格参考图实时编辑视频风格,使视频画面流呈现不同美学质感

角色替换

根据主体参考图实时替换人物,实时替换原视频流中的人物

背景替换

根据背景参考图实时编辑视频背景,实时替换人物背景环境

虚拟换衣

根据服装参考图实时编辑人物服装,实时生成多样穿搭效果

热门案例

实时编辑-背景替换

风格迁移

实时编辑-角色替换

实时编辑-虚拟换衣

实时编辑-虚拟换衣

关于 Vidu S 的常见问题

1. Vidu S2是全球领先的实时交互模型,提供实时视频数字人(Vidu S2-Avatar)与实时视频编辑能力(Vidu S2-Editing)。 2. Vidu S2-Avatar 支持实时语音交互与复杂动作控制,可结合参考图完成物品互动、服装更换和背景切换等效果。 3. Vidu S2-Editing 支持基于风格、服装、主体及背景参考图,对输入视频流进行持续实时编辑。 4. Vidu S2 也支持异步生成方式:通过一张图和一段音频即可生成数字人视频。

1. 画质能力提升,从480P升级为支持720P 2. 指令遵循能力提升,支持语音指令控制数字人实现跳舞动作

1. Vidu S2-Avatar 是实时互动:数字人与用户实时对话,可打断、具备双向感知,提供从语音到渲染的全链路 2. Vidu S2-Editing 是流式视频编辑:持续接收视频流并实时输出编辑结果,可中途换参考图或切场景而不中断流

1. 在线数字人与用户实时对话,对话过程可随时打断、具备与用户互动的双向感知。 2. 离线数字人是指异步生成:一张角色图 + 一段音频(或文本)生成口型与动作对齐的说话视频

Vidu S2-Editing 支持摄像头、视频、图片三种输入模式,开启摄像头或选择对应的输入源后,即可基于风格、服装、主体或背景参考图,对输入的视频流进行实时编辑并输出结果。

用户可以在和数字人的互动直播过程中输入参考图和指令,参考图分为三类:物品、服装、背景。实现根据指令与参考图中的物品互动,比如拿起物品做介绍、穿上参考图中的衣服、背景替换。

您可以通过我们的 MaaS 平台接入:https://platform.vidu.com/vidu-stream/doc