支持语音对话,语音控制数字人做复杂动作,如跳舞
实现根据指令与参考图中的物品互动,比如拿起来某指定物品做介绍,穿上参考图中的衣服,或将背景换成参考图中的背景
数字人支持720P+高清画质
高质量的离线数字人,按照预设内容读稿或者做动作
根据风格参考图实时编辑视频风格,使视频画面流呈现不同美学质感
根据主体参考图实时替换人物,实时替换原视频流中的人物
根据背景参考图实时编辑视频背景,实时替换人物背景环境
根据服装参考图实时编辑人物服装,实时生成多样穿搭效果
1. Vidu S2是全球领先的实时交互模型,提供实时视频数字人(Vidu S2-Avatar)与实时视频编辑能力(Vidu S2-Editing)。 2. Vidu S2-Avatar 支持实时语音交互与复杂动作控制,可结合参考图完成物品互动、服装更换和背景切换等效果。 3. Vidu S2-Editing 支持基于风格、服装、主体及背景参考图,对输入视频流进行持续实时编辑。 4. Vidu S2 也支持异步生成方式:通过一张图和一段音频即可生成数字人视频。
1. 画质能力提升,从480P升级为支持720P 2. 指令遵循能力提升,支持语音指令控制数字人实现跳舞动作
1. Vidu S2-Avatar 是实时互动:数字人与用户实时对话,可打断、具备双向感知,提供从语音到渲染的全链路 2. Vidu S2-Editing 是流式视频编辑:持续接收视频流并实时输出编辑结果,可中途换参考图或切场景而不中断流
1. 在线数字人与用户实时对话,对话过程可随时打断、具备与用户互动的双向感知。 2. 离线数字人是指异步生成:一张角色图 + 一段音频(或文本)生成口型与动作对齐的说话视频
Vidu S2-Editing 支持摄像头、视频、图片三种输入模式,开启摄像头或选择对应的输入源后,即可基于风格、服装、主体或背景参考图,对输入的视频流进行实时编辑并输出结果。
用户可以在和数字人的互动直播过程中输入参考图和指令,参考图分为三类:物品、服装、背景。实现根据指令与参考图中的物品互动,比如拿起物品做介绍、穿上参考图中的衣服、背景替换。
您可以通过我们的 MaaS 平台接入:https://platform.vidu.com/vidu-stream/doc