OROpenRealtime
角色资源文档
对话记录

还没有对话记录

OROpenRealtime
角色资源文档
对话记录

还没有对话记录

让对话拥有形象:OpenRealtime 数字人

可选:添加数字人 · 正文语言: 中文

文档目录
全部文档开发与扩展产品功能架构与可替换模块开发与扩展系统架构与消息流程开发与扩展文档与发布边界认识产品与开始使用认识 OpenRealtime知识、工具与记忆用产品资料配置语音助手认识产品与开始使用首页使用指南定制语音 Agent角色配置指南知识、工具与记忆知识库使用指南知识、工具与记忆记忆与会话历史知识、工具与记忆工具权限设置知识、工具与记忆知识与记忆管理指南定制语音 Agent成本与服务选型可选:添加数字人数字人驱动方案可选:添加数字人动作编排使用指南部署与维护本地启动与排错定制语音 Agent连接真实语音与模型服务部署与维护自行部署指南部署与维护前后端分离部署部署与维护可靠性与运维开发与扩展模块化话轮协调器开发与扩展判停与打断插件合约开发与扩展语音 Pipeline 与插件接口开发与扩展知识库选型与接入方案接入你的 Agent接入自己的 Chat Agent

上传一张人物图片,为它准备自然的动作,再赋予声音与性格,一个可以与你对话的数字人就有了起点。它可以是网站里的讲解员、随时回应的助手,也可以是陪你聊天的虚拟角色。

OpenRealtime 将人物形象、动作素材和实时语音放在同一套体验中。你可以使用云端数字人服务,获得实时的人物表现;也可以复用自己的图片与动作,通过本地口型合成完成对话。不同场景对真实感、成本和部署方式的要求不同,这篇指南帮你找到适合自己的方案。

在 OpenRealtime 中,你可以做什么

从人物准备到开始对话,数字人模块提供了一条连贯的使用路径:

  • 创建与管理形象。 保存人物图片,在资产库中管理自己的数字人。
  • 为人物制作动作。 通过图片与动作参数,或图片与驱动视频,生成并预览动作素材。
  • 用图片或动作开始对话。 图片可以作为口型合成的基础;已有动作可以在说话时复用,让人物更有动态表现。
  • 连接云端实时形象。 已支持 Anam 实时数字人,配合 OpenRealtime 的语音对话使用。
  • 赋予角色性格。 为数字人关联 Persona,让形象与对话风格相互配合。

当前已提供 Anam 托管播放与本地 Wav2Lip 口型合成。下文同时介绍其他可供选型的服务和模型;独立的“轻量动作模式”正在规划中。

三种方案,满足不同需求

方案你会获得什么适合谁
端到端实时驱动通过 API 获得实时口型、表情与人物画面重视真人说话体验,希望快速上线、减少模型维护
多段式合成自己选择图片、动作与口型模型,控制人物表现希望自部署、复用素材,有一定开发与算力条件
预生成动作编排播放预先准备的待机与讲话动作,无需实时口型推理预算优先、没有专用 GPU,可接受非精确口型

一、端到端实时驱动:把人物表现交给云端

你提供人物与对话内容,云服务负责生成实时数字人画面。无需自行部署视频模型,便能为产品加入说话、表情和动作,适合客服接待、产品讲解和重视真人表现的互动场景。

Anam 和 HeyGen 的 LiveAvatar 是这一类的代表。它们减少了模型部署和媒体处理的工作,但会持续产生会话费用。选择时,除了观看人物效果,也要比较分钟额度、并发数量和单次会话时长。

Anam:已接入 OpenRealtime

Anam 支持实时数字人对话,也允许接入自己的语音与对话系统。OpenRealtime 使用其人物视觉能力,将对话回复呈现为实时数字人画面。

付费套餐从 $12/月起,包含 50 分钟会话;也提供免费体验额度。费用按整个会话时长计算,包含倾听和静默时间。详细套餐见文末价格附录。Anam 官方定价

HeyGen LiveAvatar:实时服务选型参考

LiveAvatar 是 HeyGen 的实时数字人产品,与生成成片的 HeyGen 视频 API 分开计费。它提供两种使用方式:FULL 包含对话与语音链路,LITE 用于接入自己的对话和语音系统。了解两种模式

付费套餐从 $19/月起,包含 100 分钟 FULL 或 200 分钟 LITE 用量。LiveAvatar 作为选型参考介绍,尚未接入当前页面的正式播放流程;详细套餐见文末价格附录。LiveAvatar 官方价格

Tavus、D-ID、Simli 和 LemonSlice 也提供相关实时服务,可作为不同画风、预算与集成需求的候选。

二、多段式合成:让人物按你的方式动起来

多段式合成将人物画面、动作和口型分别处理。你可以先准备好形象和动作,在每次回答时用新的语音驱动嘴部。这种方式便于复用素材,也为自部署和效果调整留下了空间。

按人物画面的驱动方式,可以进一步分为三类。

图片驱动 + 口型对齐

从一张照片开始,让人物开口说话。

人物图片提供外观,语音生成对应嘴形,再合成为说话画面。照片播报、简单导览和静态人像助手,都可以采用这一方式。Wav2Lip、MuseTalk 是常见的口型模型。Wav2Lip、MuseTalk

它的素材门槛较低:不必先拍摄或生成动作视频。不过,固定图片主要依靠嘴部变化表达说话,长时间近景交流时,人物的动态会比较有限。

**适合你:**希望先用一张图片体验数字人,再逐步增加动作。OpenRealtime 已支持图片作为本地口型合成的基础。

动作驱动 + 口型对齐

保留自然的身体与头部动作,让人物说出新的内容。

提前录制或生成一段人物视频,保留其中的呼吸、转头、姿态和手势;对话时根据当前语音更新嘴形。数字讲解员、虚拟主播,以及带有自然动作的陪伴角色,都适合这一方式。

LiveTalking 和 OpenTalking 的典型视频模板链路属于这一类。两个框架也支持其他模型与工作流,具体效果取决于所选方案。

**适合你:**已有喜欢的人物视频,或愿意制作一组可反复使用的动作。OpenRealtime 已提供动作素材管理与预览,并支持动作底片配合本地口型合成。动作来自底片,手势不一定随每次回答的含义变化。

面部动作驱动 + 口型对齐

让眨眼、视线、微笑和头动,与说话一起构成人物表现。

AI 赛博女友、近景陪伴人像等场景,往往更重视面部反馈:倾听时注视与眨眼,回应时微笑或轻轻点头。这类需求可以通过单独驱动面部运动,再协调语音嘴形来实现。

例如,使用 LivePortrait 或 FasterLivePortrait 控制表情与头动,再搭配口型模块;也可以用 JoyVASA 从音频生成面部运动。若模型已经生成与语音匹配的嘴形,就不必再叠加一次独立改嘴。

**适合你:**重视近景表情和陪伴感,希望人物反馈更丰富。OpenRealtime 可先将面部驱动生成的动作保存为素材使用;在线独立控制表情并协调口型,属于进一步扩展的方向。不同赛博女友产品可能采用不同技术,这里介绍的是一种可选工作流。

选择多段式合成时,可以用同一人物、同一段语音比较自然度、口型与响应速度。当前正式本地口型路径为 Wav2Lip,其他模型属于可扩展的选型方向。具体模型、算力与授权提示见文末附录。

三、预生成动作编排:把成本留在素材制作阶段

如果你希望人物有动作、嘴巴会动,又不想维护实时口型模型,可以选择另一种思路:提前做好待机和讲话动画,对话时按状态切换。

对话状态人物表现
待机呼吸、眨眼、轻微头动
倾听与思考保持注视,或播放轻微回应动作
声音开始播放切换到自然张嘴、带有表情的讲话动作
回答结束或被打断返回待机或倾听动作

这里的嘴形来自预制视频,不逐字匹配当前音频。好处是可以保留素材本身的画质,省去持续口型推理,也不必等待视频模型生成。素材制作一次后可以反复使用,运行成本主要来自语音、存储、网络与视频播放。

适合低成本、重陪伴的体验

网页助手、小尺寸头像、风格化角色和轻量陪伴聊天,都值得尝试这条路线。多准备几段自然的动作、保持画面切换连贯,可以减少静态感和重复感。

这类做法已有产品参考:Kindroid 的头像动画提供预生成动画体验;veadotube mini通过声音状态切换开闭嘴与动画。它们体现了同一个思路:通过状态与素材,也能让角色表达“正在倾听”或“正在说话”。

**如果你没有专用 GPU,并且更看重动作自然与低成本,预生成动作编排值得优先考虑。**如果画面是大特写,或用于发音教学、严肃播报,精确口型通常更重要。

OpenRealtime 轻量动作模式:规划中

OpenRealtime 已具备人物与动作素材管理能力。规划中的轻量动作模式将复用这些素材,让人物按实际音频播放状态切换待机与讲话,支持回答结束和打断后的状态回切。

这一模式的目标是:无需实时口型推理,也能获得有动态表现的数字人。它尚未作为独立会话模式开放。

从适合你的第一步开始

**想尽快获得实时人物体验,**可以先使用已接入的 Anam,减少视频模型部署工作。

**想拥有自己的形象和动作,**可以从图片开始,再创建动作素材,使用本地口型合成逐步完善表现。

**想把成本控制得更低,**可以关注规划中的轻量动作模式,将预制素材用于待机与讲话,接受非精确口型,换取更轻的运行方式。

前往数字人资产库管理你的形象,或打开数字人工作台,开始准备第一个角色。


附录:价格与技术参考

以下资料供需要比较套餐或自行部署的读者查阅。价格为美元月付参考价,以供应商实际结算规则为准;税费及自带语音、模型费用另计。

Anam 套餐

套餐月费包含会话分钟超额费用
Free$030 分钟不支持超额
Starter$1250 分钟$0.16/分钟
Explorer$49250 分钟$0.14/分钟
Growth$2992,000 分钟$0.12/分钟
Professional$9995,000 分钟$0.11/分钟

Anam 按会话从开始到结束的时间计费,倾听和静默也包含在内。Starter 起支持商用,Explorer 起支持移除嵌入组件水印。查看 Anam 套餐详情

LiveAvatar 套餐

套餐月费包含分钟 FULL / LITE超额每分钟 FULL / LITE
Free$05 / 10 分钟不支持超额
Starter$19100 / 200 分钟$0.20 / $0.10
Essential$99550 / 1,100 分钟$0.19 / $0.095
Business$4753,000 / 6,000 分钟$0.18 / $0.09

FULL 每分钟消耗 2 credits,LITE 消耗 1 credit。Essential 包含一个 720p 自定义形象,Business 包含一个 1080p 自定义形象。查看官方价格与额度

以上为美元月付参考价,实际价格以供应商结算页为准,税费及自带语音、模型费用另计。例如每月使用 1,000 个计费分钟,Anam Explorer 约为 $154;LiveAvatar Essential LITE 为 $99,另加自带语音和对话费用。两者的服务范围与人物效果需结合实际需求比较。

模型与算力参考

你想改善什么可关注的模型需要考虑什么
图片或视频的说话口型Wav2Lip、MuseTalk嘴部细节、融合效果、素材质量与推理资源
人物表情与头动LivePortrait、FasterLivePortrait、JoyVASA面部运动与语音的协调,以及完整链路的延迟
更丰富的离线动作素材EchoMimicV2、InfiniteTalk生成时间与 GPU 成本;适合提前制作、反复使用
降低端侧运行成本FeatherTalk、DH_live专属人物训练或资产准备,以及授权条件

这些是生态选型参考,当前正式本地口型路径为 Wav2Lip;其他模型的可用性需要相应部署与接入。通用人像合成通常需要 GPU,轻量模型则可能通过人物训练或专用资产降低运行成本。FeatherTalk、DH_live

选型时,建议用同一人物和同一段语音比较嘴部细节、表情自然度和响应速度。**口型更准确、画面更自然、运行更便宜,是需要一起权衡的三个目标。**原版 Wav2Lip 有非商业用途限制;商用部署应确认具体模型权重和人物素材的授权。Wav2Lip 使用说明