数字人-需求和技术方案调研
<p>[TOC]</p>
<table>
<thead>
<tr>
<th>作者</th>
<th>QFord</th>
</tr>
</thead>
<tbody>
<tr>
<td>更新日期</td>
<td>2024-6-22</td>
</tr>
</tbody>
</table>
<h1>背景</h1>
<p>我们接收到来自<strong>数字宗教部</strong>生成数字人的需求,可参照的竞品app,如下图所示:
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=4e78b26e56916459737ab9d00f0a7de5&amp;file=file.png" alt="" />
此外,还有一个视频:可以参照<strong>UE开发-小群</strong>的共享文件:数字永生人.mp4。</p>
<p>第二个竞品是:
<a href="https://www.guiji.ai/#/index?bd_vid=10943476659289843655">https://www.guiji.ai/#/index?bd_vid=10943476659289843655</a>
上述的这个竞品经过初步沟通,发现价格比较高昂,按照用户的使用分钟来计费,每客户每分钟需要¥100。
因此,希望我们开发调研下比较合适的数字人技术方案。</p>
<p><strong>我们的应用场景:</strong> 为<strong>IP佛学大师</strong>打造数字人形象(<strong>已有</strong>法师的演讲视频素材,<strong>无法</strong>提供真人拍摄),专注于提供佛学的相关问答。</p>
<ul>
<li>形象保真度高(2D视频?)</li>
<li>支持基本的动作(有表情更好,可基于问答的内容来自动做出反馈)</li>
<li>支持语音问答(用户提问佛学相关的问题,数字大师优先基于知识库内容<strong>真人语音</strong>回复)</li>
<li>支持录入知识库</li>
<li>运行终端:iOS+安卓、PC端(大屏显示)</li>
<li>可以通过Web页面方式集成到自己开发的应用中(支持鉴权登录后方可使用,防止非授权用户使用),比如通过webview在展示。</li>
<li>不需要平台提供额外的技术人员进行应用开发,我们的开发可直接基于平台提供的SDK能力完成上述需求的开发。</li>
</ul>
<h1>需求</h1>
<ol>
<li>调研拟真数字人的竞品及输出可行性方案</li>
<li>调研结论写在下面</li>
</ol>
<h1>技术方案调研</h1>
<h2>0. NVIDIA ACE (Avatar Cloud Engine)</h2>
<p><strong>调研结论:</strong>数字人有大模型支持,人物生动灵活,面部标签丰富,和人沟通很自然。但是需要自己部署NVIDIA进行训练,还需要购买指定级别GPU。开发时间和成本花费较大。不适用于快速产出,比较适用于研发基础服务的场景。</p>
<p><strong>优点</strong></p>
<ul>
<li>支持3D数字人,人物精细度高</li>
<li>支持和数字人语音沟通</li>
<li>数字人面部表情丰富</li>
</ul>
<p><strong>缺点</strong></p>
<ul>
<li>微服务需要向NVIDIA申请。</li>
<li>微服务部署服务器需要指定级别GPU([参数文档](<a href="https://docs.nvidia.com/ace/latest/modules/ace_agent/reference/support-matrix.html?highlight=hardware">https://docs.nvidia.com/ace/latest/modules/ace_agent/reference/support-matrix.html?highlight=hardware</a># "参数文档"))</li>
</ul>
<p>[NVIDIA ACE 数字人开发套件-概述](<a href="https://www.showdoc.com.cn/2520997255382414/11259477470819255">https://www.showdoc.com.cn/2520997255382414/11259477470819255</a> "NVIDIA ACE 数字人开发套件-概述")</p>
<h2>1. 硅基-数字人互动</h2>
<p><strong>调研结论:</strong> 此技术方案目前的主要应用场景是虚拟数字人直播,在这种使用场景下的费用是可控和可预期的。
而作为要发布给用户使用的应用,成本费用将作为很大的考量,费用是由用户的数量和使用时长相关联的,导致费用是不可控和不可预期的。
因此,此技术方案目前不适合当前的项目需求。</p>
<p><strong>优点</strong></p>
<ul>
<li>支持通过视频转2D数字人角色,人物保真度高</li>
<li>支持保留视频角色的服装</li>
<li>支持语音式GPT问答</li>
<li>拥有SDK,可供Web、移动端等快速接入</li>
</ul>
<p><strong>缺点</strong></p>
<ul>
<li>不支持3D数字人</li>
<li>口型/面部表情比较单一,无法根据内容来变化</li>
<li>不支持丰富的人物动作库,无法根据内容来变化动作</li>
<li>未提供游戏引擎接入SDK</li>
<li>接入费用高
a. 充值套餐最低需要¥30万起
b. 每转换或修改数字人角色都需要重新计费(单次3800+,充值后可5折,充值越多折扣越高)
c. 每个用户使用都需要计费,每10分钟计费高达¥100</li>
</ul>
<h2>2. 华为-数字内容生产线</h2>
<p>[官方文档链接](<a href="https://support.huaweicloud.com/productdesc-metastudio/metastudio_01_0000.html">https://support.huaweicloud.com/productdesc-metastudio/metastudio_01_0000.html</a> "官方文档链接")</p>
<p><strong>调研结论:</strong> 华为数字内容生产线(MetaStudio)功能齐全且强大,应用场景广,能够满足各种定制需求。拥有控制台自助服务,能够一站式快速生成所需内容。计费模式较为复杂,按需计费、包年/包月、一次性预付费时长包等计费模式。
综合对比其他大厂方案,华为的不做优先推荐。</p>
<p><strong>功能特性:</strong>
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=31081e16d0b2e9f3e606bfd2bc6d358d&amp;file=file.png" alt="" /></p>
<p><strong>产品价格:</strong>
2D数字人形象制作8,000/个、声音制作2,000/个、智能交互(于已有数字分身形象和声音,结合知识库和观众进行视频交互对话,清晰度1080p。)包月4000/月,包年40000/年</p>
<p>[价格详情](<a href="https://console.huaweicloud.com/metaStudio/?region=cn-north-4#/metaStudio/overview">https://console.huaweicloud.com/metaStudio/?region=cn-north-4#/metaStudio/overview</a> "价格详情")</p>
<p><img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=25244c20665840f6548748c2fa18e331&amp;file=file.png" alt="" /></p>
<p><strong>优点:</strong></p>
<ul>
<li>支持2D数字人制作,仅需录制一段视频,即可克隆出相似度99%以上的、具有高精度头部、眼部动作,以及讲话能力的超写实分身数字人</li>
<li>支持3D数字人制作,支持照片建模,能够进行语音和视觉驱动(语音驱动:根据输入文本或语音驱动数字人口型、表情等动作;视觉驱动:通过摄像头采集真人运动数据,驱动数字人运动。)</li>
<li>支持数字人智能交互,可自定义交互内容</li>
<li>多语言泛化:一次母语训练,多语种支持;支持20+语种,覆盖主流语言。</li>
<li>拥有SDK,可供Web、移动端等快速接入</li>
</ul>
<p><strong>缺点:</strong></p>
<ul>
<li>生产线功能复杂,学习成本高</li>
<li>不确定能否根据内容来变化面部表情</li>
<li>费用较高</li>
</ul>
<h2>3. 万彩-数字人互动</h2>
<p><strong>调研结论:</strong> 从官网的<strong>AI数字人</strong>看仅提供在线内容创作,未发现提供给第三方应用的服务。</p>
<p>[官网网站](<a href="https://ai.kezhan365.com/">https://ai.kezhan365.com/</a> "官网网站")</p>
<h2>4. Charater Creator</h2>
<p><strong>调研结论:</strong> 适用于自研的商业解决方案。</p>
<p><strong>优点</strong></p>
<ol>
<li>行业最为领先的实时数字人解决方案</li>
<li>支持照片生成3D角色(默认相似度可达7-80%)</li>
<li>生成的3D角色是裸模,其他可定制(如发型、胡子、服装等)</li>
<li>支持丰富的动作库和60+表情(可扩展)</li>
<li>支持主流3D游戏引擎和主流DDC软件(如3dmax、blender和maya等),便于扩展第三方功能</li>
<li>支持影视级动捕</li>
</ol>
<p><strong>缺点</strong></p>
<ol>
<li>CC是用来快速生产3D数字人的解决方案,而AI等其他能力需要额外再开发和集成。</li>
<li>目前是通过照片生成3D数字人,相似度低于2D方案,提高相似度需要一定角色制作的功底。</li>
</ol>
<h2>5. AI 换脸</h2>
<p><strong>调研结论:</strong> 一种取巧的简易解决方案,适用于要求不高的场合。
视频可通过AI换脸方式执行,可准备一些可用的视频素材用于替换。
此方案缺乏与数字人的交互,难以扩展。</p>
<h2>6. 百度-曦灵·数字人的世界</h2>
<p><strong>调研结论:</strong> 利用最新的AI算法,使数字人不仅讲话口型自然准确,还能够模仿真人的表情和动作,甚至能在实时对话中根据语义生成合适的动作表情。
百度数字人-产品咨询 需要提交表单,官方会派人联系。百度的这个方案纳入备选。
[百度数字人-产品咨询](<a href="https://cloud.baidu.com/survey/digitalhuman.html">https://cloud.baidu.com/survey/digitalhuman.html</a> "百度数字人-产品咨询")</p>
<p>[官方网站](<a href="https://xiling.cloud.baidu.com/?_=1719041220000">https://xiling.cloud.baidu.com/?_=1719041220000</a> "官方网站")</p>
<h2>7. 讯飞-虚拟人</h2>
<p><strong>调研结论:</strong>支持<strong>互动交流</strong>、支持多端接入、支持免费7天体验使用、支持2D真人和3D写实、提供专业技术人员快速完成业务集成,<strong>能满足基本需求</strong>。讯飞的这个方案纳入备选。
<strong>产品价格:</strong>
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=2fc27260f7a144bc28a564982552f7f2&amp;file=file.png" alt="" /></p>
<p>[官网介绍](<a href="https://virtual-man.xfyun.cn/products/openapi">https://virtual-man.xfyun.cn/products/openapi</a> "官网介绍")</p>
<h2>8. 蚂蚁-灵境数字人</h2>
<p><strong>调研结论:</strong>支持<strong>数字人对话</strong>、支持多端接入和快速对接,<strong>可满足基本需求</strong>。蚂蚁的这个方案纳入备选。
<strong>产品价格:</strong> ¥3000 每路/每月</p>
<p>[官网介绍](<a href="https://antdigital.com/products/digitalhuman/?Source=shuziren_baidu_my_56809&bd_vid=11644745059844794733">https://antdigital.com/products/digitalhuman/?Source=shuziren_baidu_my_56809&bd_vid=11644745059844794733</a> "官网介绍")</p>
<h2>x. 自研方案</h2>
<p>自研方案的指导思想主要是基于现有成熟技术方案的整合,主要涉及到以下几个业务模块:</p>
<ul>
<li>数字人生成(比如通过CC,可支持真人和卡通化效果,仿真度依赖于美术角色的开发者的技艺)</li>
<li>嘴型和动作同步(CC系列软件提供)</li>
<li>基于知识库的AI问答(工程院AIAE团队已有能力)</li>
<li>真人语音训练模拟(已有开源项目支持)</li>
<li>文本驱动语音(已有开源项目支持)</li>
<li>游戏引擎应用集成和开发(Unreal和Unity3D)</li>
<li>Web端生产平台(可选)</li>
</ul>
<h1>总结</h1>
<ol>
<li>在9月份这个时间节点前即可用,建议可选用成熟的大厂开箱即用的方案。</li>
<li><strong>备选入围厂商推荐</strong>:百度-曦灵·数字人的世界、讯飞-虚拟人、蚂蚁灵境数字人。</li>
<li>可选的厂商还是比较多的,可以具体对接服务提供商的商务并制作第一个demo版本后再进一步筛选和评估。</li>
</ol>