小布是什么 小布是什么意思( 二 )


InfoQ:一些其他厂商也推出了自己的虚拟人服务,与之相比,OPPO 发布的虚拟人有哪些区别呢?
万玉龙: 小布虚拟人第一版实现了天气播报和新闻播报这两个垂直场景的落地,这两个场景更多侧重于信息的反馈表达,能更加体现虚拟人的交互价值 。
在技术层面,我们在传统语音交互技术基础上针对天气和新闻播报场景做了特定意图的优化定制,同时分析理解所需播报内容文本,生成对应文本所需的动作、表情和嘴形,基于 AI 驱动和智能捏脸等技术生成虚拟人的容貌、表情和动作等,最终将语音合成的音频和虚拟人的视频进行时间戳对齐融合,实现最终的小布虚拟人产品形态 。
与友商相比,小布虚拟人的应用场景和服务用户群是不一样的 。小布助手首先是智能助手,已经拥有 1.3 亿的月活跃用户,我们会基于线上真实用户的需求分析做体验升级,并结合用户的个性化信息给予用户更贴心和个性化的交互体验 。同时,小布也不仅是智能助手,我们希望小布能成为用户在数字世界里的朋友 。
面向未来,我们还会为小布虚拟人提供更加个性化定制能力,逐步开放唤醒词定制、发音人定制、形象定制、性格定制、内容服务定制等开放能力 。
目前,我们首先希望能够允许开发者为小布定制更多场景所需的虚拟人,让开发者帮助我们同亿万用户建立技术桥梁,搭载到更多智能设备上 。比如说在电商场景定制一些具备品牌特色的带货主播虚拟人,在天气场景定制具备地域特色的天气主播等 。目前这些平台能力正在开发中,未来将逐步面向开发者和用户开放 。
InfoQ:多模态交互被认为是智能语音交互领域未来的发展趋势 。那么在多模态的融合交互方面,小布助手团队哪些研发进展?
万玉龙: 多模态融合交互技术分为信息处理和信息表达两个层面 。
在信息处理层面,小布已经包含了五大能力,其中识屏和扫一扫融合了视觉图像算法,形成了多模态解决方案 。在信息表达层面,虚拟人本身就是多模态表达技术的尝试,我们希望借助表情、动作、嘴形等方式让人机交互体验变得更加自然,让信息传达效率更高 。
InfoQ:在情感分析方面,用户在跟智能语音助手对话的时候,它能感知用户的情绪变化,并做出一些反馈吗?
万玉龙: 情感分析是非常大的话题,在行业里,这也是比较难的问题,背后涉及多模态技术的融合 。通常需要将图像、语音、文本等信息识别结果融合在一起来判断用户交互时的情感,并基于用户情感实时调整交互策略 。
小布尝试过根据用户的请求文本分析用户当前的情绪状态 。比如说用户表达一些与孤独、难过相关的文本时,我们会及时理解用户当时的心情,给予相应的安慰 。有些用户的情绪波动比较大,他们表现得非常愤怒的时候,我们会基于文本分析,尝试通过转移话题去平复用户的极端情绪 。
我们后续希望基于声学特征分析,结合声学和文本的信息更好地理解用户 。比如 Apple 最近申请的一项专利是可以根据用户发出语音请求的音量,实时调整回复用户时的音量,也是类似思路 。
更长期来说,当用户习惯与智能助手面对面沟通后,也可以结合视觉信息去更深层地了解用户的情绪 。比如说可以基于摄像头判断用户当前的表情,看他是不是有皱眉,有愤怒的表情等,并给出相应反馈 。Google 已经在做类似尝试,是基于用户双眼的聚焦判断用户是不是真的在跟智能助手对话,我觉得这类技术融合是大的趋势 。
刚才提到转移话题,我们会根据后台大量的人和机器闲聊的对话语料,通过搜索式闲聊匹配得到一些可能引导用户进入下一个话题的方式,将用户引导到可能让用户缓解情绪的另一话题 。比如尝试给用户讲个笑话,或者推荐一些小游戏等等 。
“手机+IOT”广泛落地,小布助手月活已突破 1.3 亿InfoQ:作为一款语音交互产品,小布助手在 OPPO 的 AI 战略中处于怎样的位置?
万玉龙: 在 OPPO 的 AI 战略里,小布助手是最重要的关键点之一 。
随着大家生活逐渐变得更加复杂,时间更加碎片化后,智能助手可以帮用户处理很多事,缩短用户和服务之间的路径 。比如说可以通过一句话直接查询天气、显示健康码等,而不需要单独打开一个 APP 。
小布助手希望让用户跟服务之间的实现路径越来越短,让用户尽可能“偷懒”,我觉得这是智能助手真正能够体现价值的点 。
InfoQ:考虑到用户体验指标,有哪些指标可以衡量小布助手的准确度?