声音也能做面部识别?这个ViveX团队用AI做到了!

作者:亚博APP发布时间:2021-04-30 00:00

本文摘要:伴随着VR产业链的枝繁叶茂和南北方成熟,VR与诸多别的技术的结合也呈现了非常大的运用于发展潜力。例如在刚完成的ViveX第三批精英团队DemoDay上,就经常会出现了很多家“摧毁”头显、只交给追踪计划方案+Tracker的公司。RedPillLab是本次ViveX中唯一一支来源于中国台湾的精英团队。 而必须从百余家申报人公司中出类拔萃,更是由于企业将独家代理的AI技术和Tracker融合,成功构建了降低成本的全身上下动捕计划方案。

亚博APP

伴随着VR产业链的枝繁叶茂和南北方成熟,VR与诸多别的技术的结合也呈现了非常大的运用于发展潜力。例如在刚完成的ViveX第三批精英团队DemoDay上,就经常会出现了很多家“摧毁”头显、只交给追踪计划方案+Tracker的公司。RedPillLab是本次ViveX中唯一一支来源于中国台湾的精英团队。

而必须从百余家申报人公司中出类拔萃,更是由于企业将独家代理的AI技术和Tracker融合,成功构建了降低成本的全身上下动捕计划方案。在DemoDay以前,VR陀螺图片新闻记者也特意与企业的俩位创办人RH和Brian掌握了解了身后的技术,及其亲自感受了一把随时随地“变身”动画人物的历经。成本费接近2万块!用AI识别你的声誉针对大部分人而言,“全身上下动捕”听得上来是一项十分太远和偏矮上的技术。

亚博APP手机版

本质上,此项原本作为影视行业的技术在近些年早就逐渐在娱乐产业产业链得到 运用于,例如近期走红的“虚拟世界网络主播”就大多数应用了全身上下动捕,并非了解用以人工智能技术。在ViveTracker开售之时,其必须以降低成本方法构建姿势捕猎的工作能力也获得了许多瞩目。RedPillLabs更是运用了Tracker的这一特点构建了对客户人体的捕猎,另外再作根据AI进行脸部情绪的深层通过自学推算出来,进而在虚拟世界品牌形象的身上动态性展现真人版表演者的姿势。但RedPill最相近的一点取决于,和别的根据监控摄像头捕猎脸部情绪的计划方案各有不同,她们随意选择捕猎客户的响声。

“大家强调响声是被很多人忽视的,”RH讲到。据他解读,企业的这套系统软件在根据话筒捕获客户的响声以后,借由AI对响声数据信息进行动态性的剖析,随后即时在虚拟世界品牌形象面部溶解小表情。这儿的小表情包含两一部分,一个是动态性的口型,别的一部分则根据眼眉的健身运动来展示出。

那样的描述不己要我想到了Animoji。自然iPhone应用了TOF计划方案,也就是根据“流海”那处的一系列深层监控摄像头来构建动态性的脸部捕猎。可是RedPill的响声计划方案了解可靠吗?从新闻记者的感受看来,响声转换成脸部情绪的实际效果居然出乎意料的不错。从视頻中我们可以看到,动画人物唇部的姿势大部分和表演者的响声没廷时,另外也非机械设备的一张一通,只是伴随着响声的转变在力度上不一样。

另外,动画人物的眼眉也不会在聆听的全过程中一起健身运动,还包含双眼的尺寸也不会有大幅的转变,这种原素交错在一起展现虚拟世界面部表情的转变。据Brian解读,现阶段全世界已经产品研发这类技术的仅有RedPill、英伟达显卡和迪斯尼。英伟达显卡技术的允许取决于,务必看准同一个表演者的声纹识别和虚拟世界人物角色;迪斯尼则务必再作将要谈的物品变成文本,再作让设备应急处置成虚拟世界角色脸部的动画表情。

亚博APP

除开脸部情绪,RedPill根据Tracker+Lighthouse对表演者人体姿势的捕猎也早就做十分自然界。在感受的二十分钟全过程中,动捕没经常会出现卡屏状况,站起、桌椅、往前和小跑步时的追踪也没什么问题,肩部和手腕子还可以转动。

因为企业的这套手机软件根据Unity的构架产品研发,因而还可以根据摇杆上的功能键动态性变换虚拟世界表演的背景图案(视頻),及其为虚拟世界角色设计武器装备、互动等。企业乃至还自主产品研发了一款胶手套,能够更为细腻的模拟手指头的姿势。Brian还谈起,现阶段这套计划方案数最多能够让俩位表演者另外进习动捕的表演。但伴随着新一代Lightohuse的开售,接下去将不容易构建4个人到10*10平方米的室内空间内另外表演。

而构建这种实际效果的前提条件——客户务必花销的成本费十分较低。针对有Vive的客户,只需此外售卖4个Tracker,以美金推算出来为400刀;针对没Vive的客户而言,现阶段售予一套Vive仅有需要500刀,也就是硬件配置成本费在900刀上下。从VR社交媒体调向文化教育和直播本质上,我与RedPillLabs的CTO,也是创办人之一的Dobry早在上年10月的RISE中国香港展览会上就会有过沟通交流。

可是在9个月以前,企业还期待将这套系统软件用在VR社交网络平台上,AI技术能够根据对大数据的分析和深层通过自学来对Avatar的姿势进行预测分析,数据信息就越大,Avatar展现出出去的姿势就不容易就越自然界和尊重事实。


本文关键词:声音,也,能做,面部,识别,这个,ViveX,团队,用,做,亚博APP

本文来源:亚博APP-www.dynamicairline.com