当前位置:  首页 科学 详情

拿手机拍一段视频就能实现人脸3D建模,轻轻松松实现人脸3D建模

发布来源:互联网    发布时间:2020-04-06 23:11

拿手机拍一段视频就能实现人脸3D建模,轻轻松松实现人脸3D建模(图1)

导读3D人脸建模技术一般成本高昂。而现在,卡内基梅隆大学的研究人员通过在智能手机上录一段,就能轻松完成!而且效果逼真又不吓人。

拿手机拍一段就能实现人脸3D建模,高度逼真!

还记得阿凡达里的3D人脸数字建模吗?阿凡达的人物3D建模是 利用通行已久的 LightStage 技术将目标对象360 度拍出各角度完整影像之后经过标记与微调后让程式自动建模与贴图。 南加大团队打造了拥有球体外型的“LightStage”硬件设施,剧组演员进入球体拍摄不同光线与亮度的照片,再运用计算机程序,打造逼真的人脸模型,进而做出中的虚拟角色。

拿手机拍一段视频就能实现人脸3D建模,轻轻松松实现人脸3D建模(图2)

而这种3D人脸建模技术一般需要非常昂贵的设备和专业技术才行。而现在,卡内基梅隆大学的研究人员通过在普通的智能手机上录一段,就能轻松完成!而且效果逼真又不吓人。

轻轻松松实现人脸3D建模

用智能手机连续拍摄包含面部正面和侧面图像的会产生大量的数据。卡内基梅隆大学机器人学院研究中心了一个两步过程, 在深度学习算法的帮助下,进行了人脸模型的数字重建。该团队表示,他们的实验方法精度可以达到 亚毫米级别,比其他基于摄像机的建模过程效果更佳。

拿手机拍一段视频就能实现人脸3D建模,轻轻松松实现人脸3D建模(图3)

动画片中的应用

拿手机拍一段视频就能实现人脸3D建模,轻轻松松实现人脸3D建模(图4)

‍VR虚拟现实应用

拿手机拍一段视频就能实现人脸3D建模,轻轻松松实现人脸3D建模(图5)

机器人学院的副研究教授 Simon Lucey 说: “ 人脸的3D重建一直是计算机视觉和图形学领域的一个悬而未决的问题,因为人脸面部特征非常细致入微。如果重建过程中出现轻微异常,也会让最终结果看起来和实际的面部特征差很多。”

激光扫描仪、结构光和配备多个相机设备的工作室可以产生高精度的面部扫描结果,但是这些专业的传感器对于大多数应用场景来说昂贵得让人望而却步。然而,卡内基梅隆大学新的方法 只需要一部智能手机。

这个方法由Lucey 与硕士生 Shubham Agrawal 和 Anuj Pahuja 共同研发,于3月初举行的 IEEE 计算机视觉应用冬季会议上展示。首先要拍摄15到20秒的一个。研究人员使用iPhone x 的慢动作功能进行了拍摄。

“ 高帧率的慢动作是我们设计方法的关键之一,因为它生成了一个密集的点云,”Lucey 说。

深度学习算法助力建模

研究人员采用了一种常用的技术,叫做 视觉即时定位与地图构建(SLAM)。可视 SLAM 将表面上的点进行三角测量以计算其精确的形状,同时利用这些信息来确定摄像机的位置。这种技术可以创建人脸的初始几何图形,但缺少的数据会在模型中留下空白。

“深度学习是我们每天都在使用的一个强有力的工具,” Lucey 说。“但是深度学习会倾向于记忆解决方案” ,但是面部细节千差万别,记忆功能并不利于区分这些差别。

这种方法比较耗时,需要30-40分钟的处理时间。但是整个过程都可以在智能手机上完成。

除了面部重建,卡内基梅隆大学研究小组的方法也可以用来捕捉几乎任何物体的几何形状。这些物体的数字重建可以被整合到动画中,或者通过网络传输到可以复制物体的3D 打印网站。

本文相关词条概念解析:

建模

建模,是指使用计算机描述一个系统的行为。就是一个实际系统模型化的过程。对于同一个实际系统,人们可以根据不同的用途和目的建立不同的模型。建立系统模型的过程,又称模型化。建模是研究系统的重要手段和前提。凡是用模型描述系统的因果关系或相互关系的过程都属于建模。因描述的关系各异,所以实现这一过程的手段和方法也是多种多样的。可以通过对系统本身运动规律的分析,根据事物的机理来建模;也可以通过对系统的实验或统计数据的处理,并根据关于系统的已有的知识和经验来建模。还可以同时使用几种方法。

相关资讯

  • 蓝思科技不断扩园,公司现在的技术研发模式是,5G网络要真正全球化商用

    蓝思科技不断扩园,公司现在的技术研发模式是,5G网络要真正全球化商用

    6月5日下午2点,蓝思科技2019年度股东大会在蓝思科技浏阳南区总部大楼召开。《每日经济新闻》记者在现场获悉,蓝思科技(300433,SZ)董事长兼总经理周群飞一如往年准时地出现在股东大会上。在与股东

    06-06
  • 随着地摊经济放开,流量和商家的基础上

    随着地摊经济放开,流量和商家的基础上

    “仿佛一夜春风来”所有人的心思都活络了,网红、明星、企业家纷纷走进直播间,成为2020年电商界最火弄潮儿。眼下“618”近了,各大电商平台已经严阵以待。直播自然成为各大平台“斗法”的引流利器,占据各大

    06-06
  • 3D建模制作3D设计推土机作品。

    3D建模制作3D设计推土机作品。

    原画和3D建模的薪资并没有太大的差别,初级原画是和初级3D美术设计师相差不大的,只有初级和高级之间有差别。所以,不管哪个专业,学好了,都是可以拿到很高的薪水的。行业里面还有种说法:好的3D设计师是精通

    05-03
  • 京东生鲜推出了全新的品质服务升级计划,新基建中的排头兵

    京东生鲜推出了全新的品质服务升级计划,新基建中的排头兵

    小刀马品质服务内容升级重点突出在哪里?这一次京东推出全新品质服务升级,重点涵盖京东生鲜“6S品质零售体系”其中包括食品安全第一、稳定的品质保障体系、以品质为第一的精选商品、美食解决方案、创造简约生活、

    06-06
  • OPPO发布Reno4,标配65W,标准版199元起售

    OPPO发布Reno4,标配65W,标准版199元起售

    36氪获悉,OPPO发布Reno4系列两款手机,以及几款IoT产品—OPPO W51真无线降噪耳机、OPPO手环和OPPO 5G CPE T1路由器。延续了Reno系列主打拍照的卖点,Reno4系列也

    06-06
  • 看到现在的诺基亚,接连推出多款功能机,靠情怀赚钱

    看到现在的诺基亚,接连推出多款功能机,靠情怀赚钱

    曾经有人将现在的诺基亚形容为一个大男孩,曾经是孩子王,然而其他孩子都走上社会了,诺基亚这个大男孩还在玩泥巴,并且玩的不亦乐乎。当HMD将诺基亚从微软赎回后,也从WP阵营改投安卓,但近年来却剑走偏锋,接

    06-06

相关推荐

网友评论