当前位置:  首页 数码 详情

AR,+,机器学习,实时运动追踪

发布来源:互联网    发布时间:2020-09-21 18:32

文 / 软件工程实习生 Vikram Sharma;资深软件工程师 Jianing Wei;高级软件工程师 Tyler Mullen

增强现实 (AR) 技术带来了有趣且引人入胜的沉浸式用户体验。而对大规模支持 AR 应用来说,无需初始化即可跨设备和平台执行 AR 追踪的能力十分重要。

今天,我们很高兴介绍 MediaPipe 中的 实时运动追踪(Instant Motion Tracking Pipeline)解决方案。此方案基于 MediaPipe Box Tracking解决方案。通过使用“实时运动追踪”您可以轻松将有趣的虚拟 2D 和 3D 内容放置于静态或动态的表面上,从而实现内容与现实世界的无缝交互。这项技术还为 MotionStills AR支持。除了相关的库以外,我们还发布了一个开源 Android 应用,用以展示此解决方案的各项功能。在这个应用中,用户只需轻按相机取景器即可插入虚拟 3D 对象和 GIF 动画,实现对现实环境的增强。

AR,+,机器学习,实时运动追踪(图1)

AR,+,机器学习,实时运动追踪(图2)

MediaPipe 中的实时运动追踪

实时运动追踪

使用实时运动追踪解决方案可将虚拟内容无缝放置在现实世界的静态或动态表面上。为实现这一效果,我们以旋转和平移矩阵的形式了具有相对比例的 6D 自由度追踪。随后在渲染中使用这类追踪信息,将虚拟内容叠加在摄像头流上,进而打造沉浸式 AR 体验。

实时运动跟踪背后的核心思路是将摄像头的平移与旋转预测分离开来,将二者视作两个独立的优化问题。通过使用这种方法,无需初始化或校准即可实现跨设备和平台的 AR 跟踪。为此,我们首先仅利用摄像头发出的视觉信号来寻找 3D 摄像头的平移(如:预测目标区域在帧之间的明显 2D 平移和相对比例)这个过程可以用一个简单的针孔相机模型进行说明,模型会将图像平面中的对象平移和缩放与最终的 3D 平移相关联。

AR,+,机器学习,实时运动追踪(图3)

通过追踪区域从视图位置 V1 到 V2 的相对大小变化,我们可以预测出其与摄像头之间距离的相对变化

支持实时运动追踪的 MediaPipe 流水线

下方所示为实时运动追踪流水线的示意图,包含四个主要组件:贴图器模块、区域追踪模块、矩阵器模块以及最后的渲染。每个组件都由 MediaPipe 计算器或子图表组成。

AR,+,机器学习,实时运动追踪(图4)

实时运动追踪流水线示意图

使用实时运动追踪解决方案

通过 MediaPipe 跨平台框架,您可轻松使用实时运动追踪解决方案。以摄像头取景框、设备旋转矩阵和锚点位置(屏幕坐标)作为输入,MediaPipe 计算图可为每帧生成 AR 渲染效果,从而营造出沉浸式视觉体验。如果您希望在自己的或应用中集成这个实时运动追踪库,请访问我们的 文档,了解在具有 IMU 功能和摄像头传感器的设备上 如何打造自己的 AR 体验。

用 3D 贴图和 GIF “增强”真实世界

实时运动追踪解决方案可将 3D 贴图和 GIF 动画效果成功融入 AR 体验中。我们通过现实世界中的平面 3D 广告牌上渲染 GIF,将动画内容融入真实世界,带来乐趣横生的沉浸式体验。您不妨亲自尝试一下!

AR,+,机器学习,实时运动追踪(图5)

AR,+,机器学习,实时运动追踪(图6)

3D 环境中的 GIF 插入演示

AR,+,机器学习,实时运动追踪(图7)

实时运动追踪助力 PixelShift.AI 打造混合现实体验

致谢

特此感谢 Vikram Sharma、Jiangwei、Tyler Mullen、Chuo-Ling、Ming Guang Yong、Jiuqiang Tang、Siarhei Kazakou、Genzhi Ye、Camillo Lugaresi、Buck Bourdon 和 Matthias Grundman 为此次发布所做的贡献。

本文相关词条概念解析:

追踪

借助视觉、触觉及肌肉运动觉协同实现的连续控制活动。它要求操作者在恰当的时间操纵一种控制器,使控制的成分与运动着的目标保持吻合。追踪任务在某些情况下由操作者定速,而在另一些情况下则由外部定速,操作者不能控制必须完成的任务的速率。追踪活动分为尾随追踪和补偿追踪两种。尾随追踪显示器的目标是可移动的,控制成分也是可移动的,两者间的距离表明两者之间实际存在着的差异;而补偿追踪显示器的目标是固定的,控制成分则是可移动的,两者间的差异表示两者实际上存在着的误差。由于尾随追踪显示器较为形象,操作者能预见目标移动的趋向性,因而在一般情况下,尾随追踪显示器无论在速度还是在准确性方面都优于补偿追踪显示器。

相关资讯

相关推荐

  • 这边先简单的科普下酒吧管理系统

    这边先简单的科普下酒吧管理系统

    随着科技的进步,酒吧也来到一个新阶段,很多老板已经开始借助酒吧软件来更好地门店、员工等事。那么,开酒吧应该如何选择酒吧软件?这边先简单的科普下酒吧,像以前的单机版收银软件功能单一,无法满足现代酒吧的需

    10-31
  • 玩的真大,就像天猫送房一样,vivo,iQOO和BMW

    玩的真大,就像天猫送房一样,vivo,iQOO和BMW

    双十一怎么玩才刺激,是简单的促销优惠,还是秒杀活动?感觉这些都不够猛,不够有新鲜感,要玩就玩大的,就像天猫送房一样,vivo&iQOO更是带来了“摇号抽BMW M2真车”的活动。其实这个活动是有背景的

    10-31
  • 换个后盖即可,Pro亮黑色的官方维修价格

    换个后盖即可,Pro亮黑色的官方维修价格

    昨天,万众瞩目的华为Mate40系列终于在国内发布,虽然知道会很难抢,但还是参与了首销,结果11秒就售罄,比想象中还难抢,随后,我一路小跑到附近的华为线下专卖店,虽然有现货,但是需要和碎屏险一起捆绑才

    10-31
  • 10月15日拼多多CEO陈磊,提出培养数字农业电商人才,农产品销售

    10月15日拼多多CEO陈磊,提出培养数字农业电商人才,农产品销售

    10月15日,全国召开以“解决农产品难问题”为主题的第41次双周协商座谈会。全国主席汪洋主持会议,多位委员、专家、企业代表和国家部委相关负责人从发展农产品电商、推动以需定产、农产品市场、冷链物流建设、

    10-31
  • 5G终端和5G网络端到端能力,Mate40系列基于华为在5G芯片

    5G终端和5G网络端到端能力,Mate40系列基于华为在5G芯片

    中新经纬客户端10月31日电 上行速率是同类产品的6.8倍,下行速率是同类产品的2.6倍。随着华为Mate40系列手机的发布,华为再次刷新了外界对5G体验的新认知。10月30日,华为召开2020年度旗

    10-31
  • 果粉愤怒,在升级iOS14.2beta4之后,我以为是我的手机出问题了

    果粉愤怒,在升级iOS14.2beta4之后,我以为是我的手机出问题了

    今天,根据多名苹果用户反映,在升级iOS14.2beta4之后,手机总时不时弹框提示“现有新的iOS更新可用,请从iOS14beta版进行更新”这种现象在今天尤其频繁,已经严重影响到正常使用。对此,笔

    10-31

网友评论