携手合作：计算机视觉，人工智能和增强现实

携手合作：计算机视觉，人工智能和增强现实
[size=1.8]撰写者： David Immerman

• 增强现实
  
• 11/13/2019
  
• 阅读时间：[size=1.8]6分钟
  

• 
  

今天，大多数增强现实体验都围绕着用已知信息覆盖物理世界。地图和游戏在消费者技术领域引起了广泛关注。在工业世界中，被利用的AR功能将被可视化，指导或引导。一些例子：

• 虚拟操作说明，用于操作手册。
• 服务维护及时将数字化信息刻印在现实世界中，并在上下文中体现在手头的任务上。
• 远程指导通过实时的现场注释将公司经验丰富的专家与初级员工联系起来。
  

如《工业增强现实状况》所示， 这些类型的用例构成了绝大多数。

这些AR体验是通过识别预定标记，CAD几何形状，QR /条形码或基于位置的传感器输入和其他传感器输入而触发的。但是，如果在某种情况下用户正在看无法识别的机器或零件，却没有关于如何操作或维修机器的上下文，那该怎么办？

人工智能，尤其是深度学习，引发了计算机视觉（CV）和增强现实（AR）的新一波创新。感知一系列环境的能力将解锁下一代增强现实用例，并进一步增强一线工作人员的能力，这是前所未有的。

理解经典（或传统）和学习计算机视觉之间的差异对于当今和不久的将来开发应用程序至关重要。

定义传统计算机视觉及其用例

工业环境极其复杂，并装有复杂的程序以保持关键任务系统的完整性。以整个沃尔沃集团发动机质量保证  线中非常详细的信息的交叉交换为例：每个发动机需要进行40次质量检查，发动机中有200种可能的QA变体，而对于一个工厂而言，该发动机可能具有4,500种不同的总发动机信息变体。

将正确的信息提供给质量检查操作员需要一个全面而无缝的数字线程，增强现实技术可以准确，及时，可靠地提供上下文信息；与其他许多制造商一样，沃尔沃集团也无法承受竞争激烈的市场中的停机时间。

在如此严格的粒度和准确性的情况下，用于增强现实应用程序的计算机视觉的经典方法是前进的最佳途径。

在设计和编码环境中，这本质上是“自己设计”的CV算法。工程师可以将本机传感器输入（相机，GPS，加速度计）映射到3D几何形状，并针对特定用例启用CV算法。AR工程师或经验创建者可以 通过对齐这些几何形状，点，特征和度量以在上下文中激活它，从而在3D设计创作环境中实现这种CV算法和特定用例。

鉴于其自定义的可配置性，它在需要高保真资产的重型工程用例中很受欢迎。在进行改进的同时，很难使用深度学习方法来精确测量图像的深度，通过与算法设计和传感器选择来自然识别复杂的3D结构更加自然兼容，从而使经典CV仍然是更好的选择。

深度学习：增强现实中计算机视觉的未来

在LiveWorx 2019上，PTC CEO Jim Heppelmann演示了一个演示，其中AR体验自动识别了零件。该零件没有任何条形码或目标标记，但是计算机视觉能够在几秒钟内检测到该零件，其模型以及有多少库存。

人工智能，更具体地说是嵌入在增强现实应用程序中的深度学习，使这种自动对象识别成为可能。该演示将零件的CAD数据文件提供给零件的许多人工示例，从而在云中训练神经网络，从而创建了一个轻量级的推理AI模型，以在增强现实应用程序上运行。

PTC Computer Vision Field Lead，总监John Schavemaker进一步解释说：``在创建此AI驱动的AR演示或使用任何深度学习的AR应用程序时，推断的模型仅与训练数据一样有价值，在这种情况下，该模型是人为创建的通过在不同位置和方向绘制3D CAD模型并为神经网络提供数据”。

训练数据的重要性在任何行业中都很普遍：自动驾驶汽车的自动驾驶算法是从数百万英里的聚合图像和视频驾驶数据中进行训练的，或者是在具有数百万患者数据点的医学模型中进行训练的，以更准确地抢先诊断癌症。

将这种思维方式应用于工业界会产生巨大的影响。以LiveWorx为例，在现实世界中，重型设备OEM向其经销商技术人员网络提供了嵌入AI的增强现实。这可以帮助技术人员识别已部署机器上的任何零件，并有维修/更换零件的步骤。这一转变将在全球范围内大大改善服务KPI。

通过AI识别人眼无法察觉的工业产品，资产，生产线等缺陷，AI也会大大破坏质量控制和保证。深度学习可以通过在不安全情况下AR主动发出警报的工人来使工厂更安全。

在工业环境中捕获唯一数据

工业界的独特之处在于其独特之处。涉及运营的物品，零件，产品，资产，机器和流程无数。要通过经典方法扩展AR应用程序，工程师必须跨操作为每个对象编写每种独特的AR经验，这既费时又费钱。同样，要找到每个唯一对象的图像，尤其是如果它非常详细（例如沃尔沃发动机）时，也将是一次大修，并且会出现误差。

这将CAD文件定位为在整个企业中训练神经网络和扩展AR的关键筛选器。

“ CAD数据确实是关键：使用CAD数据，可以使用简单的输入-所需的输出范例，人为地生成许多视觉示例来训练深度学习网络，” Schavemaker说。

CAD数据包括项目数字定义的所有唯一参数和注释，使AI能够在现实世界中快速识别它。通过在云中更好地训练数据来改善边缘的推理模型，更好地优化AR设备上的本机计算及其对识别的影响。拥有跨越工厂车间和远程站点的资产的重要定义数据源的公司，拥有使用AI用例解锁下一代AR的关键。

计算机视觉的未来

选择的CV方法将取决于用例，但工业企业可能会在不同的场景以及同一应用程序中同时使用这两种方法。AR中的深度学习算法将足以识别对象，而高保真经典模型可以更准确地跟踪，映射和测量它。可扩展的企业AR产品组合对于实现此必要的模型更改以及扩大AR对周围环境的影响至关重要。

这些创新的AR应用程序将融入数字线程并与补充技术集成，将发挥其全部潜力。IIoT将提供通过AR识别的对象的实时遥测和操作数据，并为其他相关业务系统信息提供桥梁。

在LiveWorx示例中，它可能是有关服务部件，保修，库存，供应商或交货信息的详细信息。具有这些开发方法的增强现实将为进入工业生态系统提供入口，并为融合物理和数字世界提供最终链接。

[size=1.8]标签：

• 增强现实
  

---

关于作者

戴维·伊默曼

David Immerman是PTC公司市场营销团队的业务分析师，在技术，趋势，市场和其他主题方面提供思想领导力。之前，David是451 Research物联网渠道的行业分析师，主要负责智能交通领域和汽车技术市场，包括车队远程信息处理，联网汽车和自动驾驶汽车。他还花了很多时间研究支持物联网的技术和其他垂直行业，包括工业。在451 Research之前，David在IDC从事市场研究。