世界上最小的立体相机！

admin

我无法相信人工智能 (AI) 和机器学习 (ML) 等事物的发展速度有多快，尤其是在机器视觉的背景下，这是指计算机使用视觉来感知正在发生的事情的能力在它周围的世界中（另请参阅AI、ANN、ML、DL 和 DNN 的常见问题解答是什么？）。

您熟悉eYs3D 微电子吗？这是一家无晶圆厂设计公司，专注于计算机视觉的端到端软件和硬件系统，包括高级视觉处理片上系统 (SoC) 设备。同时，eCapture是eYs3D的一个品牌，专注于（无双关语）相机业务。

我只是在和 eCapture 的人聊天，我必须承认，我对他们最近宣布的 G53 3D 视觉深度感应相机的预订可用性感到非常兴奋，它只有 50 x 14.9 x 20 mm——他们声称是世界上最小的立体相机。

认识 G53（图片来源，eCapture）

除了镜头和光学传感器之外，这款 3D 相机还拥有一个 eYs3D 视觉处理 SoC，可计算立体深度数据，从而从主系统的 CPU/GPU 主机处理器卸载这项计算密集型任务。

G53 可用于多种任务，包括同步定位和映射 (SLAM)，它指的是构建或更新未知环境地图的计算任务，同时——同时——跟踪映射代理的其中的位置。反过来，视觉 SLAM (vSLAM) 利用 3D 视觉来执行定位和映射功能。

通常通过里程计形式的传感器融合（使用来自运动传感器的数据来估计位置和方向随时间的变化）来增强 SLAM 用于机器人导航和机器人地图绘制等任务，也用于虚拟现实 (VR) 和增强现实 (AR) 应用程序（另请参阅常见问题解答是 VR、MR、AR、DR、AV 和 HR？）。

关键是 G53 相机系统中的高性能 eYs3D 视觉处理芯片使其能够在两个传感器上捕获完全相同的帧，从而在收集数据以供 vSLAM 算法使用时减少不同步帧的错误。

在数字传感器的背景下，可以采用各种捕获图像的方式。在滚动快门模式的情况下，捕获视频的每个图像或帧，不是通过在单个瞬间拍摄整个场景的快照，而是通过垂直或水平快速扫描整个场景。虽然这可以提高灵敏度，但当场景涉及移动物体或相机本身在运动时（例如，当相机安装在机器人上时），它也会导致失真。

另一种选择称为全局快门模式，在该模式中，在同一时刻捕获整个帧。由于G53的部署场景之一是运动中的机器人，因此它采用全局快门技术实现两个摄像头关联的所有像素同时曝光，从而减少失真以提供更准确的图像。

全局快门（左）和卷帘快门（右）
对比（图片来源，eCapture）

哦，哦——我只记得 eCapture 的人们谈论的两个潜在使用模型。第一个引起我注意的事实是，通过基于机器视觉的唇读可以大大增强语音识别，尤其是在嘈杂的环境中，例如鸡尾酒会效应。

第二个用例涉及人们走过街道上的商店或经过商店的陈列柜。像 G53 这样的深度感应相机可用于确定每个人的位置。基于此信息，波束成形技术可用于在 1 米直径的圆圈中精确传输只有预期接收者才能听到的音频消息。站在两米外的其他人什么也听不见。实际上，这并不完全正确，因为他们会听到专门针对他们的不同信息（例如，“你的外套看起来有点脏——你知道最新的时装刚刚到货，我们现在正在打折吗？” ）。

但我们离题了……红外 (IR) 照明器发出红外光谱中的光。G53 拥有两个内置有源红外照明器，以促进视觉双目加结构光融合。除了在完全黑暗的环境中实现视觉外，这项技术还提高了对白墙和无纹理物体等物体的识别精度。

使用主动 IR 提高对白墙和无纹理物体的识别精度（图片来源，eCapture）

提高机器感知和理解周围世界的能力可以大大提高它们的效率和实用性。3D 计算机视觉技术对于 AI 应用至关重要，可实现软件和机器的自主功能，从机器人空间感知到场景理解、物体识别，以及用于增强型智能车辆的更好的深度和距离感测。G53 的小尺寸使其非常适合空间和功率受限的应用，例如中等大小的家用清洁机器人。其他明显的应用包括自动导引车 (AGV) 和自主移动机器人 (AMR)，例如用于工厂和仓库以及用于货物到人 (G2P) 交付等任务的应用。

我相信 G53 的另一个关键部署机会将是协作机器人（协作机器人），这是一种旨在用于在共享空间内进行直接人机交互的机器人，或者人与机器人非常接近的地方。正如维基百科所说：

协作机器人应用与传统工业机器人应用形成对比，在传统工业机器人应用中，机器人与人的接触是隔离的。Cobot 的安全性可能依赖于轻质结构材料、圆角边缘以及速度和力的固有限制，或者依赖于确保安全行为的传感器和软件。

观察其中的“确保安全行为的传感器和软件”部分，对我来说，这听起来像是“像 G53 这样的相机与 AI 相结合”的另一种说法。

现在，我和下一个人一样（可能比）喜欢机器人，但我认为 G53 等设备所炫耀的深度感知技术具有远远超出机器人应用的潜力。我之前说过，我会再说一遍——我相信增强现实和人工智能的结合将改变我们与系统、世界以及彼此交互和交互的方式。AR 头显已经有两个或多个面向外的摄像头，将视觉数据提供给主 AI 处理器。通过提供各种有用的信息，可以使用从该图像中获得的立体深度数据来增强用户体验。

抱歉。我知道我经常谈论 AR + AI，但老实说，我认为这将是一个主要的游戏规则改变者。这一切什么时候才能实现？我不知道，但是当我停下来思考过去 5 年、10 年、15 年和 20 年技术进步有多快时——而且基于技术进化似乎遵循指数级路径——我有理由相信在接下来的 5 年、10 年、15 年和 20 年中，我们将看到狂野而美妙（以及狂野地、出乎意料地）的事物。

回到现在，开发人员和系统集成商会很高兴听到 eCapture 还为其产品提供软件开发工具，可以轻松集成到 Windows、Linux 和 Android 操作系统 (OS) 环境中。

最后但并非最不重要的，交给你。你如何看待人工智能、机器学习、虚拟现实、增强现实和机器感知，特别是在机器视觉的背景下？你是否对潜伏在下一个时间转折周围的东西感到兴奋或害怕？