[分享] 神奇的手势识别，探索虚拟和现实如何交互！

        最近，美国专利商标局的一份文件被泄露，其中包含了索尼的一项手套式控制器专利，也就是说，索尼PS VR推出的VR智能眼镜将采用手套控制技术，不再是通过遥控器操作，而是通过手上的手势操作识别，实现虚拟和现实的交互功能。

而这三项专利分别是

1）手指弯曲传感器，用以识别手指的弯曲部分，并生成弯曲传感数据；

2）独立的接触传感器，在使用者接触物件时生成数据；

3）通讯模块，用以传输手指弯曲传感器和接触传感器的数据，经算法计算出手势，同步呈现在头显设备的虚拟环境中。

       据文件，目前在这个系统中能够识别的手势暂时有枪、花、剑；

     以及打电话、拍照和暂停。

       事实上，这项专利早在 2014年10月17日 就被 Sony 提交申请了，这个时间也是在发布 Project Morpheus 项目之后的几个月。很明显，Sony 在 PSVR 的发展上早有谋划，而这套系统或将成为其在 VR 输入设备上的潜在方案。

不过目前，PSVR 的输入设备仍是 PS Move，这款手柄内置惯性传感器，不仅会辨识的动作，还会感应手腕的角度变化，其使用 RGB LED 发光源的灯泡作为主动马克点，通过与头显的 PS Eye（摄像头）进行信息收发，从而确定其在三维空间中的位置。

Oculus Touch、HTC Vive (Controller)、Gear VR Rink

        在此也比较一下 Oculus、HTC Vive 和 Gear VR 的手柄设备，它们的技术框架也与 VR 设备的技术原理相匹配。

Oculus Touch

      Oculus Touch 采用了类似手环的设计，允许摄像机对用户的手部进行追踪，传感器也可以追踪手指运动，同时还为用户带来便利的抓握方式，用户展开手掌时，借助手环的支撑，手柄仍然可以保持原位。

      关于Touch 的技术，自 Christoph Bregler 离开 Oculus 后，意味着 Oculus 对姿态跟踪的技术思路可能是 Marker-based Mocap，并可能大量用 “不依赖光学传感” 传感器及信息融合。而在擅长 Sensor fusion、magnetic drift correction 和 kinematic modeling 的 Steve laValle 主导下，Touch 的基本技术框架是 “多模式传感融合 + 手势识别”。

       经算法优化，Touch 也主要应用了 “星座” 位置追踪系统，同样是用于 Oculus 头显设备的技术，其机制是 LED 间歇地发射红外线，而安置在房间角落的相机站可以感觉到头显 IR 灯光细节的改变，通过红外定位来计算位置和转动，另外，Touch 还应用有 EKF 多传感器融合、 IMU 解算。