根据索尼软件工程师的报告，该公司正在开发一种高度沉浸式虚拟现实运动系统，该系统可能用于下一代广播台控制器。

虚拟现实控制器将采用手指跟踪技术。

在一篇名为“用机器学习技术评估手持设备的接近传感器”的论文中，索尼互动娱乐公司的一个团队开发了一种控制器，它可以精确地复制玩家的手和手指的动作。

手指跟踪应用通常依赖于捕捉手指运动的摄像头，例如OculusQuest。最近，提供更精确运动识别的电容式接近传感器正在进入市场。然而，正如索尼研究人员KazuyukiArimatsu和HidekiMori所指出的，摄像头检测受到物理控制器存在的阻碍，而接近传感器技术仍处于起步阶段，需要改进和完善。准确捕捉手部动作仍然难以捉摸。

Arimatsu和More已经接受了填补这些空白的挑战。他们构建了一个带有62个嵌入式电极的手控制器原型，并使用光学监控系统记录了训练数据集。他们捕捉了12名受试者的手部动作，每个人的手部大小不同。

Arimatsu和More说：“我们的目标是推动手指追踪能力的边界，从而在虚拟空间中用手进行更直观的交互。”“我们的方法不仅可以检测手指在特定电极上的触摸，还可以利用所有传感器的值来预测手指在三维空间中的综合运动。因此，我们在计算机视觉领域评估了两种用于姿态估计的卷积神经网络结构，并解释了控制器上传感器的适当结构。

为了实现逼真的沉浸式3D体验，研究人员在上个月发布的报告中表示，他们将多维表示“卷积神经网络方法应用于曲面的电容图像”，并根据计算机视觉领域的最新成果，用我们的数据集评估了两种类型的网络架构。我们还使用原型实现了实时交互应用，并演示了在虚拟现实应用中与手指进行直观交互的可能性。

原型视频展示了用户的手及其数字表示，并做出各种手势，如开合、计数、拇指旋转、手指张开、和平标志和伸出的拇指和小指(象征电话)。它能识别手持控制器装置和举升或投掷物体。

去年，索尼为VR控制器授权了高级触觉。他们将能够模拟推、拉、抓、拉的感觉。下一款索尼控制器可能会让游戏玩家不仅能看到自己的手，还能感受到与自己互动的各种物体。

该团队表示，这项技术可以应用于游戏以外的领域，如非语言交流应用。