吉林新闻频道

吉林新闻频道
您的位置:主页 > 吉林新闻频道 >

FingerTrak:通过腕带热像传感器捕获的手部轮廓图像进


发布日期:2020-07-26 22:36   来源:未知   阅读:

据外媒New Atlas报道,捕捉人类手部的复杂性是一项艰巨的任务。现在,康奈尔大学和威斯康星大学麦迪逊分校的工程师们已经开发出一种新的可穿戴系统,利用热传感器准确预测手部位置,在VR、机器人和翻译手语方面有潜在应用。

该设备被称为FingerTrak,它基本上是一个手镯,上面装饰着四个小型热敏摄像头,每个摄像头大约有豌豆大小。摄像头从各自的位置拍摄佩戴者手腕的轮廓图像。这足以让一个专门设计的算法精确重建整个手部,包括每个手指的位置。

“这是我们团队的一个重大发现--通过观察你的手腕轮廓,该技术可以敏锐地以3D方式重建你的手指位置。”该研究的作者张诚说。“这是第一个基于手腕轮廓重建你的完整手部姿势的系统。”

FingerTrak系统使用机器学习,根据手腕轮廓,预测20个手指关节的位置。然后,这些手的姿势可以在虚拟模型,甚至是机器人的手上重现。在测试中,该设备能够准确重现翻书 、用笔写字、喝水、使用手机等动作。

目前不乏有一些设备使用各种技术尝试追踪手部动作,有的使用深度感应摄像头或红外传感器观察手指,有的使用动作感应手套,还有的在指尖上使用电磁传感器。但几乎所有的都有点过于笨重,不适合实际使用。FingerTrak的设计更加轻巧,虽然它仍然不是看起来最舒适的科技产品,但它看起来确实走在正确的轨道上。

研究团队表示,只要再完善一下,FingerTrak系统可以有一系列的用途。它可以让虚拟现实玩家在游戏中追踪自己的手部动作,它可以让遥控机器人直接模仿人类操作员的动作,它可以帮助将手语翻译成文字或语音,或者它可以帮助监测影响运动技能的健康问题。

“我们如何移动我们的手和手指通常会告诉我们的健康状况,”该研究的作者李茵说。“像这样的设备可能会被用来更好地了解老年人在日常生活中如何使用他们的手,帮助检测帕金森症和阿尔茨海默病等疾病的早期迹象。”

该研究发表在《计算机械协会关于交互、移动、可穿戴和泛在技术的论文集》上。