传统的手势识别方法主要有两种:基于数据手套的手势识别方法、基于计算机视觉的手势识别方法。
而基于计算机视觉的手势识别方法以其不依赖于设备,更自然的人机交互效果,更好的沉浸感成为当今研究的热点。基于计算机视觉手势识别从摄像机中得到手势图像信息,经过适当的数据预处理之后从图像中分割出手势,对分割得到的手势进行特征提取后,利用已经建立好的手势模板进行分类。
传统的分类方式有模板匹配、基于指尖检测方法等,但这些方法都需要人工从图像提取出目标特征,编写模板来匹配。随着深度学习神经网络被提出,基于深度学习神经网络(DNN)的手势识别也应运而生,这种手势识别算法相比于传统手势识别算法在各个方面均有非常大的优势。
深度学习神经网络的工作方式来自于同人脑视觉机理的类比学习,这种从原始输入开始向更高层次不停抽象迭代的过程赋予了该模型高度抽象的能力,使得深度学习神经网络能够非常有效地从大量有标签数据中深度提取数据的特征信息,充分挖掘数据的内在属性和有价值的表征数据,然后组合低层特征为更加抽象的高层特征,而高级特征则是数据更高级、更本质的描述,由此可以在分类问题上得到更优的结果。
众所周知,VR行业面临的一大技术难题就是海量数据的处理,对于手势识别技术更是如此,手部有非常多的关节,需要非常强的识别能力才可以准确的识别每个精细动作。而深度学习模型的多隐藏层结构使得模型能有效利用海量数据进行训练,所使用数据越多模型性能越高,非常适合在VR环境下做手势识别。
基于计算机视觉的手势识别中,传统算法无法直接有效地从图像中提取出对目标有用的信息。而深度学习的学习能力却异常强大,即使是复杂低分辨率图像也能够很好的提取出目标深度特征。基于DNN的手势识别所需的图像背景并不需要固定,算法甚至在一定范围内允许运动背景的存在,从而提高了识别的环境耐受力和精细度。
| DNN在手势识别中如何实现?
接下来笔者将介绍一下具体的实现方法。
传统的识别系统流程大体上可以分成检测、识别、跟踪这三个步骤,具体实现流程是:传感器获取信息,预处理,特征提取,特征选择,再到最后的推理、预测或者识别。通常认为最后一部分是属于机器学习的部分,这部分是整个系统的精髓所在,它能否从数据中学到有效的知识直接关系到整个系统能否按照人们期望的那样工作,但同时也存在前期特征提取或者选择不好的情况,这样会影响系统性能。
而基于DNN的手势识别就是让机器自己去提取特征,不需要手工特征提取,强大的学习能力使得模型在复杂背景下也能取得理想效果,其手势识别过程如下:
首先创建手势识别采集系统,做运动目标检测,并在检测的同时提取出前景的即运动目标的部分信息,获得手势图像。采集到手势图像之后根据不同应用场景选择合适的网络协议,把数据传输到计算平台利用深度学习算法进行复杂背景手势识别,并最终给出手势识别结果。
2025-04-13 09:00
2025-04-09 10:28
2025-04-07 09:58
2025-04-07 09:58
2025-04-07 09:58
2025-04-07 09:34
2025-04-03 08:57
2025-04-03 08:57
2025-04-03 08:57
2025-04-02 14:24