11.10 基于计算机视觉的运动动作无标记识别技术研究进展
<p>基于计算机视觉的运动动作无标记识别技术研究进展
孙冬，宋杨，岑炫震，盛博，顾耀东
上海体育学院学报 2021年9月 第45卷 第9期</p>
<p>研究目的：系统回顾近年来国内外基于计算机视觉图像数据输入进行特定运动或目标动作的机器学习或深度学习识别相关研究，为无标记动作捕捉技术在运动动作识别等领域的应用提供参考。</p>
<p>研究方法：通过布尔逻辑运算检索Web of Science、PubMed、Scopus、Google Scholar、IEEE Xplore、中国知网6个数据库收录的2000年1月-2020年6月发表的文献。</p>
<p>文章脉络：
基于计算机视觉的无标记动作捕捉技术使得复杂环境下的人体动作识别成为可能。
深度学习是机器学习的一个重要分支，其特点是具有更深层次的神经网络模型架构。该算法大多使用人工标记的图像数据来训练神经网络，从而进行人体姿态、关节中心和骨骼位置的估计和识别。
1 研究方法
1.1 文献检索策略
文献检索流程如图。
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=13ba642b6625948638ba9226cfa042d3&file=file.png" alt="" />
1.2 纳入/排除文献标准
纳入文献标准可以概括为公开发表并且数据、过程较为清晰准确的文献；排除文献标准可以概括为综述类、定义不明确的论文。
1.3 研究信息筛选与提取</p>
<p>2 研究结果
2.1 文献筛选结果
结合纳入与排除标准进一步筛选剔除，最终纳入23篇文献。
2.2 纳入文献实验设计
本文纳入研究文献均为基于计算机视觉的无标记动作捕捉技术，结合机器（深度）学习算法对多种运动项目及相关动作进行的识别和应用。
2.3 计算机视觉图像获取途径
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=e9fab02319758e97cc29f3b8e84d727b&file=file.png" alt="" />
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=2428f5801df690544650275207908e07&file=file.png" alt="" />
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=7c29491d4931807d73449be490f4e0b8&file=file.png" alt="" />
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=e778698903af5e3cbef69f5f690e28bc&file=file.png" alt="" /></p>
<p>传统的基于反光标记追踪的红外三维动作捕捉与基于计算机视觉的无标记动作捕捉流程如图。
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=07d06341d38fda4a32d4d023c99a1cdf&file=file.png" alt="" />
2.4 图像特征提取与动作识别技术
基于机器学习和深度学习算法的计算机视觉捕捉图像特征提取是本文涉及的23项研究采用的主流方法，主要体现在二维图像的转换以及输入图像数据的分割等处理步骤。
2.5 动作识别质量评估与精度表现
基于计算机视觉的动作识别质量评估方法大部分采用定量评估。
3 讨论
无标记动作捕捉技术的优势：（1）能摆脱场地的限制因素，降低测试前准备工作量；（2）提升动作捕捉的效率。
基于计算机视觉的无标记动作捕捉系统主要有4个组成部分：（1）摄像机系统；（2）人体图像识别模型构建；（3）图像特征提取；（4）机器学习识别算法的应用。
3.1 运动图像捕捉及模型构建
当前用于图像捕捉的摄像机主要包含两种类型：（1）传统的识别图像颜色、亮度等特征的RGB摄像机；（2）能够识别图像中每个像素点到摄像头距离的深度摄像机。
基于无标记动作捕捉的人体模型构建通常需要识别图像中人体的轮廓和体积特征，再通过进一步的算法提取人体模型中的关节运动轨迹等运动学参数。
3.2 基于计算机视觉的图像特征
无标记动作捕捉的首要任务是确定图像的范围和捕捉目标的位置。捕捉目标的轮廓识别是无标记动作捕捉的重要组成部分。使用图像轮廓识别技术可以提高鲁棒性，降低识别目标模糊程度，减少摄像机的使用数量并简化无标记动作捕捉流程。
3.3 基于机器学习的识别算法
用于识别图像中人体姿态的机器学习算法可以分为生成式算法和判别式算法，统称为监督式学习。在基于生成式算法的无标记动作识别中，人体的姿势形态是通过将人体模型与从图像中提取的信息进行匹配确定的。
3.4 无标记动作捕捉精度
无标记动作捕捉的精度表现可以通过可视化的模型预测结果与真实测量结果之间的比较进行量化，其中分类精度是最常使用的量化方法，其次是混淆矩 阵。现有研究显示，基于计算机视觉的深度学习算法在篮球、排球和冰球等团体球类项目中具有较为稳定的捕捉精度表现。
3.5 研究局限与未来展望
（1）无标记动作捕捉系统的精确度和鲁棒性往往取决于研究领域和特定的采集环境，在不同领域的应用方式是不统一的。
（2）在对跟踪对象进行建模和在线捕捉采集后需要进行一定时间的离线处理，较难实现实时反馈
4 结论与启示
（1）在部分场景下的动作捕捉和识别效果要优于传统的机器学习方法。
（2）计算机视觉识别装置在室外运动和多目标运动项目容易受到捕捉环境、设备仪器和识别算法等的限制。
（3）计算机视觉图像可以与可穿戴无线惯性传感等装置配合使用，实现运动过程的多参数联合采集，提升无标记动作识别的效果、效率和鲁棒性。</p>
<p>优点：
1 将传统的机器学习方法和深度学习识别算法比较，明确了目前计算机识别装置的优点以及面对的问题。
2 有充分的理论依据来证明作者的观点。</p>
<p>思考：
1 在介绍无标记动作捕捉系统的四个部分时，可以适当添加例子进行说明，使读者可以更加充分的理解这个系统。
2 应该考虑系统的普及和个性化的问题。</p>