摘要
基于步态参数的定义,研究并提出了使用微软最新一代Azure Kinect无标记运动捕获系统(以下简称Kinect系统)采集并提取步态参数的方法,同时在数据处理中分别采用自适应滤波、指数滤波、卡尔曼滤波及无滤波条件,以提高步态参数计算结果的准确性与可靠性。为了评价本文计算方法的准确性与滤波效果,将提取的步态参数结果与同步实验的Qualisys标记式运动捕获系统(瑞典Qualisys公司,简称Q标记法)的结果进行统计学对比分析,并据此对不同滤波方法进行评价。结果显示,总体而言Kinect系统与Q标记法的结果一致性较高,结果均落在95%一致性界限内,并且在有滤波条件下的准确度要高于无滤波条件,且卡尔曼滤波的效果最好;在单个步态参数方面,步速的结果在所有滤波条件下均有较大差异性,无法应用;对于其他参数,本文方法表现了较高的准确性与一致性,并且应用卡尔曼滤波后的一致性与可靠性都有所提高。应用本文方法并使用卡尔曼滤波进行平滑处理后,Kinect系统可以较为准确地计算健康人的步态参数,并在某些情况下代替标记法设备。
步态分析中常通过一些参数来描述步态正常与否,其中步态的运动学参数是重要指标之一。获取运动学参数的方法主要有观察法和量化法,由于观察法具有主观性,因此步态参数的量化分析慢慢成为步态研究的主流手段。步态参数的客观提取主要分为以下3种方式。
(1)标记法:在身体关节、骨骼关键部位粘贴反光标记物,利用空间布置多个感光摄像头捕获标记物,并通过标记物的运动轨迹,计算步态运动参数;
(2)可穿戴传感器法:将陀螺仪、加速度计等传感器布置在人体关键部位,通过传感器数据计算相关参数;
(3)无标记法:基于深度图像技术,自动识别人体骨骼特征点,捕捉点位三维数据进行计算。
标记法与可穿戴传感器法虽然具有较高的捕获精度,但受试者需更换紧身衣物,并在关节部位粘贴设备,因此每次采集需要较长时间的前期准备。而且,标记法设备需要较大空间布置多个摄像头,设备成本高,使用方法复杂。对比上述两种方法,无标记法准备工作简便、设备成本低并且对场地需求低,在简单的参数采集方面,可以考虑用其替代标记法设备。
微软的Kinect运动捕获系统是无标记采集中较为常见的设备,Kinect系统可以无标记地捕捉人体骨骼关节特征点。其理论依据是将人体的骨骼特征简化为32个关节点(

图1 Kinect系统关节点位图
Fig.1 Node bitmap of Kinect system
Kinect系统由于其操作简单、便携性强的优势,受到许多研究者的关注,其中较广泛的研究主要集中于Kinect‑V2系统的精准度。Clark
为了进一步提高精准度,常用方法是使用多个摄像头多角度拍摄并整合三维数
有研究者对不同滤波方法进行了对比,以探究较为理想的滤波方法。Yang
上述研究均是基于Kinect‑V2设备,而Azure Kinect是2020年发布的新一代设备,在性能和精度上有所提升,但发布以来只有少数研究者对其进行研究和应用。Tölgyessy
本文使用单个新一代Azure Kinect系统在无遮挡环境下采集人体行走时的三维坐标数据,研究并提出了通过三维数据计算步态运动学参数的方法,并分别在无滤波、自适应滤波、指数滤波和卡尔曼滤波4种不同条件下计算相关参数,并对照Q标记法设备所采集的参数,综合分析Azure Kinect系统的性能。
根据步态参数定义提出了通过三维坐标数据提取人体行走步态参数的具体计算方法,所计算的参数如
步态参数的定义以人体自然行走时的姿态为基础(

图2 步态周期示意图
Fig.2 Schematic diagram of gait cycle
首先,计算踝关节点位的平均速度和竖直方向速度,其计算公式分别为
(1) |
(2) |
式中:Xn为踝关节第n帧的平均位移;Vn为踝关节第n帧的平均速度;xn、yn、zn分别为踝关节第n帧时在x、y、z轴上的坐标值;为踝关节第n帧时竖直方向平均位移;为踝关节第n帧时竖直方向平均速度;竖直方向平均速度大于零表明此刻踝关节向上运动,反之向下。因为Kinect的采集频率为每秒30帧,速度单位是m/s,因此式(
其次,得到踝关节速度(

图3 踝关节速度
Fig.3 Ankle speed of ankle joint

图4 踝关节竖直方向速度
Fig.4 Vertical speed of ankle joint
最后,通过以下两条限制可以将候选帧中的干扰帧排除,以获得正确的步态周期起始点所在帧。其一,通过对人体行走的计时以及观察,发现每两个步态周期之间最小间隔不少于0.9 s,对应点位为两个步态周期的起始帧之间应多于27帧;其二,两个步态周期之间应包含膝关节屈曲角的一个极小值(

图5 膝关节屈曲角曲线
Fig.5 Knee flexion angle curve
(3) |
式中:z
步态周期起始点判断逻辑实现过程如

图6 步态周期起始点判断程序
Fig.6 Judgment procedure of start point of gait cycle

图7 步长和跨步长示意图
Fig.7 Sketch map of step length and stride length
(4) |
式中:lenLN为第N个步态周期左步长;lenRN为第N个步态周期右步长;为左脚第N个步态周期起始帧所对应的Z轴(行走方向)数据;为右脚第N个步态周期起始帧所对应的Z轴数据。
跨步长定义为单脚一个步态周期跨过的距离(
(5) |
式中:stride为跨步长;ZN为第N个步态周期起始点所对应的Z轴数据。因为跨步长为单脚概念,因此不区分左右脚。
步频定义为每分钟的步数,每个左右步长均算作一步,计算公式为
(6) |
式中:Fre为步频;gaitL、gaitR分别为左、右脚步态周期起始点数量;T表示行走所用时间,单位为s。
20位健康成年人,年龄20~50岁,15位男性,5位女性,已签署知情同意书。反光标粘贴于臀部两侧、骨盆前侧、膝关节两侧、踝关节两侧、脚背部3点与脚跟共32个,如

图8 标记物粘贴点
Fig.8 Marker sticking points
Kinect系统布置于起点正前方,且行走区域中无障碍物,需要保证Kinect系统拍摄范围内只有受试者可以被检测到。

图9 实验图
Fig.9 Experimental diagram

图10 Kinect系统采集图
Fig.10 Kinect system acquisition map
在Kinect系统所采集到的数据中,截取距离Kinect系统1.4~4.8 m之间的数据进行计算,因为过近或过远会使得Kinect系统采集到的坐标数据发生偏移而导致结果失真。
使用SPSS、Medcalc、Excel软件进行统计学分析,通过Bland‑Altman图像、组内相关系数(Intraclass correlation coefficient, ICC)和配对t检验来对比Kinect系统与Q标记法的相关性和一致性,并对4种滤波条件下的上述参数结果进行对比。
一致性检验:绘制Bland‑Altman图评价两设备的一致性,Bland‑Altman图的上下两条虚线叫作95%一致性界限,如果两设备结果在95%一致性界限内,可以认为两设备的一致性较高。
计算ICC并进行配对t检验评估Kinect系统与Q标记法的一致性与差异性。ICC结果中p值越接近1,则一致性越好,配对t检验结果中p值大于0.05,则代表无显著性差异,反之为有显著性差异。
使用3种不同的滤波方法对数据进行预处理,分析不同方法对参数计算结果的影响,并选择较好的滤波方法。滤波方法汇总如
本文统计了20名志愿者每人进行一次有效采集的步态参数,共20组结果用于分析。
图

图11 不同滤波方法下的Kinect系统与Q标记法标准偏差对比
Fig.11 Comparison of standard deviation between Kinect system based on different filtering methods and Q marker-based system

图12 不同滤波方法下的Kinect系统与Q标记法标准误差对比
Fig.12 Comparison of standard error between Kinect system based on different filtering methods and Q marker-based system
图

图13 经指数滤波的Kinect系统与Q标记法的结果对比
Fig.13 Comparison of Kinect system with exponential filtering and Q marker-based system

图14 经自适应滤波的Kinect系统与Q标记法结果对比
Fig.14 Comparison of Kinect system with adaptive filtering and Q marker-based system

图15 经卡尔曼滤波的Kinect系统与Q标记法结果对比
Fig.15 Comparison of Kinect system with Kalman filtering and Q marker-based system

图16 无滤波的Kinect系统与Q标记法结果对比
Fig.16 Comparison of Kinect system with unfiltered and Q marker-based system
从图
表
本文根据步态参数相关定义,提出了使用Kinect系统采集的骨骼特征点三维坐标数据计算步态参数的方法,并在3种不同的滤波和无滤波条件下对Kinect系统获取到的骨骼数据进行处理,计算步态参数,分析了不同滤波的效果并探究了本文计算方法的可靠性与准确性。从结果可以看出,在无滤波条件下,使用本文方法计算的步态参数和Q标记法的结果,在总体参数和单个参数(除步速)上均体现出了较高的相关性和准确性。在使用了滤波之后结果的相关性和准确性都有有明显提高,并且在卡尔曼滤波条件下所得结果的稳定性与准确性都高于其他滤波条件。但分析单一参数的结果可以发现,对于步速的计算,3种滤波算法及无滤波条件相较于Q标记法均存在较大差异性,且3种滤波方法的准确性性均小于50%,说明该参数算法有待改进。分析其原因,Kinect每秒30帧的采集频率并不是平均分布于整个时间段内,而是随机采集,这使得对于时间计算不准,导致速度结果存在误差。
误差来源于计算方法不完善产生的误差和由于单一参数数据量较小导致部分结果有特异性。考虑将自适应滤波用于计算跨步长,卡尔曼滤波用于计算步频、左右步长。但由于卡尔曼滤波在总体水平的一致性与相关性表现好于自适应滤波,或许可以通过改进参数计算方法来提高准确度或进一步扩大采集人数,从而消除数据的特异性以提高稳定性。
结合步态参数的计算结果看,Kinect系统仍然存在一定的局限性。尽管对步长步频的计算取得了较好的结果,但其对于步速的计算仍然存在较大误差。除上述分析算法精度有待提高外,Kinect系统对于深度信息的采集结果准确度存在误差,会使得在计算参数时出现错误而增大了误差。另外由于其摄像头拍摄角度呈锥形向前辐射,存在类似于人眼近大远小的问题,并且这一现象会随着距离的增加而越来越显著。从实验采集到的原始数据探究发现,1.4~4.8 m之间的数据结果最为稳定,但在这个距离内,依然会存在其他误差导致结果不准,使步长等测量结果中出现了过大或过小等错误数据。上述误差可以通过控制变量法进行实验修正,如具体测定出Kinect系统随着距离变化时所产生的近大远小的误差比例,然后通过缩小或放大数据获得准确的结果。另外,Kinect系统在识别时存在的延迟使其难以准确采集运动速度较快的人体骨骼信息,对于这一点,使用更高配置的电脑设备可能会获得更好的数据结果。
本文通过判断每一个步态周期的起止点,并根据步态周期进行参数计算,但判断起止点并不能做到绝对准确,可能出现将局部极小值当做起止点的问题从而导致结果不准,如果进一步优化判断方法预期可以获得更好的结果。另外对于老年人或有步态相关疾病的病人(如帕金森、中风和眩晕症),其步态周期不会呈现标准步态,步态参数需要参考其步态特征进行点位判断并修改计算方法。另外本文所采集数据是在无遮挡的室内环境下进行的,采集时Kinect系统只有受试者这一个目标,并且行走范围被限制在距离Kinect系统1.4~4.8 m之间。经测试后发现,当采集范围内存在遮挡时,Kinect系统所采集到的坐标数据会不准确,使得步态参数计算结果出现较大误差;当采集范围内存在多个目标时,Kinect系统将按照目标数量输出多组连续无标识性的数据,导致无法计算;目标距离Kinect系统的距离超过5 m后,得到的坐标数据将会产生较大误差,并且随着距离的增大误差也会增大,在超过8 m后将无法采集。
综上所述,虽然存在一定局限性,但利用Kinect系统捕获步态参数对于大多数参数准确度较高,可以在简单场景下替标记法设备进行快速采集;而且该系统体积小、检测方便、获取数据用时短且数据结果简洁明了,也适合快速采集。结果的准确性与可靠性可以满足低成本的应用场景,如居家自测、长期监控步态、对大规模人群的步态参数检测或医生诊断时快速步态参数测量等应用场景;另外在科学研究中如果不要求步态参数结果极其准确,也可以代替昂贵而复杂的标记法设备。后续研究将探究提取更多步态、姿态参数,研究不同人群行走时的不同特征;另外可以对原始数据进行挖掘,如提取法向量、面积和空间函数等参数,将人体姿态量化和参数化,对于步态识别与分类、步态健康监测与病人康复进展等方面同样有可探究的意义。
本文依据步态参数的基本定义提出了基于Kinect系统骨骼点位数据计算步频、步速、平均跨步长、左步长和右步长5种步态参数的计算方法,并在3种滤波以及无滤波条件下进行参数计算,分别与Q标记法对比。结果表明,本文的计算方法对于步频、跨步长和左右步长的计算方法准确度较高,并且通过卡尔曼滤波可以有效提高结果的准确性和可靠性。
参考文献
CLARK R A, BOWER K J, MENTIPLAY B F, et al. Concurrent validity of the Microsoft Kinect for assessment of spatiotemporal gait variables[J]. Journal of Biomechanics, 2013, 46: 2722-2725. [百度学术]
CLARK R A, PUA Y H, BRYANT A L, et al. Validity of the Microsoft Kinect for providing lateral trunk lean feedback during gait retraining[J]. Gait & Posture, 2013, 38(4): 1064-1066. [百度学术]
万晨晖, 杨开明, 汪伟,等. 基于Kinect的自适应跑步机行走速度估计方法[J]. 仪器仪表学报, 2019, 40(10): 219-226. [百度学术]
WAN Chenhui, YANG Kaiming, WANG Wei, et al. Kinect-based adaptive treadmill walking speed estimation method[J]. Chinese Journal of Scientific Instrument, 2019, 40(10): 219-226. [百度学术]
张勤, 李岳炀, 李贻斌, 等. 基于Kinect的学步期幼儿自然步态提取[J]. 自动化学报, 2018,44(6): 1096-1106. [百度学术]
ZHANG Qin, LI Yueyang, LI Yibin, et al. Extraction of toddler’s natural gait with Kinect[J]. Acta Automatica Sinica, 2018, 44(6): 1096-1106. [百度学术]
段增武, 肖金壮, 王洪瑞. 基于Kinect的人体三维质心动态测量及准确性分析[J]. 中国生物医学工程学报, 2015, 34(6): 752-756. [百度学术]
DUAN Zengwu, XIAO Jinzhuang, WANG Hongrui. The Kinetic measurement and accuracy analysis of human body three-dimensional center of mass using Kinect[J]. Chinese Journal of Biomedical Engineering, 2015, 34(6): 752-756. [百度学术]
MOON S, PARK Y, KO D W, et al. Multiple Kinect sensor fusion for human skeleton tracking using Kalman filtering[J]. International Journal of Advanced Robotic Systems, 2016, 13(2): 65-75. [百度学术]
BERTI E M, SALMERÓN A J S, BENIMELI F. Kalman filter for tracking robotic arms using low cost 3D vision systems[C]//Proceedings of the 5th International Conference on Advances in Computer-Human Interactions.[S.l.]:[s.n.], 2012: 236-240. [百度学术]
DU Y, WANG W, WANG L. Hierarchical recurrent neural network for skeleton based action recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2015: 1110-1118. [百度学术]
LIM T J, MA Y. The Kalman filter as the optimal linear minimum mean-squared error multiuser CDMA detector[J]. IEEE Transactions on Information Theory, 2002, 46(7): 2561-2566. [百度学术]
ARULAMPALAM M S, MASKELL S, GORDON N, et al. A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J]. IEEE Transactions on Signal Processing, 2002, 50(2): 174-188. [百度学术]
YANG N, DUAN F, WEI Y, et al. A study of the human-robot synchronous control system based on skeletal tracking technology[C]//Proceedings of IEEE International Conference on Robotics and Biomimetics (ROBIO). Shenzhen,China: IEEE, 2013: 2191-2196. [百度学术]
LI S, CAELLI T, FERRARO. A novel bio-kinematic encoder for human exercise representation and decomposition—Part 2: Robustness and optimisation[C]//Proceedings of 2013 International Conference on Control, Automation and Information Sciences (ICCAIS). [S.l.]: [s.n.], 2013. [百度学术]
CHANG Y J, CHEN S F, HUANG J D. A Kinect-based system for physical rehabilitation: A pilot study for young adults with motor disabilities[J]. Reserachin Developmental DISABIlities, 2011, 32(6): 2566-2570. [百度学术]
SIN H H, LEE F C. Additional virtual reality training using Xbox Kinect in stroke survivors with hemiplegia[J]. American Journal of Physical Medicine & Rehabilitation, 2013, 92(10): 871-880. [百度学术]
李健,李丰,何斌,等. 单Kinect+回转台的全视角三维重建[J]. 数据采集与处理,2019,34(2): 205-213. [百度学术]
LI Jian, LI Feng, HE Bin, et al. Single Kinect and rotating platform for full-view 3D reconstruction[J]. Journal of Data Acquisition and Processing, 2019,34(2): 205-213. [百度学术]
张克,刘弘,陆佃杰,等. 基于单台Kinect的高精度个性化人体建模方法[J]. 数据采集与处理,2015,30(5): 1085-1090. [百度学术]
ZHANG Ke, LIU Hong, LU Dianjie, et al. Personalized human body modeling with high precision based on single Kinect[J]. Journal of Data Acquisition and Processing, 2015,30(5): 1085-1090. [百度学术]
TÖLGYESSY M, DEKAN M, CHOVANEC L. Skeleton tracking accuracy and precision evaluation of Kinect V1, Kinect V2, and the Azure Kinect[J]. Applied Sciences, 2021, 11(12): 5756. [百度学术]
ALBERT J A, OWOLABI V, GEBEL A, et al. Evaluation of the pose tracking performance of the Azure Kinect and Kinect V2 for gait analysis in comparison with a gold standard: A pilot study[J]. Sensors, 2020, 18(20): 5104. [百度学术]
EDWARDS M, GREEN R. Low-latency filtering of Kinect skeleton data for video game control[C]//Proceedings of the 29th International Conference on Image and Vision Computing New Zealand-IVCNZ’14. New Zealand: [s.n.], 2014: 190-195. [百度学术]