表示原始数据中第 k 个二维表中第 i 行第 j 列的数据。根据式(1), 用最大值法、和值法和平均值法 3 种方法, 对系统导出的足底压力数据进行预处理(图 2)。摘要 为了辨识动态足底压力信息与前交叉韧带断裂的关系, 将步行时的足底压力数据转换成图像, 采用深度学习中的卷积神经网络模型, 在给定足量输入图像与分类结果的情况下, 不断更新神经网络的参数, 建立图像与前交叉韧带断裂的关系。将足底压力测试系统(FootScan®)采集的数据分为训练集和测试集两个部分。训练集用于调整模型的参数, 帮助模型更好地分析并找到足底压力信息与前交叉韧带断裂的关系; 测试集用于模拟诊断, 对比真实情况, 评估准确性, 并评估其作为临床辅助诊断方法的性能。结果表明, 提出的投票法模型的诊断正确率超过 90%, 并且从得到足底压力数据到产生诊断结果, 总耗时仅 3 秒左右。由此得出, 所提出的基于步行时足底压力信息的深度学习模型, 可以在很短时间内辅助诊断前交叉韧带断裂, 为临床辅助诊断及康复提供参考。
关键词 前交叉韧带断裂; 足底压力; 辅助诊断; 深度学习
前交叉韧带(anterior cruciate ligament, ACL)断裂是常见的运动损伤, 会引起膝关节不稳并继发关节退变[1]。下肢受伤后, 人体的行走会受到一定的影响或进行相应的调整, 也会导致人体行走时足底压力产生相应的变化。对人体运动过程的足底压力与压强分布进行分析, 可以获知一系列步态特征。基于足膝偶联关系, 前交叉韧带断裂导致的膝关节功能紊乱有可能引起代偿, 改变动态足底压力分布, 以便维持一定水平的步行能力[2]。足底压力图像是足底压强分布的一种表现形式, 对其进行分析可以获知人体的健康情况。
在以往的足底压力分析研究中, 首先要计算足行进角、足长足宽及步长步宽等静态信息[3], 还需计算足弓指数和足底压力峰谷值等[4]动态信息。根据这些信息, 将足底压力数据进行标准化处理, 然后进行基于像素水平的统计分析[5]。既往研究中经常使用机器学习方法对足底压力图像数据进行分析, 完成正常与异类步态的分类辨识工作。这类方法的准确率高度依赖于从足底压力图像中提取的特征信息, 如果特征信息与分类结果有直接的关系, 则准确率较高, 否则效果较差。例如, 在一种基于极限学习机神经网络聚类的方法[6]中, 主要特征信息为足底重心移动轨迹 (the trajectory of the center of pressure, COP)。该特征信息与前交叉韧带断裂具有一定的关系[7], 因此该方法能够取得一定水平的准确率。
在计算机图像分析领域, 深度学习方法已取得十分优异的成绩, 甚至超越人类水平[8]。自深度学习模型 AlexNet[9]在 2012 年的图像分类竞赛 Image-Net 出现后, 经过学界和业界的不断研究与发展, 深度学习逐渐成为图像分类领域中十分重要的技术, 卷积神经网络是其中最常使用的模型。深度学习模型可以在给定输入图像和预期输出结果的情况下, 自动地寻找原始数据中与结果有关联的信息, 并在不断的迭代过程中找到最直接、最紧密的关联信息。但是, 该迭代过程依赖于足够的数据, 否则可能出现学习不充分的欠拟合现象或过分学习的过拟合现象。一直以来, 由于缺乏相关的数据收集工作, 有关前交叉韧带断裂相关的足底压力数据量较少, 因此尚未将深度学习技术应用到前交叉韧带断裂相关的工作中。
本研究团队自 2008 年起开展 FootScan ®足底压力测量平板系统的临床研究, 至今已收集超过 1300例受试者的足底压力数据。基于该数据集, 我们提出一种将足底压力数据转化为图像的预处理方法, 然后使用一种基于深度学习中卷积神经网络的方法, 用于辨识足底压力数据图像与前交叉韧带断裂的关系。
234 例前交叉韧带断裂患者(223 例来自本研究团队所在单位门诊, 11 例来自病房)经过严格筛选, 确保尚未接受手术, 且无其他(如踝痛和膝痛等)病症的干扰。60 例健康志愿者均来自学校师生。所有被试均已签署知情同意书。本研究得到北京大学第三医院医学科学研究伦理委员会批准[(2017)医伦审第(136-02)号]。
1.2.1 数据采集
受试者以自选速度在FootScan®公司压力测试板(对于病房数据, 选择尺寸为 2m×0.4m, 有 16384个感受器的 2米 板测量; 其他数据来自尺寸为 0.48m×0.32m, 有 2.6 个感受器/cm2 的 0.5米板测量)上裸足步行。受试者先热身, 熟悉裸足步行程序, 然后自选合适的速度进行测试。若受试者行走过程中不是足跟部先着地, 则要求受试者增加相应的测试次数。
1.2.2 预处理
预处理是将从系统导出的足底压力数据转化为足底压力图像数据。每例数据每侧足部至少采集 5次数据。从采集系统中导出的足底压力数据对应一次完整的脚与地面的接触过程, 分为左右脚, 每只脚对应约 150 个二维表, 每个二维表对应该时刻传感器采集到的足底压力数值, 二维表中的每个数字表示对应位置传感器此时的压力值, 如图 1 所示。我们将每只脚的每次接触过程(即每侧足部的一次有效测试中所有二维表的数据)转化为一个足底压力图像, 用于后续分析。受试者每次左右脚的有效测试经过预处理, 会得到两个足底压力图像, 记为一对足底压力图像数据。
给定某例数据(某位受试者)中某侧足部的一次有效测试的足底压力数据, 共有K个二维表, 每个二维表的有效行列数为 i 和 j, 表示原始数据中第 k 个二维表中第 i 行第 j 列的数据。根据式(1), 用最大值法、和值法和平均值法 3 种方法, 对系统导出的足底压力数据进行预处理(图 2)。
颜色越靠近红色表示压力值越大, 颜色越靠近蓝色表示压力值越小, 不考虑压力值为0的区域
图1 足底压力数据二维表
Fig. 1 Plantar pressure data matrix
(1)其中, 
分别表示经过 3 种预处理方法得到的新二维表中第i行第j列的数据。
每例的计算结果是一个相同大小的二维表, 每行每列的数值分别对应每个传感器位置的最大值、和值以及平均值。将得到的二维表转化为图像, 数值大的位置趋近白色, 数值小的位置趋近黑色, 没有压力值的位置是黑色。不同计算方法得到的足底压力图像分别记为最大值图像、和值图像及平均值图像。图 3 为一对经过预处理得到的足底压力最大值图像数据。
1.2.3 分类方法
本文使用卷积神经网络作为分类前交叉韧带是否断裂的方法。卷积神经网络是一个非常复杂、参数可变的函数, 记为 y= f(x|θ), 其中 x 是输入的数据(本文为足底压力图像), y 是期望的输出结果(前交叉韧带是否断裂), f (x|θ)就是卷积神经网络对应的函数, 
是可训练调整数值的参数。工作原理是, 首先输入足够数量的图像 X 以及对应图片的期望输出 Y, 通过反向更新[10], 不断自动地修改函数中的参数 θ,使得对于输入的图像可以输出
(最接近期望输出的结果 Y)。当输入图像与期望输出存在一定的关系, 且用于训练的数据量足够大时, 训练好的神经网络模型可以给定输入后计算出预期结果。
图2 三种预处理方法
Fig. 2 Schematic of three preprocessing methods
图3 最大值图像数据
Fig. 3 Plantar pressure image data after preprocessing
本文使用的卷积神经网络结构如图 4 所示, 输入为一个足底压力图像, 输出为分类结果, 即前交叉韧带是否断裂。网络除输入、输出外的结构称为隐藏层, 对网络使用者不可见, 反向更新会自动地更新隐藏层参数。
针对足底压力最大值、和值以及平均值图像, 分别使用一个模型进行训练, 3 个模型的网络结构与图 4 相同, 称为最大值模型、和值模型以及平均值模型。
卷积神经网络包含 1 个归一化层、4 个卷积层和 3 个全连接层(最后 1 个全连接层即分类结果)。卷积层的卷积核大小分别为 5×5, 5×5, 3×3 和 3×3, 个数分别为 8, 32, 64 和 128, 每个卷积层后有一个核大小为 2×2 的最大池化层。全连接层的结点数分别为 500, 100 和 1, 并且前两个全连接层后有参数为 0.5 的 Dropout 层, 用于避免过拟合。在每个卷积层和前两个全连接层后, 都添加激活函数 ReLU。最后输出的结果经过激活函数 sigmoid。使用Adam 优化器训练。
图4 卷积神经网络结构
Fig. 4 Architecture of convolutional neural network
最大值模型、和值模型和平均值模型进行分类的图像来自相同的足底压力原始数据, 且模型的结构完全相同, 可以认为 3 类模型之间存在强依赖关系。本文借鉴 AdaBoost 算法[12]的原理, 通过训练得到一组相对较弱的分类器, 提升后得到强分类器。因此, 除 3 类模型外, 我们还提出一种融合模型(投票法模型), 以期获得更高的准确率: 对于一次有效测试的足底压力数据, 预处理后得到最大值图像、和值图像以及平均值图像, 分别输入对应的深度学习模型进行分类, 按照得到的结果对最终的分类结果进行投票, 最终的结果根据“少数服从多数”原则得到。
基于神经网络的训练原理, 训练所用数据需尽可能保证正常人和患者的数量接近。数据集中每例数据有 5~10 次的有效足底压力测试数据, 每次有效测试的压力数据对应一对训练/测试用足底压力图像数据。预处理后, 共得到 4014 对有效足底压力图像数据, 其中前交叉韧带断裂的患者和健康志愿者数据分别有 3010 和 1004 对。保留正常人 20%左右的数据作为测试, 将剩余的正常人数据和等量的患者数据作为训练数据使用。按照这样的划分方法, 共得到训练足底压力图像数据 1608 对, 其中前交叉韧带断裂患者与健康志愿者各 804 对。测试足底压力图像数据 2406 对, 其中前交叉韧带断裂患者2206 对, 健康志愿者 200 对。使用训练数据对神经网络进行训练, 并用剩余的测试数据在各个模型上对其进行分类测试, 检验分类辨识结果。
经过数据划分, 得到 2406 对足底压力图像用于测试, 其中 2206 对为前交叉韧带断裂, 200 对为健康足底压力图像。为了快速检验此方法的效果, 我们从 2206 对前交叉韧带断裂患者的足底压力图像数据中随机选择 200 对数据, 与健康志愿者的 200对足底压力图像测试数据组成一个包含 400 对数据的快速测试数据集。使用不同模型分别在足底压力图像快速测试数据集上进行模拟分类, 准确率结果见表 1。可以看出, 投票法模型可以以较高的准确率区分前交叉韧带断裂患者与健康志愿者的足底压力图像数据, 分类准确率达到 90.73%。
我们进一步分析其在测试数据上的分类情况, 结果见表 2。可以看出, 投票法模型在区分前交叉韧带断裂患者以及健康志愿者时都有较高的准确率。同时在时间消耗上, 以图像输入开始计时、输出分类结果结束计时, 单个模型的计算时间不超过 1 秒, 投票法模型的计算时间不超过 3 秒。
为了横向对比本文方法, 我们尝试对卷积神经网络的结构进行修改, 删去一个卷积层或一个全连接层, 并对比使用 Adam 和 SGD 优化器进行训练的情况, 最后得到在足底压力图像测试数据上的分类正确率, 如表3所示。
通过对比, 我们认为使用的卷积神经网络结构和 Adam 优化器具有更好的分类正确率。
表1 不同模型根据足底压力图像快速测试数据进行前交叉韧带断裂的诊断正确率
Table 1 Accuracy of diagnosis using different models on plantar pressure image data test set
模型方法正确率/% 最大值模型法86.38 和值模型法84.38 平均值模型法88.50 投票法模型90.73
表2 投票法模型在足底压力图像测试数据上的分类结果
Table 2 Analysis of voting model’s classification result on plantar pressure image data test set
分类有前交叉韧带断裂正常 前交叉韧带断裂患者1996210 健康志愿者13187
表3 不同模型在足底压力图像测试数据上的分类正确率
Table 3 Accuracy of classification using different models on plantar pressure image data test set
模型方法正确率/% 去掉卷积层62.43 去掉全连接层70.86 SGD优化器66.67 本文模型90.73
从实验结果可以看出, 深度学习方法可以在很短的时间内得到较高准确率的分类结果, 表现良好。虽然准确率还不能达到专家级水平, 但具有快速分类的优势, 可以用于门诊的辅助诊断。从足底压力数据的采集来看, 在主诉、损伤病史了解和临床查体后, 测试者仅需要在采集设备上进行常规行走即可。预处理转化和分类都可在短时间内完成, 效率高, 操作简单, 可以提升临床工作效率, 也能很好地应用于前交叉韧带断裂术后功能及其康复的随访。
与以往的人工方法[2]相比, 本文使用的深度学习方法无需人工对采集的足底压力数据进行详细的分析, 而是由计算机自动完成分类评估。对比先前的计算机类方法[6], 该方法可以在一定规模的数据上自动寻找对分类有用的信息, 不必根据医学知识提前提取特定的特征信息, 只需要拥有足够规模的数据即可。
本文使用的足底压力数据仅标注是否患有前交叉韧带断裂, 因此该方法只能作为前交叉韧带断裂的一种辅助诊断方法。考虑到暂时还没有其他可能导致相似足底压力分布的疾病作为对照, 因此该方法依然需要医生进行常规的临床检查。不过实验结果已初步证明, 通过分析足底压力(图像)数据得到辅助诊断前交叉韧带断裂的方法是可行的。鉴于足底压力是人体行走信息的重要载体, 下肢的其他疾病也会影响人体的行走状态, 若能拥有更多与足底压力数据相匹配的病历信息, 提供输入图像与期望输出的关系, 使用这种自动寻找与结果有关信息的深度学习方法进行数据挖掘, 将会找到更多的实用辅助诊断方法。随着足底压力采集设备的不断完善、数据的增加和病例信息的匹配, 这些问题将有望解决。
参考文献
[1]徐雁, 敖英芳, 余家阔, 等. 自体腘绳肌腱单、双束重建前交叉韧带临床比较研究. 中华外科杂志, 2008, 46(4): 274–276
[2]Huang H, Qiu J, Liu T, et al. Similarity of center of pressure progression during walking and jogging of anterior cruciate ligament deficient patients. Plos One, 2017, 12(1): e0169421
[3]Keijsers N L, Stolwijk N M, Nienhuis B, et al. A new method to normalize plantar pressure measurements for foot size and foot progression angle. Journal of Biomechanics, 2009, 42(1): 87–90
[4]Stolwijk N M, Jacques D, Louwerens J W K, et al. Flat feet, happy feet? Comparison of the dynamic plantar pressure distribution and static medial foot geometry between malawian and Dutch adults. Plos One, 2013, 8(2): e57209
[5]Stolwijk N M, Louwerens J W, Nienhuis B, et al. Plantar pressure with and without custom insoles in patients with common foot complaints. Foot & Ankle International, 2011, 32(1): 57–65
[6]李晓理, 黄红拾, 王杰, 等. 前交叉韧带断裂后足底压力特征的聚类分析. 自动化学报, 2017, 43(3): 418–429
[7]Stolwijk N M, Duysens J, Louwerens J W, et al. Plantar pressure changes after long-distance walking . Medicine & Science in Sports & Exercise, 2010, 42(12): 2264–2272
[8]Lecun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521: 436–444
[9]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural net-works // Pereira F, Burges C J C, Bottou L, et al. Advances in Neural Information Processing Systems. Lake Tahoe, 2012: 1097–1105
[10]Rumelhart D E, Hinton G E, Williams R J, et al. Learning representations by back-propagating errors. Nature, 1988, 323: 533–536
[11]Freund Y, Schapire R E. A decision-theoretic gene-ralization of on-line learning and an application to boosting // Freund Y, Schapire R E. Conference on Learning Theory. Nashville, 1997: 119–139
Anterior Cruciate Ligament Deficiency Auxiliary Diagnosis Based on Plantar Pressure Information during Walking
Abstract To study the identification of dynamic anterior cruciate ligament deficiency based on plantar pressure information, using convolutional neural network, raw plantar pressure data during walking were converted into images to establish the connection between plantar pressure and anterior cruciate ligament deficiency. Given plenty of input images and classification results, convolutional neural network could update its parameters for iterations to fit the connection. Plantar pressure data collected by acquisition system (FootScan®) were divided into two parts, training set and test set. The training set was used for training the deep learning model tune the parameters, which helped the model analyze the data better, while the test set was used to generate diagnosis, compare the results to the ground-truth to evaluate the model’s accuracy, and judge its performance as an auxiliary tool for clinical diagnosis. The results show that trained deep learning model can correctly diagnose over 90% cases in the test set, and only takes about 3 seconds to make a diagnosis. The proposed dynamic plantar pressure information based deep learning model can provide auxiliary diagnosis in very short time, which provides references for the auxiliary diagnosis and rehabilitation in clinical medicine.
Key words anterior cruciate ligament deficiency; plantar pressure; auxiliary diagnosis; deep learning
doi: 10.13209/j.0479-8023.2019.039
收稿日期: 2018–06–14;
修回日期: 2018–11–01
国家自然科学基金(91646202)、北京大学医学-信息科学联合研究种子基金(BMU20160590)、北京大学第三医院院临床重点项目(BYSY 2017012)和广州市产学研协同创新重大专项(201604020095)资助