。假设输入时序信息
, 其中T表示时序信号的时间长度, H表示时序信号在某一时刻, 作为二维图像信息的高度, W表示确定时刻二维图像信息的宽度, C表示初始二维图像信息的通道数, 则第一层 ConvLSTM 层的输出可以写为北京大学学报(自然科学版) 第60卷 第1期 2024年1月
Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 60, No. 1 (Jan. 2024)
doi: 10.13209/j.0479-8023.2023.089
国家自然科学基金–区域创新发展联合基金(U23A20471)、北京市科技新星计划交叉合作课题(20230484412)、北京市自然科学基金–海淀原始创新联合基金(L222138)、北京大学第三医院创新转化基金(BYSYZHKC2022119)和北京大学第三医院临床重点项目(BYSYZD2021012)资助
收稿日期: 2022–12–26;
修回日期: 2023–05–20
摘要 提出一种基于卷积长短期记忆神经网络的深度学习模型 PressureConvLSTM, 用来提取行走过程中足底压力的空间特征和时序特征, 并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析, 实现智能辅助诊断。结合临床数据的实验结果表明, PressureConvLSTM模型对前交叉韧带断裂的辅助诊断, 能够达到 95%的预测准确度; 与卷积神经网络等其他模型相比, 准确度得到大幅度提升。
关键词 智能诊断; 前交叉韧带断裂; 足底压力; 深度学习; 卷积长短期记忆神经网络
人的双足在行走过程与地面存在直接的交互作用, 这种接触力称为足底压力。足底压力是研究行走步态的重要信息载体[1–3]。借助对行走过程中足底压力进行特征提取, 并实现步态姿势的分类与识别[4], 能够对前交叉韧带断裂(ACLD)进行智能的快速且精确的辅助诊断[5]。
目前对足底压力的数据分析和分类研究尚不成熟。Bennetts 等[6]从静态角度出发, 仅分析了一个步态周期内足底压力的平均值或最大值[6]。然而, 测试者行走过程中的足底压力与行走姿势在时间维度上有极强的相关性[7]。因此, 基于静态足底压力的研究方式虽然能够分析足底压力的空间分布规律, 但忽略了时间维度上的特征变化, 难以得到很好的分类结果。
由于足膝之间的耦合关系, 膝关节交叉韧带的断裂会引起步态的改变, 并直接反应在足底压力的变化上。足底压力的改变不仅仅体现在每一固定时刻不同压力区域的数值变化, 更体现在时间维度上。前交叉韧带断裂会导致行走过程中, 步态转变的过程发生调整, 即在特定区域中, 足底压力按步态周期变化的规律会发生显著的改变。通过分析并提取足底压力的时空特征, 能够对步态进行分析, 从而实现对前交叉韧带断裂的辅助诊断。
为了分析步态周期内足底压力的时空特征, 并基于这些特征进行前交叉韧带断裂的辅助诊断, 本文提出一种基于卷积长短期记忆(Conv-LSTM)[8]结构的神经网络模型。该模型首先使用两层的三维卷积层[9]作为编码器, 对空间特征进行提取和预编码; 随后基于 ConvLSTM 层, 对一个步态周期内的足底压力数据进行时间和空间维度上的特征提取; 最后根据提取的时空特征, 通过多层感知机实现对足底压力的分类, 从而对前交叉韧带是否断裂做出 诊断。
传统的前交叉韧带断裂诊断往往依赖于核磁共振影像(MRI)技术。许英琴等[10]通过 MRI 检测, 预诊断前交叉韧带部分断裂 24 例(占60%), 其中 19 例与关节镜诊断结果一致, 准确率为 79.2%; 完全断裂 16 例(占 40%), 其中 15 例与关节镜诊断结果一致, 准确率为 93.8%。崔莹[11]通过 MRI 研究 100 例患者的核磁影像, 并分析诊断准确率, 发现对 100例 ACL 损伤患者的诊断准确率为 92.4%。侯小英等[12]的研究表明, MRI 检查对膝关节 ACL 损伤的敏感度为 94.74%, 特异度为 81.82%, 准确率为90.00%, 误诊率为 18.18%, 漏诊率为 5.26%。王守红等[13] 研究 MRI 的前交叉韧带诊断准确率, 发现急性 ACL近端断裂容易漏诊, 假阴性率高达 41%。传统诊断方法中应用 MRI 的准确率比较高, 但存在假阳性和假阴性问题, 因此需要与其他方法相结合。关节镜检测方法虽然能够对前交叉韧带受损部位组织进行准确观测, 从而直观地判断损伤情况。但是, 该方法为有创操作, 不宜用于前交叉韧带断裂的临床初步诊断。
近年来, 随着深度学习[14]在力学、生物学和医学领域的不断发展与应用[15–16], 研究者开始使用机器学习和深度学习的方式, 对足底压力进行特征提取和分类, 从而实现对疾病的智能辅助诊断[17]。借助人工智能进行前交叉韧带诊断, 对治疗方案和术后功能复查都具有指导意义。Li 等[18]从统计学角度研究 ACLD 患者与健康人的足底压力分布的差异性。Wang 等[19]从统计学角度出发, 建立基于模糊C 聚类模型的诊断模型。
多层感知机[20]是一种经典的深度学习模型, 广泛应用于基于数据驱动的分类和回归问题。多层感知机通过非线性激活函数连接, 能够对大范围的数据进行非线性拟合, 从而实现对初始数据的分类。由于足底压力在数值上具有明显的空间分布特点, 在某一时刻的数值信息类似一张二维图像。因此, 具有较好图形分类能力的卷积神经网络(convolu-tional neural network, CNN)[21]广泛应用于提取足底压力空间特征以及足底压力的分类问题。Wang 等[22]使用一个步态过程中足底压力的最大值信息, 采用双层 CNN 卷积结构, 实现糖尿病足的分类预测。黄红拾等[23]基于 CNN 模型, 使用投票法对二维足底压力信息进行分类, 在 ACLD 分析诊断中得到较高的分类精度。
上述将足底压力信息转换成二维图像, 从而进行分类的方式具有较大的局限性。考虑到行走步态具有较强的周期性, 足底压力在周期过程中也体现出极强的时序特征。针对时序输入的预测与分类问题, 循环神经网络[24]可以有效地提取时序特征, 并实现对时序信息进行预测与分类。为了解决长时序模型的梯度爆炸与梯度消失问题, Hochreiter 等[25]提出长短期记忆(long-short term memory, LSTM)神经网络。LSTM 通过引入门控神经元, 并在单元内部引入累加器机制, 缓解训练过程中的梯度爆炸与梯度消失问题。Li 等[26]借助 LSTM 网络, 实现了基于足底压力时序信息的步态识别。Okuno 等[27]使用LSTM 模型, 借助足底压力数据实现对帕金森病导致的冻结步态症状的分类与诊断。此外, 足底压力中心(centre of pressure, COP)曲线法和三维卷积也能从时间维度上提取特征。COP 法通过计算不同时序中 COP 在足底的相对位置, 得到一个步态周期中COP 在足底范围内的运动轨迹, 然后用得到的二维轨迹进行足底压力分类, 并进行步态姿势的预测。李晓理等[5]借助 COP 方法和 ELM 神经网络, 实现步态的分类和智能诊断。使用三维卷积, 通过引入三维的卷积核, 能够同时提取出时间特征和空间特征。Xie 等[28]通过三维卷积神经网络, 实现基于足底压力的分类与步态识别。
本文建立的智能分类模型 PressureConvLSTM是一种典型的监督学习模型, 需要结合标签, 针对特定的输入数据进行训练与预测。根据需要解决的膝关节前交叉韧带断裂的辅助诊断问题, 将标签定义为 3 种: 健康人、单纯左侧前交叉韧带断裂患者和单纯右侧前交叉韧带断裂患者。患者均经过MRI检查, 并结合包含关节镜检查的临床表现, 确诊为单侧交叉韧带断裂, 不存在多发韧带断裂情况。
PressureConvLSTM 模型结构如图 1 所示。该模型首先将双层三维卷积(Conv3D)结构作为编码器, 对空间特征进行提取和预编码, 然后叠加采用双层 ConvLSTM 结构, 并逐层增加隐藏层中卷积核的数量。这样能够得到更高维度的时空特征向量, 从而实现更好的分类效果。使用 ConvLSTM层提取时空特征后, 采用全局池化代替传统的展平层, 然后使用包含 3 层全连接层的多层感知机, 利用 Soft-max 激活函数实现足底压力时序信息的三分类。卷积操作后, 采用最大值池化的方式, 对图片进行进一步降维操作, 在进行非线性变换前, 采用批标准化的操作。
在循环神经网络中, 单层网络由 T 个重复的时序单元构成(T 代表时间维度)。在 ConvLSTM 神经网络中, 这种重复单元又称为卷积长短期记忆细胞(ConvLSTM cell)。如图 2 所示, 针对特定的时刻 t, 细胞的输入分别是前一时刻 t–1 的细胞状态 Ct–1、上一时刻的隐藏层输出 ht–1 以及时序信息在此时刻的输入 Xt。细胞的输出为此时刻的隐藏层输出 ht 以及此时刻的细胞状态输出 Ct。
ConvLSTM 内部引入遗忘门 f、输入门 i 以及输出门 o 的概念。t 时刻对应的中间结果分别记为 ft, it以及 ot。不同于 LSTM 使用全连接层作为隐藏层, ConvLSTM 使用二维卷积, 用于提取空间特征。
ConvLSTM 结构的第一层输出完整时序的隐藏层 h1。第二层仅输出终末时刻 tend 的隐藏层输出。假设输入时序信息, 其中T表示时序信号的时间长度, H表示时序信号在某一时刻, 作为二维图像信息的高度, W表示确定时刻二维图像信息的宽度, C表示初始二维图像信息的通道数, 则第一层 ConvLSTM 层的输出可以写为
(1)
C1 表示 ConvLSTM 层隐藏层的卷积核数量, H1 和W1 分别为卷积计算后二维图像信息的新高度和宽度。第二层输出的终末时刻的隐藏层输出为
(2)
C2 表示第二层 ConvLSTM 层的隐藏层卷积核数。经过全局平均池化层计算之后, 得到输出OAvg:
(3)
经过全局池化操作后, 数据被转换成一维向量, 从而能够通过多层感知机进行三分类操作。
实验过程中, 为了缓解因为卷积操作以及激活函数导致的梯度消失和梯度爆炸, 在每一层 Conv-LSTM 层之间, 加入批量标准化层(batch normali-zation layer, BN layer)。同时, 对每一层设定 10%的drop out 概率, 用于缓解训练过程中产生的过拟合现象。
本文提出的 PressureConvLSTM 模型使用 Ten-sorflow 在 python3 环境下编译并运行, 使用一块NVIDIA GeForce RTX3090 进行训练。
本文使用的数据集包括健康人、左侧单纯前交叉韧带患者以及右侧单纯前交叉韧带断裂患者的足底压力信息。将单足从足跟接触压力测试板, 到足尖离开测试板的整个过程的足底压力信息作为动态输入。通过医师综合使用 MRI 和关节镜等方法, 对数据集进行诊断与标定。其中, 健康人总数为 63人, 单纯左侧 ACLD 患者 69 人, 单纯右侧 ACLD 患者 69 人。采用 FootScan 公司的足底压力板采集足底压力数据, 并且人工标定类别。数据集的样本信息如表 1 所示。本研究得到北京大学第三医院医学科学研究伦理委员会批准[(2017)医伦审第(130-02)号]。
图1 PressureConvLSTM网络结构示意图
Fig. 1 Illustration of Pressure ConvLSTM neural network
图2 ConvLSTM cell示意图
Fig. 2 Illustration of ConvLSTM cell
表1 训练数据集分布
Table 1 Distribution of training dataset
标签类别样本数量 单纯左侧前交叉韧带断裂1024 单纯右侧前交叉韧带断裂1015 健康人902 总数2941
采用 FootScan 公司的足底压力测试系统进行实验, 如图 3 所示。在足底压力采集过程中, 要求志愿者在足底压力测试板上, 依足跟–中足–足尖顺序接触地面, 赤足前行。压力板以 126Hz 的采样频率完成采样。支撑期定义为单侧足从足跟接触压力测试板到足尖离开测试板的整个过程。将左足和右足的足底压力分别作为独立的输入。采样时需要采集3 个以上连续完整的单足支撑期。图 4 展示足底压力在支撑期的 3 个典型压力图像。
图3 志愿者在足底压力平板上行走
Fig. 3 Volunteer walking on FootScan platform
图4 一个步态周期内3种典型时刻的足底压力图
Fig. 4 Three typical plantar pressure image during one gait period
由于不同人的足底大小不一致, 为了满足深度神经网络输入维数的一致性, 采用 Zero Padding 的方式[29], 将每一帧足底压力统一拓展至宽 34 像素、高 48 像素的足底压力图像, 并截取每一个步态周期内最清晰的 60 帧足底压力信息进行训练。经过预处理后, 共得到 3268 段完整足底压力周期的视频信息。随机选择其中的 90%作为参与训练的数据集, 剩余 10%作为测试集。在用于训练的数据集中, 将 70%作为训练集, 剩余 30%作为验证集。
本文模型采用小批量训练[30]方法, 批量的大小为 32, 并选用 Adam 优化器[31]进行权重的优化。经过比例缩放、平移、随机噪音等数据增强后, 训练集的数量为 3905。预设的训练迭代次数为 120。其余的网络参数如表 2 所示。
实验中使用 3 层卷积神经网络作为基准模型。在 CNN 网络的基准训练过程中, 分别采用一个步态周期中足底压力的最大值、平均值以及一个步态周期内特征过程的加权投票值, 分别作为模型的二维输入来进行多次实验。同时, 还测试 LSTM 对足底压力时序信息的分类预测效果。将数据集在空间维度进行展平后, 使用双层的 LSTM 网络对时序信息进行分类训练。
使用准确率作为评价指标, 用来表征模型的预测准确度以及泛化性能。使用交叉熵[32]作为损失函数, 用来评价网络的性能。使用接收者操作特征(receiver operating characteristic, ROC)曲线来衡量分类器的优劣。ROC 曲线可以反映伪阳性概率(false positive rate, FPR)与真阳性概率(true positive rate, TPR)之间的关系。
表2 网络参数设置
Table 2 Parameters of network
子模块网络层形状参数量 输入层Input(60, 48, 34, 1)0 3D卷积层BN(60, 48, 34, 1)4 Conv3D(60, 46, 32, 16)160 MaxPooling(60, 23, 16, 16)0 BN(60, 23, 16, 16)64 ReLU(60, 23, 16, 16)0 Conv3D(60, 21, 14, 64)9280 MaxPooling(60, 10, 7, 64)0 BN(60, 10, 7, 64)256 ReLU(60, 10, 7, 64)0 ConvLSTM层ConvLSTM(60, 8, 5, 16)46144 BN(60, 8, 5, 16)64 ConvLSTM(6, 3, 64)184576 BN(6, 3, 64)256 AvgPooling(64)0 多层感知机Dense(1000)65000 Dense(32)32032 Dense(16)528 SoftMax(3)51 总计–338415
说明: 形状代表网络模型中每一层输入的张量维度。
图 5(a)展示训练过程中, 损失函数与训练迭代次数的关系折线。可以看到, 在约 45 代发生较明显的过拟合, 因此实际训练过程中可以采用提前训练, 选择 45 代作为迭代次数, 从而更好地避免过拟合。图 5(b)展示模型的训练准确率与验证准确率随迭代次数的变化。可以看出, 训练过程中, 在 40～50 代逐步过拟合, 符合损失函数随训练迭代次数变化的规律。表 3 给出 PressureConvLSTM、LSTM 以及 3 种不同输入的 CNN 网络对测试集的预测准确度, 同时比较多层感知机以及随机梯度下降优化模型的准确率。由于 PressureConvLSTM 网络综合提取了足底压力的时空特征, 所以在分类精度上比其他方法有明显提升。PressureConvLSTM 网络的预测准确率(95.29%)明显高于 LSTM 网络(92.02%)[26], CNN网络(90.73%)[23]也优于两种单纯使用多层感知机的神经网络(Adam: 64.24%[23], SGD: 66.67%[23])。
图5 训练过程中损失函数和准确率的变化
Fig. 5 Accuracy and Cross Entropy during training
为了验证模型的预测及泛化性能, 选择测试集中的 320 段足底压力信息, 使用模型参数进行预测, 并使用混淆矩阵和 ROC 曲线进行统计学分析。混淆矩阵能够有效地说明模型在预测过程中的真阳率、假阳率、真阴率以及假阴率。与单纯的预测准确率相比, 混淆矩阵能够避免因为数据集分布不均匀带来的误差。图 6 展示 PressureConvLSTM 在验证集上预测结果的混淆矩阵。可以看出, 模型能够准确地分辨前交叉韧带断裂患者和健康人。通过混淆矩阵能够得到模型的 ROC 曲线以及曲线与x坐标轴围成的面积 AUC (area under curve), 对模型的分类表现进行评价。
表3 不同模型的预测准确率
Table 3 Prediction accuracy of different models
模型预测准确率/% PressureConvLSTM95.29 LSTM92.02 CNN(平均值)88.50 CNN(最大值)89.83 CNN(投票法)90.73 多层感知机+Adam优化器62.43 多层感知机+SGD优化器66.67
图 7 分别展示 3 种网络模型的整体 ROC 曲线对比以及各模型独立的 ROC 曲线。各模型的 AUC 值如表 4 所示, 可以看出 PressureConvLSTM 的 AUC值(0.9834)比 LSTM(0.9379)和 CNN 模型(0.9560)有较大幅度的提升, 说明 PressureConvLSTM 模型的分类表现明显优于 LSTM 和 CNN 模型。
图6 PressureConvLSTM预测结果的混淆矩阵
Fig. 6 Confusing matrix of prediction based on PressureConvLSTM
图7 3种模型的ROC曲线
Fig. 7 ROC curves of three models
表4 不同模型的AUC值
Table 4 AUC value of different models
模型AUC值 PressureConvLSTM0.9834 LSTM0.9379 CNN0.9560
本文提出一种深度神经网络模型PressureConv-LSTM, 用来分析足底压力信息, 从而实现前交叉韧带断裂的智能辅助诊断。这种包含 CNN 和Conv-LSTM 结构的网络能够有效地提取周期步态内足底压力的时间与空间分布特征。本研究采用数据增强的方式扩充临床采集的数据样本。样本经过训练后, 在临床数据上的实验结果表明, PressureConv-LSTM 模型能够达到 95.29%的测试准确率, 有效地实现智能辅助诊断的功能, 具有显著的临床价值。
PressureConvLSTM 网络采用 ConvLSTM 结构,能够有效地对动态足底压力信息的时空特征进行解耦与提取。与 CNN 的单纯空间特征分析或 RNN 的单纯时间特征分析相比, PressureConvLSTM能够更有效地提取隐含的时空信息, 从而更好地借助多层感知机进行准确的预测与诊断。尽管在预测准确率和分类器性能方面, PressureConvLSTM 的表现都领先于 LSTM 和 CNN 模型, 但本文模型仍存在一些不足。最主要的一点是数据集的分辨率比较低。由于力学传感器的体积限制, 单位面积内能够铺设的传感器数量有限, 所以很难使用更深层的神经网络对低分辨率信息进行特征提取, 也难以运用一些更好的结构(如 U-Net[33])。
未来的工作中, 可以在物理层面改进传感器的尺寸, 并通过在单位面积布设更多的传感器来提升足底压力数据的分辨率。另外, 目前超分辨率算法已经成功地应用于有限元的应力计算[34–35], 后续工作中可以从对足底压力二维图进行超分辨率优化来展开, 进行网络细化与分辨率提升。
参考文献
[1] Buldt A K, Forghany S, Landorf K B, et al. Foot posture is associated with plantar pressure during gait: a comparison of normal, planus and cavus feet. Gait & Posture, 2018, 62: 235–240
[2] Buldt A K, Allan J J, Landorf K B, et al. The relationship between foot posture and plantar pressure during walking in adults: a systematic review. Gait & Posture, 2018, 62: 56–67
[3] Eisenhardt J R, Cook D, Pregler I, et al. Changes in temporal gait characteristics and pressure distribution for bare feet versus various heel heights. Gait & Pos-ture, 1996, 4(4): 280–286
[4] Pataky T C, Mu T, Bosch K, et al. Gait recognition: highly unique dynamic plantar pressure patterns among 104 individuals. Journal of the Royal Society Interface, 2012, 9(69): 790–800
[5] 李晓理, 黄红拾, 王杰, 等. 前交叉韧带断裂后足底压力特征的聚类分析. 自动化学报, 2017, 43(3): 418–429
[6] Bennetts C J, Owings T M, Erdemir A, et al. Clustering and classification of regional peak plantar pressures of diabetic feet. Journal of Biomechanics, 2013, 46(1): 19–25
[7] 黄红拾, 于媛媛, 郭秦炜, 等. 前交叉韧带断裂患者步行时足底压力时间特征. 中国运动医学杂志, 2015, 34(3): 271–274
[8] Kim S, Hong S, Joh M, et al. DeepRain: ConvLSTM network for precipitation prediction using multichan-nel radar data [EB/OL]. (2017–11–07) [2022–12–16]. https://arxiv.org/abs/1711.02316
[9] Ji Shuiwang, Xu Wei, Yang Ming, et al. 3D convo-lutional neural networks for human action recognition. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(1): 221–231
[10] 许英琴, 张薇馨. 膝关节前交叉韧带撕裂的MRI诊断价值及征象分析. 航空航天医学杂志, 2013, 24 (5): 543–544
[11] 崔莹. MRI在ACL损伤诊断中的阳性率及准确度研究. 影像研究与医学应用, 2020, 4(10): 209–210
[12] 侯小英, 侯玉兵. MRI检查对膝关节韧带损伤患者检出率的影响. 首都食品与医药, 2020, 27(11): 111
[13] 王守红, 张磊, 马震胜, 等. 前交叉韧带近端撕裂的MRI诊断. 中国骨与关节损伤杂志, 2018, 33(6): 618–619
[14] Lecun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521: 436–444
[15] Jiang H, Nie Z, Yeo R, et al. StressGAN: a generative deep learning model for 2D stress distribution predi-ction. Journal of Applied Mechanics, 2021, 88(5): 051005
[16] Geert L, Thijs K, Babak E B, et al. A survey on deep learning in medical image analysis. Medical Image Analysis, 2017, 42: 60–88
[17] Duckworth T, Boulton A, Betts R, et al. Plantar pre-ssure measurements and the prevention of ulceration in the diabetic foot. The Journal of Bone and Joint Surgery, 1985, 67(1): 79–85
[18] Li Xiaoli, Huang Hongshi, Wang Jie, et al. The analysis of plantar pressure data based on multimodel method in patients with anterior cruciate ligament deficiency during walking. BioMed Research International, 2016, 12: 1–12
[19] Wang Jie, Huang Hongshi, Li Xiaoli, et al. Application of the fuzzy C-means clustering algorithm in plantar pressure analysis // Huang Yiping, Ma Xiaoxuan, Wang Xiaohui. 2016 Chinese Control and Decision Confe-rence (CCDC). Yinchuan, 2016: 2089–2094
[20] Gardner M W. Artificial neural networks (the multila-yer perceptron) — a review of applications in the atmos-pheric sciences. Atmospheric Environment, 1998, 32 (14/15): 2627–2636
[21] Lecun Y A, Bengio Y O. Convolutional networks for images, speech, and time series // Arbib M A. The Handbook of Brain Theory and Neural Networks. Cambridge: MIT Press, 1995: 1–14
[22] Wang Xinhui, Yan Wei Qi. Human gait recognition based on frame-by-frame gait energy images and convolutional long short-term memory. International Journal of Neural Systems, 2020, 30(1): 1950027
[23] 黄红拾, 王政飞, 许国雄, 等. 基于步行时足底压力信息的前交叉韧带断裂辅助诊断方法. 北京大学学报(自然科学版), 2019, 55(5): 859–864
[24] Schuster M, Paliwal K K. Bidirectional recurrent neural networks. IEEE Transactions on Signal Proces-sing, 1997, 45(11): 2673–2681
[25] Hochreiter S, Schmidhuber J. Long short-term me-mory. Neural Computation, 1997, 9(8): 1735–1780
[26] Li Xiaopeng, He Yuqing, Zhang Xiaoxian, et al. Plantar pressure data based gait recognition by using long short-term memory network // Xu Xiangxi, Lai Zhihui, Chen Yudong, et al. Robust Discriminative Principal Component Analysis: 13th Chinese Conference. Urum-qi, 2018: 128–136
[27] Okuno R, Fujimoto S, Akazawa J, et al. Analysis of spatial temporal plantar pressure pattern during gait in Parkinson’s disease // Momani L, Alkharabsheh A R, Al-Nuaimy W. 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Vancouver, 2008: 1765–1768
[28] Xie Yi, Hong Xing, Tang Xinyue, et al. 3D convolu-tional neural network for gait recognition and demo-graphic factor prediction based on plantar pressure images // 2020 IEEE International Conference on Infor-mation Technology, Big Data and Artificial Intelli-gence (ICIBA). Chongqing, 2020: 338–342
[29] Dumoulin V, Visin F. A guide to convolution arithmetic for deep learning [EB/OL]. (2016–05–23) [2022–12–16]. https://arxiv.org/abs/1603.07285
[30] Mu Li, Zhang Tong, Chen Yuqing, et al. Efficient mini-batch training for stochastic optimization // Macskassy S, Perlich C, Leskovec J, et al. 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, 2014: 661–670
[31] Kingma D, Ba J. Adam: A method for stochastic optimization [EB/OL]. (2017–01–30) [2022–12–16]. https://arxiv.org/abs/1412.6980v6
[32] Boer P, Kroese D P, Mannor S, et al. A tutorial on the cross-entropy method. Annals of Operations Research, 2005, 134(1): 19–67
[33] Ronneberger O, Fischer P, Brox T J S I P. U-Net: convolutional networks for biomedical image segmen-tation // Navab N, Horneegger H, Wells W M, et al. Medical Image Computing and Computer-Assisted Intervention. Munich, 2015: 234–241
[34] Xu Qingfeng, Nie Zhenguo, Xu Handing, et al. Super- Meshing: a new deep learning architecture for increa-sing the mesh density of metal forming stress field with attention mechanism and perceptual features // ASME 2021 International Design Engineering Tech-nical Conferences and Computers and Information in Engineering Conference. Online Meeting, 2021, 3B: V03BT03A041
[35] Nie Zhenguo, Jiang Haoliang, Kara L B. Stress field prediction in cantilevered structures using convolu-tional neural networks. Journal of Computing and Information Science in Engineering, 2020, 20(1): 011002
Abstract Based on Convolutional Long-Short Term Memory Neural Network, the authors proposed a deep learning method PressureConvLSTM to extract features during walking in both spatial and temporal dimensions. Classi-fication based on plantar pressure of anterior cruciate ligament deficiency (ACLD) was applied to distinguish walking gait information. Experiment results combined with clinical data showed that PressureConvLSTM model obtained 95% test accuracy when diagnosing ACLD, which was well performed over other traditional deep learning models.
Key words intelligent diagnosis; anterior cruciate ligament deficiency (ACLD); plantar pressure; deep learning; ConvLSTM neural network