Driving Behavior Recognition Based on Human Feature Point Extraction and Multidimensional Time Series Classification

摘要： 驾驶人行为识别对提高驾驶安全性和发展智能交通至关重要。由于不同驾驶环境和驾驶人特征存在较大差异，基于端到端深度学习的驾驶行为识别模型很难在不同数据集下保持较高的泛化性能。针对上述问题，提出基于人体特征点提取和多维时间序列分类的驾驶人行为识别方法。使用YOLOv8和人体姿态估计器蒸馏(Distillation for whole-body pose estimators,DWPose)跟踪驾驶人区域并提取驾驶人人体特征点矩阵。对特征点矩阵进行归一化、平滑和维度转换。分别建立了基于Transformer、Informer、时间卷积神经网络(Temporal convolutional network,TCN)和注意力机制-长短期记忆网络(Attention based long short-term memory,LSTM-Attention)的多维时间序列分类模型。结果表明，Informer模型的识别准确性最高，TCN模型的运行效率最高。当使用Driver-100-Day进行训练时，Informer在Driver-100-Day、Driver-100-Night和State Farm Driver 2数据集上的测试准确度分别为90.82%、88.77%和80.67%，相比于CNN-Transformer提高了24.56%、72.02%和67.57%。所提方法相比于基于单帧图像输入的模型在泛化性能方面有较大的改善，且能够达到较高的识别效率和准确度。