目的远程光体积描记(remote photoplethysmography,r PPG)是一种基于视频的非接触式心率测量技术,受到学者的广泛关注。从视频数据中提取脉搏信号需要同时考虑时间和空间信息,然而现有方法往往将空间处理与时间处理割裂开,从而造成建模...目的远程光体积描记(remote photoplethysmography,r PPG)是一种基于视频的非接触式心率测量技术,受到学者的广泛关注。从视频数据中提取脉搏信号需要同时考虑时间和空间信息,然而现有方法往往将空间处理与时间处理割裂开,从而造成建模不准确、测量精度不高等问题。本文提出一种基于多视角2维卷积的神经网络模型,对帧内和帧间相关性进行建模,从而提高测量精度。方法所提网络包括普通2维卷积块和多视角卷积块。普通2维卷积块将输入数据在空间维度做初步抽象。多视角卷积块包括3个通道,分别从输入数据的高—宽、高—时间、宽—时间3个视角进行2维卷积操作,再将3个视角的互补时空特征进行融合得到最终的脉搏信号。所提多视角2维卷积是对传统单视角2维卷积网络在时间维度的扩展。该方法不破坏视频原有结构,通过3个视角的卷积操作挖掘时空互补特征,从而提高脉搏测量精度。结果在公共数据集PURE(pulse rate detection dataset)和自建数据集Self-rPPG(self-built r PPG dataset)上的实验结果表明,所提网络提取脉搏信号的信噪比相比于传统方法在两个数据集上分别提高了3.92 d B和1.92 d B,平均绝对误差分别降低了3.81 bpm和2.91 bpm;信噪比相比于单视角网络分别提高了2.93 d B和3.20 d B,平均绝对误差分别降低了2.20 bpm和3.61 bpm。结论所提网络能够在复杂环境中以较高精度估计出受试者的脉搏信号,表明了多视角2维卷积在r PPG脉搏提取的有效性。与基于单视角2维神经网络的r PPG算法相比,本文方法提取的脉搏信号噪声、低频分量更少,泛化能力更强。展开更多
文摘目的远程光体积描记(remote photoplethysmography,r PPG)是一种基于视频的非接触式心率测量技术,受到学者的广泛关注。从视频数据中提取脉搏信号需要同时考虑时间和空间信息,然而现有方法往往将空间处理与时间处理割裂开,从而造成建模不准确、测量精度不高等问题。本文提出一种基于多视角2维卷积的神经网络模型,对帧内和帧间相关性进行建模,从而提高测量精度。方法所提网络包括普通2维卷积块和多视角卷积块。普通2维卷积块将输入数据在空间维度做初步抽象。多视角卷积块包括3个通道,分别从输入数据的高—宽、高—时间、宽—时间3个视角进行2维卷积操作,再将3个视角的互补时空特征进行融合得到最终的脉搏信号。所提多视角2维卷积是对传统单视角2维卷积网络在时间维度的扩展。该方法不破坏视频原有结构,通过3个视角的卷积操作挖掘时空互补特征,从而提高脉搏测量精度。结果在公共数据集PURE(pulse rate detection dataset)和自建数据集Self-rPPG(self-built r PPG dataset)上的实验结果表明,所提网络提取脉搏信号的信噪比相比于传统方法在两个数据集上分别提高了3.92 d B和1.92 d B,平均绝对误差分别降低了3.81 bpm和2.91 bpm;信噪比相比于单视角网络分别提高了2.93 d B和3.20 d B,平均绝对误差分别降低了2.20 bpm和3.61 bpm。结论所提网络能够在复杂环境中以较高精度估计出受试者的脉搏信号,表明了多视角2维卷积在r PPG脉搏提取的有效性。与基于单视角2维神经网络的r PPG算法相比,本文方法提取的脉搏信号噪声、低频分量更少,泛化能力更强。
