基于人脸时空特征的心率估计文献综述

 2022-11-26 12:11

结合毕业设计(论文)课题情况,根据所查阅的文献资料,每人撰写 2000字左右的文献综述:

心率(HR)是一种重要的生理信号,它反映了一个人的身体和情感状态。传统的HR测量通常依赖于接触式监测器,这可能会引起不便和不适。最近,一些基于人脸视频的遥测HR的方法被提出,传统的心率(HR)测量通常依赖于诸如基于心电图仪(ECG)和基于接触式光电容积描记法(cPPG)的传感器之类的接触监测器,这给用户带来不便,因此限制了应用场景。近年来,关于从视频进行远程HR估计的报道越来越多,这使得无需与人接触即可从皮肤(即面部)估计HR。

深度学习已经在机器学习社区开辟了自己的江山,成为学术界的一个新宠,在一些顶尖会议例如NIPS和ICML中都有了自己的正规军(研究它的workshops),今年(2013)还专门为它搞了一个新的会议,叫ICLR(International Conference on Learning Representations),可见它在学术界得到的宠爱招人红眼[1],本课题旨在研究基于人脸时空特征的深度特征表示方法,并应用到人体心率估计问题。目前有几种方法采用:

现有的基于视频的HR估计方法可分为两大类:基于远程光体积描记法(rPPG)的方法[16],[17],[19] – [22]和心动描记法(BCG)[18], [26]的方法。 基于rPPG的方法旨在从由于心跳引起的血管中血液的体积和氧饱和度变化而引起的颜色变化中提取HR信号,而基于BCG的方法旨在从周期性喷射产生的头部运动中提取HR信号 每次心跳都将血液注入大血管。文献中大多数现有的非接触式HR测量方法都是基于rPPG的方法,因为在约束较少的情况下,捕捉皮肤颜色的变化比获得较小的头部运动更容易,尤其是当受试者进行大规模头部运动。 然而,由于从面部皮肤的颜色变化提取的HR信号的幅度太小以至于不能被人眼察觉,因此头部的移动和环境条件,例如光照条件,可能对基于rPPG的方法有很大的影响。

对于考虑到运动和照明变化的方法,仍然会对环境做出严格的假设(例如,背景可用于照明校正),[9]提出了一种基于视频的面部HR测量方法,克服了前面描述的真实环境中提出的挑战,而无需使用背景来提取PG信号,也无需修剪轨迹的时间段。考虑到血红蛋白的影响,设计了一个随时间变化的皮肤外观模型。并且使用其模型,提出了将某些局部区域的PG信号提取视为线性盲源分离(BSS)问题的条件。之后提出了一种简单的算法,可以选择良好的局部区域以用于PG信号提取。同时[11]也提供了相应方法:提出一个框架包含三个主要过程来减少这些干扰:首先,论文采用DRMF来找到精确的人脸ROI,并使用跟踪来解决由刚性头部移动引起的问题。 其次,采用NLMS自适应滤波器来校正照明变化的干扰。 第三,丢弃具有大SD值的信号段,以减少突然的非刚性运动引起的噪声。结果已经证明,在现实的人机交互情况下,这三个过程均有助于提高人力资源测量的准确性。

[14]提出了卷积神经网络以估计视频序列中对象的心率(HR)(表示为HR-CNN)。 网络的输入是对象的面部及时图像序列。 输出为单个标量-预测的HR。该网络由两个部分组成-提取器和HR估计器。 提取器拍摄图像并产生一个数字。通过在一系列图像上运行提取器,可以生成一系列标量输出NrPPG信号。NrPPG信号被馈送到HR估计器,后者输出HR。这两个组件分别接受培训。首先,给定真实心率,训练提取器以最大化信噪比(SNR)。然后,对估计器进行训练,以最大程度地减少估计和实际HR的平均绝对误差(MAE)。

以前的大多数rPPG测量工作并未考虑视频压缩的影响,而事实是,商用摄像机捕获的大多数视频都是通过具有不同比特率的不同压缩编解码器压缩的。[15]提出了一种使用隐藏的rPPG信息增强注意力网络的两阶段,端到端方法,这是对抗视频压缩损失并从高度压缩的视频中恢复rPPG信号的首次尝试。 该方法包括两个部分:1)用于视频增强的时空视频增强网络(STVEN),以及2)用于rPPG信号恢复的rPPG网络(rPPGNet)。rPPGNet可以自行工作以进行可靠的rPPG测量,并且可以添加STVEN网络并对其进行联合培训以进一步提高性能,尤其是在高压缩视频上。

[4]提出一种end-to-end RhythmNet (端到端RhythmNet),用于从脸部进行远程HR估计方法。使用一个时空表示编码来自多个ROI区域的HR信号作为其输入。然后将时空表示输入卷积网络进行HR估计。end-to-end RhythmNet还考虑了通过门控回归单元(GRU)的视频序列中相邻HR测量值的关系,并实现了有效的HR测量。此外,还建立了一个大型多模态HR数据库(VIPL-HR1),其中包含2,378个可见光视频(VIS)和752个近红外(NIR)视频,涉及107个对象。[4]的VIPL-HR数据库包含各种变化,例如头部运动,照明变化和采集设备变化,从而复制了一个约束较少的场景来进行HR估算。

[12]提出了一种从面部视频中收集的强大的远程心率(HR)测量的端到端方法。 具体而言,该方法基于远程光电描记术(rPPG),它构成了在RGB面部视频中检测到的脉冲触发的可感知色差。rPPG可能会受到较少约束的设置的影响。 为了消除该缺点,提出的算法利用了时空注意力机制,该机制着重于rPPG信号中包含的显着特征。 此外,论文提出了一种有效的rPPG增强方法,可以从单个面部视频生成具有不同HR的多个rPPG信号。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。