网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于深度学习的自动睡眠分期研究综述  PDF

  • 刘颖
  • 储浩然
  • 章浩伟
上海理工大学健康科学与工程学院,上海 200093

中图分类号: TP391

最近更新:2023-09-01

DOI:10.16337/j.1004⁃9037.2023.04.002

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

睡眠分期是为了分析多导睡眠图记录而进行的重要过程,在睡眠监测和睡眠障碍诊疗中发挥着关键作用。传统的手动睡眠分期需要专业知识,繁琐且耗时;而深度学习通过模拟人脑解释信息的机制来构建模型,具有强大的自动特征提取及特征表达功能。将深度学习方法应用于睡眠分期研究,不依赖于手工特征设计,能够实现睡眠分期的自动化。本文着眼于2017年以来的一些典型的自动睡眠分期研究,重点从单视图和多视图输入两个方面系统回顾了应用于自动睡眠分期中的深度学习模型,并分析了多视图模型存在的难点,指出了其具有的潜在研究价值。最后,对自动睡眠分期未来的研究方向进行了探讨。

引 言

睡眠是维持个人身心健康的重要行为,但它易被忽视,这会导致患有睡眠相关疾病的患者日渐增

1⁃3。有调查表明,在中国超过3亿国人患有睡眠障碍,如睡眠呼吸暂停、失眠4,且在中国由睡眠不足引起的突发性疾病每年会造成超过50万人死亡。因此,监测睡眠状况对保护人们的身心健康具有重大意义。在此背景下,在医院环境中对睡眠相关疾病患者进行及时有效的睡眠评估以及在日常环境中对睡眠监测仪器携带者进行睡眠监测的需求日益增15,这导致采集而来的睡眠数据量愈加庞大。睡眠分期是睡眠监测和睡眠障碍诊疗的关键,然而,传统的手动睡眠分期不仅需要医师的经验知识,既繁琐又耗时,而且难以处理大规模的睡眠数据。为了解决上述问题,自动睡眠分期势在必行。

多导睡眠图(Polysomnography, PSG)是睡眠分期最常用的信号采集方法,PSG用于采集包括脑电图(Electroencephalogram, EEG)、眼动图(Electrooculogram, EOG)、肌电图(Electromyogram, EMG)、心电图(Electrocardiogram, ECG)及血氧饱和度在内的多种与睡眠相关的生理信号。在生理信号采集完成后,睡眠专家以30 s为一个时期(epoch)对PSG记录进行解释分析,并根据美国睡眠医学学会(American academy of sleep medicine, AASM)提出的AASM标准对每个“epoch”进行标注,来划分睡眠阶段,具体包括5个睡眠阶段:清醒期(Wake, W)、非快速眼动期(Non‑rapid eye movement, NREM, N1, N2, N3)和快速眼动期(Rapid eye movement, REM

6‑7

在自动睡眠分期的研究进程中,研究者首先引入机器学习,如随机森林模

8、隐马尔可夫模9‑10等。但机器学习模型在处理诸如PSG记录这类高维数据时,通常需要事先根据人为经验进行特征提取等数据简化步骤,以避免模型过拟7。然而,这一过程涉及到将高维PSG记录转换为低维向量,转换过程中可能存在信息丢失的风11;且机器学习模型不能更加深入地挖掘出PSG记录中蕴含的其他丰富信息。因此,机器学习模型无法进行高精度的睡眠分期。随后,研究者引入深度学习,深度学习是机器学习中的新分支领域,通过模拟人脑解释数据信息的机制来进行分析和学12。相较于自然语言处理及语音识别等领域,深度学习应用于自动睡眠分期研究的时间较为短暂,然而,在这短暂的时间内,深度学习模型所取得的成就巨大,且这些成就是传统的机器学习方法在相当长的时间内无法企及13。一方面,深度学习模型通过大量原始的PSG记录来驱动,使模型学会自动从PSG记录中提取特征,进而根据提取的特征推理出相应的睡眠阶段,不需要进行数据简化;另一方面,深度学习模型对PSG记录的各个epoch之间的交互关系也能进行很好地捕捉分析。因此,深度学习模型更适合处理PSG记录,被认为是目前自动睡眠分期的最佳方法。

现有的自动睡眠分期研究根据睡眠数据的输入形式分类,主要分为两类:单视图输入和多视图输入。单视图输入表现为直接处理原始的一维(1D)信

14⁃23或将一维信号转换为二维(2D)时频图像作为输24⁃33,而多视图输入一般表现为结合一维信号和二维时频图像这类多元输入形134⁃38。通常情况下,二维时频图像被认为是一维信号的另一种表现形式,但由于深度学习模型的性能取决于诸多因素,如网络层数、模型参数量、输入形式1,所以没有证据直接证明采用一维信号输入的模型性能优于采用二维时频图像输入的模型性能。但有研究表明,采用一维信号输入的模型在N3阶段分类性能更优,而采用二维时频图像输入的模型在蒙特利尔睡眠研究档案上对N1和REM阶段的分类性能更1。因此,研究者尝试结合一维信号和二维时频图像作为输入,联合一维信号和二维时频图像的不同特征互为补充,也就是多视图输入。

本文首先总结了常用的深度学习模型;然后重点从单视图和多视图输入两个方面对应用于自动睡眠分期的典型方法进行技术见解;最后对自动睡眠分期存在的挑战进行分析,并对其未来的研究方向进行展望。

1 常用深度学习模型的构建

1.1 卷积神经网络

卷积神经网络(Convolutional neural network, CNN)设计之初主要应用于模式识别及目标检测等二维领域,且表现优

39⁃41。为了推动自动睡眠分期的研究,Arnaud42借鉴CNN的思路,设计出专门用于处理一维信号的一维 CNN模型;而Phan25利用傅里叶变换将原始一维信号转化为二维时频图像,然后导入构建的二维 CNN模型中训练。

一般地,在CNN中,睡眠数据作为输入数据被导入,在卷积层通过滤波器逐层学习,以提取重要特征,并构建特征

743‑44,其中o(1)代表一维特征,o(2)代表二维特征,o(1)+o(2)代表联合特征,见图1。通常在卷积层之间会跟随一个用于降低特征图维度的池化层,以降低特征图的复杂性,同时有效控制过拟44‑45。在经过多个卷积层和池化层之后,最终生成的特征图被输入全连接层,以整合特征图中具有类别区分性的局部信息,并由Softmax分类器进行分类,以输出睡眠数据中每个epoch对应的睡眠阶段。

图1  用于PSG记录分析的基本CNN架构

Fig.1  Basic CNN architecture for PSG recordings analysis

1.2 循环神经网络

CNN在自动睡眠分期上的应用取得了巨大成功,但其也存在局限,如CNN对诸如睡眠数据等序列数据的时序关系捕捉分析能力较弱。为了解决CNN存在的局限,研究者提出循环神经网络(Recurrent neural network, RNN),RNN主要用于语音识

46‑47、生物信号处1131548等序列数据的处理。但早期的RNN存在“梯度消失”问题,无法有效学习序列数据的长期依赖关系。为了解决RNN存在的局限,Hochreiter49开发了长短期记忆神经网络(Long short‑term memory,LSTM),Chung50提出了门控循环单元(Gated recurrent unit,GRU)。LSTM与GRU的最大优势就是它们能够处理长序列,与LSTM相比较,GRU中使用更新门替代了LSTM中的遗忘门和输入门,内部门控数量减少了,但性能与LSTM相当。最近的几项研11425证明了LSTM和GRU在分析诸如PSG记录这类生物信号的时序信息方面的有效性。

1.3 混合模型

研究者初期以构建单一神经网络为主,然而单一神经网络在具备其自身优势的同时,也具有一定的局

39,如CNN在睡眠数据的特征提取方面虽然具备一定优势,但对睡眠数据的各个epoch之间时序关系的分析能力弱于LSTM/GRU。此外,单一神经网络在分期准确率方面的提高也达到了瓶颈。因此,研究者尝试结合CNN和LSTM/GRU在睡眠数据的特征提取和时序关系分析方面的优势,以构建混合模型。此外,文献[14232533]还尝试引入注意力机制(Attention)以从大量特征中快速筛选出最相关的特征,进而以提高构建模型的分期准确率。Sundar14亦提出结合条件随机场(Conditional random field, CRF),利用其条件特性,减少数据集中N1阶段类不平衡的影响,见图2

图2  CNN-BiLSTM-CRF结构示意[

14]

Fig.2  Structure of CNN-BiLSTM-CRF[

14]

2 深度学习模型在自动睡眠分期中的应用

深度学习应用于自动睡眠分期的基本流程框架如图3所示。首先,对PSG记录进行数据预处理,如归一化、标准化或数据表现形式转换处理;接着,根据研究需求,可采用单视图输入或者多视图输入的输入形式;随后,PSG记录被划分为训练集、验证集和测试集,训练集用于训练模型,验证集用于微调模型超参数,测试集用于评估模型的泛化性能;训练有素的模型能够将PSG记录划分为5个睡眠阶

7。本文回顾了2017年至2022年间基于单视图输入和多视图输入的多项自动睡眠分期研究,以期能够对自动睡眠分期的未来研究方向进行展望。

图3  深度学习应用于自动睡眠分期的基本流程框架图

Fig.3  Basic flow diagram of deep learning applied to automatic sleep staging

2.1 数据集及性能评估

2.1.1 睡眠的不同阶段

1968年被提出的Rechtschaffen and Kales标准(R&K标准)将人的睡眠划分为6个阶段,即W、NREM(S1, S2, S3, S4)、REM,其中S1与S2属于浅睡眠期,S3与S4属于深睡眠

7;随后,美国睡眠医学学会在R&K标准的基础上,合并深睡眠期S3与S4并定义为N3期,以形成AASM标准。上述各个睡眠阶段均与特定的大脑神经活动相关,因为在不同睡眠阶段大脑的自主神经活动会发生变化,目前大部分自动睡眠分期研究都是基于AASM标准进行的。

本文以EEG的波形特征来阐述不同睡眠阶段的特

739

(1)W:这一阶段表现为睡眠前后的清醒状态,也包括睡眠过程中的短暂清醒。该阶段的代表波形为闭眼时的α波(8~13 Hz),一般α波所占比例大于50%,同时睁眼时会伴有β波(13~30 Hz)。

(2)N1:这一阶段为W期向其他阶段的过渡阶段,EEG波形为低波幅的混合频率波,该阶段α波减弱,θ波(4~8 Hz)占据主导地位。

(3)N2:这一阶段EEG波形为相较于N1期频率更慢的低波幅混合频率波,出现睡眠梭形波(12~14 Hz)及K‑复合波,K‑复合波持续时间大于0.5 s。

(4)N3:这一阶段人体进入深度睡眠,δ波(0.5~2 Hz)占据主导地位,其所占比例大于20%。

(5)REM:这一阶段通常位于N3期之后,其EEG波形与N1阶段类似,间断出现α波和锯齿波(2~6 Hz),快速眼球运动出现在该阶段。

2.1.2 数据集介绍

挖掘类别更为平衡、更为标准化的数据集一直是研究者尝试提升自动睡眠分期模型准确率的一个方向。目前已经有诸多开源或私有数据集应用于自动睡眠分期模型的训练,本文主要介绍其中的5个主流数据集:蒙特利尔睡眠研究档案(Montreal archive of sleep studies, MASS

51、Sleep‑EDF数据52、Sleep‑EDF扩展数据集(Sleep‑EDFX52、麻省理工学院贝斯以色列医院数据库(MIT‑BIH Polysomnographic database, MIT‑BIH53及睡眠心脏健康研究PSG数据库(Sleep heart health study, SHHS54,其中,获取MASS与SHHS数据集需要许可。

上述睡眠数据集中,仅有MASS数据集部分遵循AASM标准,其余数据集遵循R&K标准。睡眠专家基于R&K标准对数据集进行标注,一般分为8类:W、S1、S2、S3、S4、REM、运动期(MOVEMENT)及未知时期(UNKNOWN),在使用这类数据集时,需要对PSG记录进行预处理,以合并S3与S4期,并剔除MOVEMENT与UNKNOWN。

(1)MASS数据集包括200名来自不同睡眠实验室的受试者的PSG记录,PSG记录包含EEG、EOG、EMG、ECG及呼吸信号,其采样频率为256 Hz。MASS数据集的标注由睡眠专家基于AASM标准(SS1和SS3子集)或R&K标准(SS2、SS4和SS5子集)完成。

(2)Sleep‑EDF数据集包括8个未服用药物的健康受试者的PSG记录,受试者分为日常监测SC与医院监测ST两组。SC组包含以100 Hz采样的EEG与EOG,以及以1 Hz采样的口鼻气流、直肠体温与事件标记等;ST组包含以100 Hz采样的EMG,以及以1 Hz采样的事件标记。

(3)Sleep‑EDFX数据集包括 197条PSG记录,PSG记录包含以100 Hz采样的EEG、EOG、EMG,以及以1 Hz采样的呼吸信号与事件标记等。

(4)MIT‑BIH数据集包括来自16个怀疑患有慢性阻塞性睡眠呼吸暂停的男性受试者的PSG记录。PSG记录包含EEG、ECG及呼吸信号,其采样频率为250 Hz。

(5)SHHS数据集是旨在探究睡眠障碍与心血管疾病之间关系的大型睡眠数据

54,其包括两个子集SHHS1与SHHS2,每个子集中的PSG记录包含以125 Hz采样的EEG与EMG、以50 Hz采样的EOG以及以1 Hz采样的心率等生物信号。

2.1.3 评估指标

自动睡眠分期涉及多标签分类问题,评估模型性能时,每个类都是通过将类本身作为正样本,将其他类作为负样本来评估的。对于每个类,常用的指标有准确率(Accuracy)、精度(Precision)、召回率(Recall)及F1分数(F1),最后将每个类的指标整合平均得到一个整体指标。上述指标分别定义如下

Accuracy = TP+TN TP+TN+FP+FN (1)
Precision=TPTP+FP (2)
Recall=TPTP+FN (3)
F1=2TP2TP+FP+FN=2×Precision×RecallPrecision+Recall (4)

式中:TP表示被模型预测为正的正样本个数;TN表示被模型预测为负的负样本个数;FP表示被模型误判为正的负样本个数;FN表示被模型误判为负的正样本个

55。精度,也称查准率,代表模型预测为正的样本中预测结果正确的比例;召回率,也称查全率,代表实际为正且预测结果正确的样本占实际为正的样本的比例;F1分数为精度与召回率的调和平均数,以兼顾精度与召回率的综合评判。

同时为了评估模型的整体性能,研究者还引入宏平均F1分数(Macro‑F1, MF1)与Cohen’s Kappa系数κ

56。上述指标定义如下

MF1=F1iC (5)
κ=p0-pe1-pe,pe=aibin2,p0=yin (6)

式中:i表示类,C表示类的数量(一般情况下,C=5),MF1是相对于如睡眠分期这样的多标签分类问题而言的,代表每个类的F1分数总和的平均值;Cohen’s Kappa系数是用于评估专家与拟议方法之间一致性的统计度量,yi表示每个类中预测结果正确的样本数量,ai表示每个类真实的样本数量,bi表示每个类预测出的样本数量,n表示样本总数量。在大多数睡眠数据集上,Cohen’s Kappa系数大于等于0.81,表示模型的预测效果与专家之间具有高度一致

56

2.2 基于不同视图输入的自动睡眠分期

在现阶段的自动睡眠分期研究中,从原始一维信号或由其导出的二维时频图像这类单视图中学习已经相对普遍,然而,从多个视图(例如,结合原始一维信号和二维时频图像)中学习并进行睡眠分期尚未得到广泛应用。

2.2.1 单视图输入

原始一维信号与二维时频图像代表了相同数据的两种不同分布,研究者针对不同的数据表现形式分别构建了相应的模型。部分研究者认为尽管CNN主要应用于二维领域,但它已经成功应用于一维信号的处理,且与传统的二维CNN要求输入数据为矩阵格式不同,一维CNN可以使用简单数组运行。因此,使用一维CNN可以降低计算复杂度,现阶段大多数自动睡眠分期研究依赖于一维CNN方

714⁃2342。另一部分研究者尝试构建二维CNN进行研究,现有研究中存在许多一维到二维变换方法,如短时傅里叶变换(Short‑time Fourier transform, STFT24⁃2629‑3032‑33、快速傅里叶变换(Fast Fourier transform, FFT27、希尔伯特‑黄变换(Hilbert‑Huang transform, HHT28、小波变换(Wavelet transform, WT31。但在一维到二维变换的过程中可能会存在信息丢失的风7,因此应谨慎执行将一维信号转换为二维时频图像的过程。表1表2总结了部分采用单视图输入的自动睡眠分期研究,其中,“-”代表相关论文没有使用或给出。

表1  一维信号输入睡眠分期研究性能汇总
Table 1  Summary of sleep staging on 1D signal input
文献信号数据集模型基础分类效果
准确率κ
[15]2017 EEG MASS CNN‑BiLSTM 0.862 0 0.800 0
[15]2017 EEG Sleep‑EDF CNN‑BiLSTM 0.820 0 0.760 0
[17]2020 EEG+EOG+EMG Sleep‑EDFX 多分支CNN‑Attention 0.858 0 0.800 0
[21]2020 EEG MASS

CNN‑LSTM

CNN‑LSTM

CNN‑LSTM

0.875 0 0.820 0
[21]2020 EEG Sleep‑EDF 0.854 0 0.800 0
[21]2020 EEG Sleep‑EDFX 0.831 0 0.770 0
[14]2021 EEG Sleep‑EDFX CNN‑BiLSTM‑CRF 0.907 0 -
[19]2021 EEG Sleep‑EDFX BiLSTM‑Attention 0.837 8 0.766 0
[20]2021 EEG Sleep‑EDF 多尺度CNN 0.861 0 0.805 0
[22]2021 EEG Sleep‑EDF 多尺度CNN+自适应特征重新校准AFR 0.856 0 0.809 0
[22]2021 EEG Sleep‑EDFX 多尺度CNN+自适应特征重新校准AFR 0.829 0 0.770 0
[22]2021 EEG SHHS 多尺度CNN+自适应特征重新校准AFR 0.866 6 0.810 0
[16]2022 EEG Sleep‑EDF CNN‑BiRNN‑Attention 0.840 4 -
[23]2022 EEG Sleep‑EDF 多尺度CNN‑Attention 0.917 4 0.872 3
[23]2022 EEG Sleep‑EDFX 多尺度CNN‑Attention 0.903 5 0.828 4
表2  二维时频图像输入睡眠分期研究性能汇总
Table 2  Summary of sleep staging on 2D time-frequency image input
文献信号数据集模型基础分类效果
准确率κ
[24]2019 EEG Sleep‑EDF CNN 0.819 0 0.740 0
[24]2019 EEG+EOG Sleep‑EDF CNN 0.823 0 0.750 0
[24]2019 EEG+EOG+EMG MASS CNN 0.836 0 0.770 0
[25]2019 EEG+EOG+EMG MASS BiGRU‑Attention⁃BiLSTM 0.871 0 0.815 0
[28]2020 EEG MIT‑BIH CNN+SENet 0.876 0 0.800 0
[30]2021 EEG SHHS CNN 0.867 0 0.813 0
[30]2021 EEG Sleep‑EDFX CNN 0.837 0 0.775 0
[31]2021 EEG 成功大学 Ensemble CNN 0.937 8 0.911 8
[27]2022 EEG+EOG Sleep‑EDFX CNN 0.940 0 -
[33]2022 EEG SHHS Transformer 0.877 0 0.828 0
[33]2022 EEG Sleep‑EDF Transformer 0.849 0 0.789 0

(1)直接处理原始一维信号

近年来,研究者构建的模型主要使用与目标epoch相邻的一个或几个epoch这类短上下文输入来预测目标epoch对应的睡眠阶段,上述架构虽可以提取到有用的特征,但由于输入的上下文较短,构建的网络无法捕捉到睡眠数据各个epoch之间的长期依赖关系。然而,鉴于睡眠阶段所对应的生理过程本身具有缓慢过渡特性,建立具有长期依赖关系的模型对自动睡眠分期至关重

13。为了弥补长期依赖关系建模的不足,Supratak15提出了DeepSleepNet,见图4。该模型采用了两阶段训练:epoch层次建模和序列层次建模。在epoch层次建模阶段利用多尺度CNN来提取时序及频谱特征,在序列层次建模阶段利用BiLSTM从相邻的epoch中学习睡眠阶段之间的转换规则。两阶段训练模型的设计使得DeepSleepNet从同期的其他模型中脱颖而出,但DeepSleepNet存在网络层数较多,且需要在大型数据集上训练的局限,这与现有的大多数模型存在的局限相同。

图4  DeepSleepNet结构示意[

15]

Fig.4  Structure of DeepSleepNet [

15]

随后,Supratak

21提出了TinySleepNet,以解决DeepSleepNet等模型的局限。与DeepSleepNet不同,TinySleepNet使用单向LSTM,并不需要如BiLSTM一样缓冲大量epoch以进行反向处理,如此大约可以减少一半序列学习所需的计算资源。此外,与其他模型相比,TinySleepNet最大的优势在于其参数尺寸较小。但TinySleepNet也存在不能完全捕获EEG信号不同尺度的显著波形特征的局限,类似地,Arnaud42所提出的模型亦是如此。

EEG信号中用于区分睡眠阶段的多个显著波形具有不同的尺度,因此,不同尺度波形特征的提取具有重要意义。为此,DeepSleepNet

15利用了双尺度卷积来分别提取时序及频谱特征。Wang23提出了MSDAN,见图5。MSDAN利用3种不同尺度的卷积将不同层次的特征联合起来得到全局特征,更具有代表性,优于大部分现有方法(见表1),达到了最先进的水平层次。但相较于MSDAN所使用的单通道EEG信号,多模态信号所包含的用于识别睡眠阶段的特征更多,可相互补充使用,有助于提高分期的性能,MSDAN与DeepSleepNet15、AT‑BiLSTM19、SingleChannelNet20、TinySleepNet21、AttnSleep22等大多数自动睡眠分期模型类似,存在上述局限。

图5  MSDAN结构示意[

23]

Fig.5  Structure of MSDAN[

23]

对于多模态信号(EEG、EOG、EMG等)的研究,Zhu

17提出一种多分支CNN模型,该模型利用不同的分支来提取不同模态的信号,并利用基于自我注意力机制的通道融合方法调整各个通道的权重,以平稳模型。但由于该文献所使用的数据集N1阶段中的过渡时期所占比例远高于其他阶段,且该模型对过渡时期的预测性能较弱,因此,该模型存在N1阶段分类效果较差的局限。

Zhao

18提出了一种双模态多尺度模型结构,见图6。在EEG特征提取模块中,利用多尺度特征融合方案,将不同层次的特征传输至映射块中,并将不同映射块的输出叠加到全局池化层之前,以获得EEG的全局特征;在ECG特征提取模块中,在CNN中结合残差块提取特征,如此通过双模态结构的设计提取EEG和ECG两种不同信号所包含的特征,以提高模型的分期性能,但该模型泛化能力较弱。

图6  双模态多尺度结构示意[

18]

Fig.6  Structure of dual-modal and multi-scale[

18]

(2)将一维信号转换为二维时频图像作为输入

早期的两阶段训练模型产生的效果显著(如DeepSleepNet

15、HATSN32等),但这些模型仍存在一些局限。早期两阶段训练模型的序列层次建模阶段通常被构造为一次只对唯一一个目标epoch进行预测的架构,但实际上,其可以被构造成接受一系列epoch输入的架构。若是序列层次建模阶段被构造成接受一系列epoch输入的架构,那么在一系列epoch输入的情况下,上述唯一预测通常被认为是输入序列中的最后一个epoch,这种情况下,序列层次建模阶段会对目标epoch的左侧上下文进行编码,然而与同时对目标epoch的左侧及右侧上下文进行编码相比,上述仅仅利用目标epoch的左侧上下文一般会导致分类准确率降13。受此启发,Phan25提出了SeqSleepNet,见图7。SeqSleepNet采用了“多对多”架构,即将多个相邻epoch作为输入,并在输出中联合确定目标epoch标签及其相邻epoch的标签。“多对多”架构能够有效解决其他架构(如MultitaskSleepNet24中的“一对多”架构等)不能适应长序列的缺点,例如几十个epoch,可以充分利用相邻epoch之间的长期依赖25。SeqSleepNet使用二维时频图像作为输入,其表现优于同等采用多模态信号输入条件下的模型(见表2),在基于LSTM/GRU的模型中最高。

图7  SeqSleepNet结构示意[

25]

Fig.7  Structure of SeqSleepNet[

25]

随后,Phan

33提出了SleepTransformer,见图8。该模型采用与SeqSleepNet25相似的“多对多”架构。但与SeqSleepNet不同的是,SleepTransformer基于Transformer架构,不同于传统的编码器‑解码器架构必须使用RNN/CNN,Transformer架构完全基于自我注意力机制。在epoch层次建模阶段,其注意力评分被编码为热图,以突出模型从输入的EEG信号中获得的睡眠相关特征;在序列层次建模阶段,其注意力评分被解释为输入序列中目标epoch的不同相邻epoch对其自身的交互作用,以模仿专家手动睡眠分期的过33。SleepTransformer同样使用二维时频图像作为输入,其表现优于同等条件下的大部分序列到序列模型(见表2)。自动睡眠分期模型未来需要实际应用于日常生活中进行睡眠监测,这就需要模型的快速运行。与SeqSleepNet类似,SleepTransformer采用了“多对多”架构,这表示模型需要访问多个epoch组成的整体序列来进行分类,这在一定程度上会导致实时睡眠监测软件的延迟。

图8  SleepTransformer结构示意[

33]

Fig.8  Structure of SleepTransformer[

33]

此外,Kuo

31提出一种集成模型(Ensemble CNN),用于对睡眠阶段进行分类,见图9。该模型通过训练13个构建好的CNN模型并选取其中分类准确率最高的3个CNN模型进行集成,从而得到集成CNN模型,并在自己采集的数据集上取得的总体准确率为93.78%,在基于CNN的模型中最高,但该集成CNN模型泛化能力有待增强。

图9  Ensemble CNN结构示意[

31]

Fig.9  Structure of Ensemble CNN[

31]

2.2.2 多视图输入

与单视图输入相比,从多个视图中获取信息的方式更有助于模型的识别性

57,究其原因,一维信号与二维时频图像代表了相同数据的两种不同分布,且一维信号在时序特征上的表示能力较强,二维时频图像在空间频谱上的表示能力较强,它们包含的信息应存在差1,与单独使用相比,它们可以相互补充使用,组成联合特征,以提高模型的分期性能。但相较于从单视图中学习,从多个视图中学习较为困难,究其原因,研究者构建多视图输入模型时,需要综合考虑多个视图的互补性、多视图模型的有效性及从多个视图中有效学习的灵活性。

对于多个视图的互补性而言,已有研究表明,采用一维信号输入的模型在N3阶段分类性能更优,而采用二维时频图像输入的模型在MASS数据集上对N1和REM阶段的分类性能更

1,因此,联合原始一维信号和二维时频图像的特征具有合理性。

对于多视图模型的有效性而言,多视图输入模型包括多个基础网络,每一个基础网络专门用于一种视图的处理。为了保证多视图模型的有效性,各个基础网络的网络结构应具有多样性,即针对不同视图需专门设计相应用于处理该视图的网络结构。然后,将来自不同基础网络的特征进行组合(例如通过简单连

3437或者特征加权联136,见图10),形成联合特征,并利用其对睡眠阶段进行分类。图10中实线代表特征传输方向,虚线代表梯度流,ω代表权重,代表损失值,*代表联合特征分支。

图10  多视图输入模型特征提取的组合方[

1]

Fig.10  Combination of feature extraction in multi-view input models[

1]

对于从多个视图中有效学习的灵活性而言,在不同基础网络上对相应视图的学习速率可能不同,即对某一视图的学习在模型泛化良好时会加快,在模型过拟合时会减慢。见图10,在现有的两种特征组合方式中,通过简单连接的组合方式直接混合不同视图的特征,并没有对不同视图的特征进行特定处理,获得的联合特征冗杂,具有高相关性的特征无法得到更多关注。而通过特征加权联合的组合方式为了保证模型的分期性能,对每个视图上的学习速率基于它们的泛化/过拟合程度进行调整,即对每个视图对应的基础网络的泛化/过拟合程度进行计算,进而基于它们的泛化/过拟合程度对不同基础网络的梯度流进行特征加权,从而使泛化良好的特征获得较大权重,而过拟合的特征获得较小权重,如此,能够在获取的联合特征中更好地保留不同视图的表示能力。因此,相较于单视图特征和通过简单连接方式获取的联合特征,通过特征加权联合方式获取的联合特征能够更好地代表原始信号的底层数据分布,使用这些联合特征进行睡眠阶段分类的模型相对会产生更高的分期性能。表3总结了部分基于多视图输入的自动睡眠分期研究。

表3  多视图输入睡眠分期研究性能汇总
Table 3  Summary of sleep staging on multi-view input
文献信号数据集模型基础分类效果
准确率κ
[34]2017 EEG 马萨诸塞州综合医院 CNN‑RNN 0.857 6 0.794 6
[35]2019 EEG+EOG+EMG MASS

1D CNN+

2D BiGRU‑Attention

0.880 0 0.828 0
[1]2021 EEG MASS

1D CNN+

2D BiLSTM‑Attention

0.852 0 0.788 0
[1]2021 EEG+EOG MASS

1D CNN+

2D BiLSTM-Attention

0.869 0 0.813 0
[1]2021 EEG+EOG+EMG MASS

1D CNN+

2D BiLSTM‑Attention

0.876 0 0.823 0
[1]2021 EEG SHHS

1D CNN+

2D BiLSTM-Attention

0.876 0 0.826 0
[1]2021 EEG+EOG SHHS

1D CNN+

2D BiLSTM‑Attention

0.888 0 0.843 0
[1]2021 EEG+EOG+EMG SHHS

1D CNN+

2D BiLSTM‑Attention

0.891 0 0.847 0
[1]2021 EEG Sleep‑EDF

1D CNN+

2D BiLSTM‑Attention

0.863 0 0.813 0
[36]2021 EEG Sleep‑EDF 1D CNN+2D CNN 0.943 1 -

Phan

1提出了XSleepNet,其采用了与SeqSleepNet25类似的“多对多”架构,见图11,图中yi(*)代表了第i个epoch对应预测的睡眠阶段。在epoch层次建模阶段设计有两个基础网络:一维信号的特征提取由一个全卷积神经网络(Fully convolutional neural network, FCNN)完成,二维时频图像的特征提取由一个融入注意力机制的BiLSTM完成;在序列层次建模阶段,两个基础网络提取的特征分别被输入对应的BiLSTM/BiGRU中。此外,XsleepNet通过对两个基础网络采用了特征加权联合的方式,以最大程度联合不同视图的特征,从而提高模型的分期准确率。XsleepNet无论在单通道输入条件还是多通道输入条件下,均优于同等条件下的其他单视图输入模型,泛化能力强。但与SeqSleepNet及SleepTransformer类似,XSleepNet亦存在相同的局限,其训练时间更为缓慢。

图11  XSleepNet结构示意[

1]

Fig.11  Structure of XSleepNet[

1]

Siddharth

36提出了SpectroTemporalNet,见图12。该模型包括两个基础网络:一维信号的特征提取由基于自回归生成网络(WaveNet)的一维 CNN网络TemporalNet完成,二维时频图像的特征提取由基于VGG‑16架构的二维 CNN网络SpectralNet完成。通过堆叠泛化的方式集成两个基础网络,以能够同时联合EEG的频谱以及时序特征,堆叠模型可以利用基础网络的预测作为特征,从而获得更多的特征信息,并对其进行条件加权,以获得更好的预测性36,其性能达到最先进的水平,但由于类不平衡问题,该模型在N1阶段分类效果较差。

图12  SpectroTemporalNet结构示意[

36]

Fig.12  Structure of SpectroTemporalNet [

36]

3 挑战与未来方向

如上所述,基于PSG记录的自动睡眠分期已经经历相当一段时间的发展,睡眠阶段分类问题基本得到解决,但仍有挑战需要克服,当然,这些挑战均可以被视为创新的机

13。本文概述了几个关键的挑战,如多视图模型的优化、更标准化的大型睡眠数据集的构建及纵向睡眠监测等问题,以及未来研究的方向,以应对这些挑战。

3.1 多视图模型的优化

多视图模型的构建使得一维信号与二维时频图像这两类视图的差异信息得到利用,但如何保证模型从不同视图中学习到高相关性的特征并进行联合,即如何保证从多个视图中有效学习的灵活性,这是一个相对困难的问题。现有的文献中提出通过简单连

3437或者特征加权联136联合不同视图的特征,并取得了一定的成就,但该问题值得研究者在未来进行更加深入的探索。

此外,现有的多视图模型(如XsleepNet

1)与SeqSleepNet25及SleepTransformer33等类似,存在训练时间缓慢的局限,可能是由于XsleepNet采用的是“多对多”架构。考虑到模型未来需要实际应用于日常生活中进行睡眠监测,可能会对实时睡眠监测软件产生延迟的影响,因此未来需要对多视图模型架构的深入研究,尽可能提升模型的运行速度。

3.2 更标准化的大型睡眠数据集

基于深度学习的自动睡眠分期模型是需要数据驱动的,它只有在大型睡眠数据集(即数百甚至数千受试者的PSG记录)上才能达到与专家一致的性能。但现有的大多数睡眠数据集规模相对较小,即自动睡眠分期算法通常必须使用相当小的睡眠数据集进行训练。现有的解决方案是使用迁移学习,其本质是使用少量数据进一步训练在一个大型睡眠数据集上预训练过的模型。虽然通过迁移学习产生了不错的效果,但由于数据较少,微调时若没有对模型适当正则化,易导致过拟合,尤其是当源域与目标域存在显著差异的时

13。这虽然可以通过微调预训练模型来进行补救,但如何确定微调层仍是一个相当困难的问题。此外,现有的数据集采集生理信号的标准存在差异,不能实现统一标准。因此,更为标准化的大型睡眠数据集的建设依旧是相当严峻的挑战。

3.3 纵向睡眠监测

自动睡眠分期模型未来需要切实应用于日常生活中,在构建自动睡眠分期模型时,应考虑在基于云的处理系统中实现。通过可穿戴睡眠监测设备收集携带者的睡眠数据,并实时传输至云端的模型中,在云端处理后反馈至携带者或临床医生。在这一过程中,可穿戴睡眠监测设备的信号质量、数据的隐私性、多模态信号等一系列问题均需要解

7。一旦克服上述挑战,未来基于深度学习的自动睡眠分期工具将在日常生活或医院环境中发挥重要作用,实现精准睡眠相关疾病的治疗与预防,使需要准确睡眠评估、监测和睡眠障碍治疗方案的人受益。

4 结束语

睡眠分期是睡眠监测和睡眠障碍诊治的关键,准确且高效的自动睡眠分期方法至关重要。本文系统回顾了2017年至2022年间的多项自动睡眠分期研究,重点从单视图和多视图输入两个方面对应用于自动睡眠分期的典型方法进行了技术见解,为未来的研究提供思路。与单视图输入相比,从多个视图中获取特征的方式可以联合多个视图的特征,以将不同视图所包含的差异特征信息相互补充,如此更有助于模型的识别性能。将多视图输入模型应用于自动睡眠分期得到的模型分期准确率尚未达到峰值,未来的研究可更多地关注多视图输入模型在自动睡眠分期中的应用,并进一步评估这类模型在不同数据库上的分期性能,以提高多视图输入模型的泛化能力,减少实际应用中的偏差。

参考文献

1

PHAN H, CHEN O Y, TRAN M C, et al. XSleepNet: Multi-view sequential model for automatic sleep staging[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(9): 5903-5915. [百度学术] 

2

CHO J W, DUFFY J F. Sleep, sleep disorders, and sexual dysfunction[J]. The World Journal of Men’s Health, 2019, 37(3): 261-275. [百度学术] 

3

ZHOU W, ZHU H Y, SHEN N, et al. A lightweight segmented attention network for sleep staging by fusing local characteristics and adjacent information[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine and Biology Society, 2022. DOI: 10.1109/TNSRE.2022.3220372. [百度学术] 

4

EBRAHIMI F, ALIZADEH I. Automatic sleep staging by cardiorespiratory signals: A systematic review[J]. Sleep and Breathing, 2022, 26(2): 965-981. [百度学术] 

5

MIKKELSEN K B, TABAR Y R, KAPPEL S L, et al. Accurate whole-night sleep monitoring with dry-contact ear-EEG[J]. Scientific Reports, 2019, 9(1): 16824. [百度学术] 

6

IBER C, ANCOLI-ISRAEL S, CHESSON A L, et al. The AASM manual for the scoring of sleep and associated events: Rules, terminology and technical specifications[S]. USA: American Academy of Sleep Medicine, 2007. [百度学术] 

7

LOH H W, OOI C P, VICNESH J, et al. Automated detection of sleep stages using deep learning techniques: A systematic review of the last decade (2010—2020)[J]. Applied Sciences, 2020, 10(8963): 8963. [百度学术] 

8

LIU J B, WU D P, WANG Z M, et al. Automatic sleep staging algorithm based on random forest and hidden Markov model[J]. Computer Modeling in Engineering & Sciences, 2020, 123(1): 401-426. [百度学术] 

9

HOJAT G, KAMRAN K, MOHAMMAD S H, et al. An automatic single-channel EEG-based sleep stage scoring method based on hidden Markov model[J]. Journal of Neuroscience Methods, 2019, 324: 108320. [百度学术] 

10

YANG B F, ZHU X L, LIU Y T, et al. A single-channel EEG based automatic sleep stage classification method leveraging deep one-dimensional convolutional neural network and hidden Markov model[J]. Biomedical Signal Processing and Control, 2021, 68: 102581. [百度学术] 

11

FAUST O, RAZAGHI H, BARIKA R, et al. A review of automated sleep stage scoring based on physiological signals for the new millennia[J]. Computer Methods and Programs in Biomedicine, 2019, 176: 81-91. [百度学术] 

12

卢宏涛, 罗沐昆. 基于深度学习的计算机视觉研究新进展[J]. 数据采集与处理, 2022, 37(2): 247-278. [百度学术] 

LU Hongtao, LUO Mukun. Survey on new progresses of deep learning based computer vision[J]. Journal of Data Acquisition and Processing, 2022, 37(2): 247-278. [百度学术] 

13

PHAN H, MIKKELSEN K. Automatic sleep staging of EEG signals: Recent development, challenges, and future directions[J]. Physiological Measurement, 2022. DOI: 10.1088/1361-6579/AC6049. [百度学术] 

14

SUNDAR G N, NARMADHA D, ANTON J A A, et al. Automated sleep stage classification in sleep apnoea using convolutional neural networks[J]. Informatics in Medicine Unlocked, 2021, 26: 100724. [百度学术] 

15

SUPRATAK A, DONG H, WU C, et al. DeepSleepNet: A model for automatic sleep stage scoring based on raw single-channel EEG[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine and Biology Society, 2017, 25(11): 1998-2008. [百度学术] 

16

FU Z Y, HUANG C, ZHANG L, et al. Deep learning model of sleep EEG signal by using bidirectional recurrent neural network encoding and decoding[J]. Electronics, 2022, 11(17): 2644. [百度学术] 

17

ZHU T Q, LUO W, YU F. Multi-Branch convolutional neural network for automatic sleep stage classification with embedded stage refinement and residual attention channel fusion[J]. Sensors (Basel, Switzerland), 2020, 20(22): 6592. [百度学术] 

18

ZHAO R Q, XIA Y, WANG Q Y. Dual-modal and multi-scale deep neural networks for sleep staging using EEG and ECG signals[J]. Biomedical Signal Processing and Control, 2021, 66: 102455. [百度学术] 

19

FU M Y, WANG Y T, CHEN Z X, et al. Deep learning in automatic sleep staging with a single channel electroencephalography[J]. Frontiers in Physiology, 2021, 12: 628502. [百度学术] 

20

ZHOU D D, WANG J, HU G Q, et al. SingleChannelNet: A model for automatic sleep stage classification with raw single-channel EEG[J]. Biomedical Signal Processing and Control, 2022, 75: 103592. [百度学术] 

21

SUPRATAK A, GUO Y. TinySleepNet: An efficient deep learning model for sleep stage scoring based on raw single-channel EEG[J]. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2020, 2020: 641-644. [百度学术] 

22

ELDELE E, CHEN Z H, LIU C Y, et al. An attention-based deep learning approach for sleep stage classification with single-channel EEG[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering : A Publication of the IEEE Engineering in Medicine and Biology Society, 2021, 29: 809-818. [百度学术] 

23

WANG H F, LU C G, ZHANG Q, et al. A novel sleep staging network based on multi-scale dual attention[J]. Biomedical Signal Processing and Control, 2022, 74: 103486. [百度学术] 

24

PHAN H, ANDREOTTI F, COORAY N, et al. Joint classification and prediction CNN framework for automatic sleep stage classification[J]. IEEE Transactions on Bio-medical Engineering, 2019, 66(5): 1285-1296. [百度学术] 

25

PHAN H, ANDREOTTI F, COORAY N, et al. SeqSleepNet: End-to-end hierarchical recurrent neural network for sequence-to-sequence automatic sleep staging[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine and Biology Society, 2019, 27(3): 400-410. [百度学术] 

26

GUILLOT A, THOREY V. RobustSleepNet: Transfer learning for automated sleep staging at scale[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering : A Publication of the IEEE Engineering in Medicine and Biology Society, 2021, 29: 1441-1451. [百度学术] 

27

JOE M, PYO S. Classification of sleep stage with biosignal images using convolutional neural networks[J]. Applied Sciences, 2022, 12(6): 3028. [百度学术] 

28

ZHANG J M, YAO R X, GE W G, et al. Orthogonal convolutional neural networks for automatic sleep stage classification based on single-channel EEG[J]. Computer Methods and Programs in Biomedicine, 2020, 183(C): 105089. [百度学术] 

29

XU Z L, YANG X J, SUN J B, et al. Sleep stage classification using time-frequency spectra from consecutive multi-time points[J]. Frontiers in Neuroscience. 2020. DOI:10.3389/fnins.2020.00014. [百度学术] 

30

ZHOU D D, XU Q, WANG J, et al. LightSleepNet: A lightweight deep model for rapid sleep stage classification with spectrograms[J]. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2021, 2021: 43-46. [百度学术] 

31

KUO C E, CHEN G T, LIAO P Y. An EEG spectrogram-based automatic sleep stage scoring method via data augmentation, ensemble convolution neural network, and expert knowledge[J]. Biomedical Signal Processing and Control, 2021, 70: 102981. [百度学术] 

32

金峥, 贾克斌, 袁野. 基于混合注意力时序网络的睡眠分期算法研究[J]. 生物医学工程学杂志, 2021, 38(2): 241-248. [百度学术] 

JIN Zheng, JIA Kebin, YUAN Ye. A hybrid attention temporal sequential network for sleep stage classification[J]. Journal of Biomedical Engineering, 2021, 38(2): 241-248. [百度学术] 

33

PHAN H, MIKKELSEN K, CHEN O Y, et al. Sleeptransformer: Automatic sleep staging with interpretability and uncertainty quantification[J]. IEEE Transactions on Bio-medical Engineering, 2022, 69(8): 2456-2467. [百度学术] 

34

BISWAL S, KULAS J, SUN H Q, et al. SLEEPNET: Automated sleep staging system via deep learning[EB/OL]. (2017-07-26).https://doi.org/10.48550/arXiV.1707.08262. [百度学术] 

35

PHAN H, CHEN O Y, KOCH P, et al. Fusion of end-to-end deep learning models for sequence-to-sequence sleep staging[J]. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2019, 2019: 1829-1833. [百度学术] 

36

SIDDHARTH S, PARAG V, PALASH R, et al. SpectroTemporalNet: Automated sleep stage scoring with stacked generalization[C]//Proceedings of the Second International Conference on Electronics and Sustainable Communication Systems (ICESC-2021). Coimbatore, India: Hindusthan Institute of Technology, 2021: 1256-1263. [百度学术] 

37

BISWAL S, SUN H Q, GOPARAJU B, et al. Expert-level sleep scoring with deep neural networks[J]. Journal of the American Medical Informatics Association: JAMIA, 2018, 25(12): 1643-1650. [百度学术] 

38

SUN H Q, JIA J, GOPARAJU B, et al. Large-scale automated sleep staging[J]. Sleep, 2017, 40(10): 139. [百度学术] 

39

徐富献, 王抒伟, 钱镶钰, . 睡眠自动分期方法综述[J]. 生物物理学, 2019, 7(3): 34-48. [百度学术] 

XU Fuxian, WANG Shuwei, QIAN Xiangyu, et al. A review of automatic sleep staging[J]. Biophysics, 2019, 7(3): 34-48. [百度学术] 

40

孙正, 候英飒. 深度学习在有限视角稀疏采样光声图像重建中的应用[J]. 数据采集与处理, 2022, 37(5): 971-983. [百度学术] 

SUN Zheng, HOU Yingsa. A survey on application of deep learning in photoacoustic image reconstruction from limited‑view sparse data[J]. Journal of Data Acquisition and Processing, 2022, 37(5): 971-983. [百度学术] 

41

高凌飞, 王海龙, 王海涛, .基于轻量级卷积神经网络的人证比对[J]. 南京航空航天大学学报, 2021, 53(5): 751-758. [百度学术] 

GAO Lingfei, WANG Hailong, WANG Haitao, et al. Scene⁃identity face matching based on efficient convolutional neural network[J]. Journal of Nanjing University of Aeronautics and Astronautics, 2021, 53(5): 751-758. [百度学术] 

42

ARNAUD S, STÉPHANE B, SÉBASTIEN M, et al. A convolutional neural network for sleep stage scoring from raw single-channel EEG[J]. Biomedical Signal Processing and Control, 2018, 42: 107-114. [百度学术] 

43

VALLABHANENI R B, SHARMA P, KUMAR V, et al. Deep learning algorithms in EEG signal decoding application: A review[J]. IEEE ACCESS, 2021, 9: 125778-125786. [百度学术] 

44

SERKAN K, ONUR A, OSAMA A, et al. 1D convolutional neural networks and applications: A survey[J]. Mechanical Systems and Signal Processing, 2021, 151(2021): 107398. [百度学术] 

45

ZHENG Y B, LUO Y Y, ZOU B, et al. MMASleepNet: A multimodal attention network based on electrophysiological signals for automatic sleep staging[J]. Frontiers in Neuroscience, 2022, 16: 973761. [百度学术] 

46

YADAV S P, ZAIDI S, MISHRA A, et al. Survey on machine learning in speech emotion recognition and vision systems using a recurrent neural network (RNN)[J]. Archives of Computational Methods in Engineering, 2022, 29: 1753-1770. [百度学术] 

47

WU Y J, QIN Y H. Machine translation of English speech: Comparison of multiple algorithms[J]. Journal of Intelligent Systems, 2022, 31(1): 159-167. [百度学术] 

48

BERNARDINI A, BRUNELLO A, GIGLI G L, et al. AIOSA: An approach to the automatic identification of obstructive sleep apnea events based on deep learning[J]. Artificial Intelligence in Medicine, 2021, 118: 102133. [百度学术] 

49

HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9: 1735-1780. [百度学术] 

50

CHUNG J Y, GULCEHRE C, CHO K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[EB/OL]. (2014-12-11).https://doi.org/10.48550/arXiV.1412.3555. [百度学术] 

51

O'REILLY C, GOSSELIN N, CARRIER J, et al. Montreal archive of sleep studies: An open-access resource for instrument benchmarking and exploratory research[J]. Journal of Sleep Research, 2014, 23(6): 628-635. [百度学术] 

52

KEMP B, ZWINDERMAN A H, TUK B, et al. Analysis of a sleep-dependent neuronal feedback loop: The slow-wave microcontinuity of the EEG[J]. IEEE Transactions on Bio-medical Engineering, 2000, 47(9): 1185-1194. [百度学术] 

53

ICHIMARU Y, MOODY G B. Development of the polysomnographic database on CD-ROM[J]. Psychiatry and Clinical Neurosciences, 1999, 53: 175-177. [百度学术] 

54

QUAN S F, HOWARD B V, IBER C, et al. The sleep heart health study: Design, rationale, and methods[J]. Sleep, 1997, 20(12): 1077-1085. [百度学术] 

55

孙涵, 刘译善, 林昱涵. 基于深度学习的显著性目标检测综述[J]. 数据采集与处理, 2023, 38(1): 21-50. [百度学术] 

SUN Han, LIU Yishan, LIN Yuhan. Deep learning based salient object detection: A survey[J]. Journal of Data Acquisition and Processing, 2023, 38(1): 21-50. [百度学术] 

56

MCHUGH M L. Interrater reliability: The kappa statistic[J]. Biochemia Medica, 2012, 22(3): 276-282. [百度学术] 

57

ZHAO J, XIE X J, XUN X, et al. Multi-view learning overview: Recent progress and new challenges[J]. Information Fusion, 2017, 38: 43-54. [百度学术]