摘要
人脸表情识别是人类情感识别的基础，是近年来模式识别与人工智能领域研究的热点问题。本文首先总结了人脸表情识别的发展过程，主要包括传统的表情特征提取、表情分类方法与基于深度学习的表情识别方法，并对各种算法的识别率与性能进行了分析与比较。然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题，并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法。最后，总结了表情识别领域目前存在的问题并展望了未来可能的发展。
人脸表情是一种非常重要的语言交往方式，也是人与人之间进行沟通的重要手段。1971年，Ekman等
人脸表情识别（Facial expression recognition, FER）技术是将生理学、心理学、图像处理、机器视觉与模式识别等研究领域进行交叉与融合，是近年来模式识别与人工智能领域研究的一个热点问题。人脸表情识别在计算机视觉、社会情感分析、刑事案件侦破与医疗诊断等方面有着广泛的应用。
人脸表情识别是人脸识别
图1 人脸表情识别主要步骤
Fig.1 Main steps of facial expression recognition
传统的表情识别方法主要分为人脸面部特征提取与表情分类两部分，分步进行操作。
一张人脸图片拥有大量的信息，而且在视频序列中一个人在不同时刻所做出的表情也不完全相同
人脸表情的表现依赖于人脸肌肉的运动。人脸表情图像可以直观表现出人脸做出表情时肌肉运动所带来的相应的人脸纹理与外观的变化，而这些变化对人脸图像产生全局信息的影响，从而提出了基于全局的特征提取方法。
基于全局的特征提取方法是指将人脸作为一个完整的部分对其进行特征提取，然后将提取出的特征进行降维处理，从而获得表情特征。主成分分析（Principal component analysis, PCA）
此外，局部线性嵌入（Locally linear embedding, LLE）与线性判断分析（Linear discriminant analysis, LDA）也广泛应用于表情特征提取部分。Roweos等
基于全局的特征提取方法在受控制的环境中取得了不错的成绩，但在样本量小、环境复杂的情况下不能达到很好的效果，而且性能普遍较差。
基于局部的特征提取方法主要是针对人脸的表情易变区域进行编码与表征。常见的局部提取方法主要包括基于几何特征的提取方法和基于纹理的特征提取方法。
（1）基于几何特征的提取方法
几何特征的提取主要是通过图像中人脸表情的显著特征，如眼睛、嘴巴、鼻子、眉毛等部位进行定位，从而得到丰富的空间几何信息，通过这些信息进行表情识别。
在基于几何特征的提取方法中， AU
基于几何的特征提取方法可以有效地提取人脸面部表情的显著特征，但是当图像出现人脸五官不完整，或角度、光照强度及人脸尺寸等关键识别分类信息丢失时，会导致提取出的特征出现偏差，从而使得识别精度下降。
（2）基于纹理特征的提取方法
纹理特征是指图像像素周围空间邻域的灰度分布，最常用的提取方法是局部二值模式（Local binary pattern, LBP）
传统的LBP算法定义了一个3×3的LBP算子，设置其中央像素点灰度值作为阈值，然后对阈值与中央像素点附近8个方向的灰度值进行比较，如果相邻像素点的灰度值大于中心像素的灰度值，则将其值设为1，否则设置为0，然后按照一定顺序形成8位二进制码，对应的十进制数则为LBP值。
传统的LBP方法将中心像素与单个邻域像素的灰度值进行比较，忽略了中心像素的作用以及一定范围内相邻像素之间的关系，从而导致部分局部特征丢失。面部表情图像特征复杂、细节丰富、类内差异大，使得传统的LBP方法难以详细描述像素在邻域方向上的灰度值变化。所以在LBP的基础上，Sheng等
| 特征提取方法 | 表情识别准确率/% |
|---|---|
| LBP | 88.21 |
| LTP | 88.67 |
| LDP | 89.52 |
| MDLBP | 88.72 |
| CLBP | 88.83 |
| ARBP | 92.52 |
| ARLCP | 94.41 |
此外，基于Gabor小波变换的方法也常用于表情特征提取。2008年，Bashyal等
混合提取方法是指将基于全局的特征提取方法和基于局部的特征提取方法进行融合，共同提取人脸表情的多种特征。Chao等
在特征提取工作完成后，需要根据提取出的特征对表情进行分类处理。传统的表情分类方法主要分为机器学习方法与非机器学习方法。
非机器学习方法主要包括了HMM模型、模糊数学（Fuzzy mathemtics）以及贝叶斯分类器（Naive Bayes classifier）等。Filntisis等
随着机器学习的深入发展，研究者开始使用机器学习方法对表情进行分类。常用的机器学习方法有SVM、K近邻算法（K‑NearestNeighbor, KNN）以及神经网络等。Liu等
2006年，Hinton等
深度学习在图像识别领域取得的巨大成绩为表情识别提供了新的思路
深度学习在表情识别中的应用，大多基于VGGNet、GooGleNet与ResNet网络模型，其核心结构均为深度卷积神经网络（Deep convolution neural networks, DCNN）。在此基础上，Mollahosseini等
| 深度模型 | 准确率/% |
|---|---|
| 3DCNN | 85.90 |
| 3DCNN‑DAP | 92.40 |
| CNN‑DNN | 96.92 |
| TCAN+Partical contrastive | 97.25 |
| CNN+FC | 97.60 |
除了对基础模型及网络结构进行改进外，有些研究者还对损失函数进行了研究与改进。Sun等
| 损失函数 | 准确率/% |
|---|---|
| DLP‑CNN | 80.897 |
| GAN‑Inpainting | 81.874 |
| Softmax loss | 78.725 |
| Island loss | 81.813 |
| Center loss | 80.375 |
| KM loss | 83.145 |
| Cosine distance loss | 83.196 |
表情识别起步相对较晚，发展还不够成熟，因此当前公开的数据集也较少。完善的表情数据集需要人脸图片包括各种表情以及五官信息,常用的表情数据集如下：
（1）The Japanese Female Facial Expression Database（JAFFE）。1998年，Lyons等
（2）The Extended Cohn‑Kanade Dataset（CK+）。2010年，Lucey等
图2 JAFFE与CK+数据集部分图像对比
Fig.2 Comparison of JAFFE and CK + datasets
（3）Natural Visible and Infrared Facial Expression（USTC‑NVIE）。2010年，Wang等
（4）Acted Facial Expression in the Wild（AFEW）。2012年，Dhall等
（5）GENKI‑4K。该数据集共4 000张图像，包含了两种表情：笑与不笑，被专门用来进行笑脸识别。此数据集姿势随意，图像大小不一，光照变化较多，导致此数据集比较复杂。
（6）Bimodal Face and Body Gesture Database（FABO）。该数据集在人脸表情的基础上，添加了身体姿态信息，目的在于利用表情与姿态进行表情分析与情感分析。FABO数据集包含23名参与者9种不同的表情。
（7）Beihang University（BHU）。2007年，毛峡等
（8）The Facial Expression Datasets with Label in the Wild（FELW）。2019年，叶继华等
图3 FELW数据集部分表情图像
Fig.3 Partial expression images of FELW
虽然近年来越来越多的表情数据集得到公开，但人脸表情数据集普遍存在数据规模较小、数据量不足以及数据种类不平衡的问题。随着深度学习更广泛地应用于表情识别，训练神经网络需要更丰富、平衡的数据集。针对这一问题，研究者开始使用数据增强的方法扩充原始数据集。
最初，对原始图像进行几何变换成为一种普遍的做法。Simard等
针对图像的亮度、对比度等色彩空间属性进行调节，也是一种常见的数据增强方法。通过对原始图像的亮度进行调节，在扩大样本数量的同时，可以在一定程度上削弱光照问题对表情识别产生的影响。
除了通过几何变换与调整色彩属性的方法，对局部区域进行特殊处理也产生了不错的效果。Sun等
2014年，Goodfellow提出了生成对抗网络（Generative adversarial network, GAN）
图4 GAN网络模型结构
Fig.4 GAN network model structure
随着GAN网络的发展，越来越多的表情识别研究者开始将GAN网络用于人脸表情数据集增强。Arjovsky等
图5 StarGAN在CelebA数据集上效果图
Fig.5 Effect of StarGAN on the CelebA dataset
目前人脸表情识别研究已经有了很大进展，部分技术也已经得到了应用。但是当前表情识别依然存在着一些问题，主要有以下几个方面：
（1）表情种类不够丰富，人脸表情并不是局限于6种基本表情，这也导致人脸表情识别对复杂表情识别效果不佳。
（2）目前传统的特征提取和分类方法一般都是通过标准人脸表情数据集来验证识别率，对于复杂环境与多变环境考虑不足，削弱了表情识别系统的适用性。
（3）传统的特征提取方法难以提取出人脸表情中隐藏较深的特征，而CNN等深度学习算法虽然可以提取出人工难以想到的特征，但训练复杂神经网络需要大量的计算成本与训练时间。
在机器学习与人工智能迅速发展的今天，对人脸表情进行实时识别与分析的需求越来越显著，表情识别获得了更为广阔的研究前景。表情识别未来的发展应当在技术创新与新应用方向两方面进行探索。
（1）进一步解决光照、遮挡等复杂环境下表情识别率下降的问题，提升表情识别系统的鲁棒性。当前，自然环境下的数据集并不丰富，导致很多模型对于复杂环境下的表情识别效果不佳，构造一个丰富的自然环境下3D人脸表情数据集，对于表情识别未来的研究会产生重要的影响。
（2）在提取表情特征时，考虑更多的边缘信息。随着边缘计算的兴起与发展，利用边缘信息进行人脸识别与图像识别的技术正变得越来越成熟，利用边缘信息分析人脸表情也更加重要。
（3）改进深度模型。当前的深度模型可以得到不错的预测准确率，但训练中因高复杂度模型产生的过多参数会导致模型训练成本急剧增加，同时深度模型对于提取到的特征的解释性较差。如何增强深度模型的解释性，以及如何通过技术对深度模型进行精简，在降低训练成本的情况下保持并增加模型预测的准确率，是未来表情识别发展的重要环节。
（4）提高GAN网络对表情数据增强的影响，通过融入非视觉形式，如对语义特征等更深层次的特征的关注，来提升模型的泛化能力。此外，通过生成对抗网络解决表情数据量不平衡，也是值得关注的问题。
（1）在计算机中训练好的模型虽然可以得到不错的预测效果，但巨大的计算成本导致其难以使用到轻便设备中。如何更好地将模型运用到移动端与嵌入式设备中，增加表情识别的实用性，还有待于进一步研究。
（2）随着微表情在心理学领域的发展，将表情识别的方法用于对人脸微表情进行识别已经得到了一部分研究者的关注。微表情作为一种自发性的表情，具有动作幅度小、持续时间短的特点，所以制作微表情数据集、提取微表情特征是未来的研究重点。
（3）人的表情与动作在很大程度上能够体现一个人的情感状态。在表情识别的基础上，与姿态分析技术进行结合，通过实时人脸表情与姿态动作进行情感识别与分析，是未来研究的重要方向。
本文重点总结了表情识别中传统的特征提取方法、表情分类方法与基于深度学习的表情识别方法。介绍了表情数据集，并针对表情数据集出现的数据量不足以及数据不丰富等问题，总结了GAN等用于表情数据增强的方法。最后总结了表情识别目前存在的问题并对未来的发展方向做出了展望。
随着心理学的不断发展，对于人内心情绪的判断变得更为重要，通过表情识别对心理健康状况进行分析与判断是人们当前显著的诉求，因此通过机器进行表情识别与心理状况分析显得更为重要。未来的表情识别应当朝着效率更高、适用性更强的方向进行发展。
参考文献
EKMAN P，FRIESON WV. Constants across cultures in the face and emotion[J]. Journal of Personality and Social Psychology, 1971, 17: 124‑129. [百度学术]
ZHU Yulian. Local bagging and its application on face recognition[J]. Transactions of Nanjing University of Aeronautics & Astronautics, 2010, 27(3): 255‑260. [百度学术]
WANG Zhen, XIE Qiang, DING Qiulin. Scratch detection algorithm of car surface based on directional color SUSAN operator[J]. Transactions of Nanjing University of Aeronautics & Astronautics, 2019, 36(3): 479‑487. [百度学术]
胡彬,杨铖,邵叶秦,等.基于视频的行人再识别[J].南京航空航天大学学报, 2019, 51(5): 669‑674. [百度学术]
HU Bin, YANG Cheng, SHAO Yeqin, et al. Video‑based person re‑identification[J]. Journal of Nanjing University of Aeronautics and Astronautics, 2019, 51(5): 669‑674. [百度学术]
TEHMINA K, MUHAMMAD A S, MUHAMMAD M, et al. Emotion recognition from facial expressions using hybrid feature descriptors[J]. IET Image Processing, 2018, 12(6): 1004‑1012. [百度学术]
YI Jizheng, CHEN Aibin, CAI Zixing, et al. Facial expression recognition of intercepted video sequences based on feature point movement trend and feature block texture variation[J]. Applied Soft Computing, 2019: 105540. [百度学术]
WOLD S, ESBENSEN K, GELADI P. Principal component analysis[J]. Chemometrics and Intelligent Laboratory Systems, 1987, 2(1/2/3): 37‑52. [百度学术]
NIU Zhiguo, QIU Xuehong. Facial expression recognition based on weighted principal component analysis and support vector machines[C]// Proceedings of International Conference on Advanced Computer Theory & Engineering. [S.l.]: IEEE, 2010. DOI: 10.1109/ICACTE.2010.5579670. [百度学术]
ZHU Yani, LI Xiaoxin, WU Guohua. Face expression recognition based on equable principal component analysis and linear regression classification[C]// Proceedings of International Conference on Systems & Informatics. [S.l.]: IEEE, 2017. DOI: 10.1109/ICSAI.2016.7811074. [百度学术]
周书仁, 梁昔明, 朱灿, 等. 基于ICA与HMM的表情识别[J]. 中国图象图形学报, 2008(12): 76‑83. [百度学术]
ZHOU Shuren, LIANG Ximing, ZHU Can, et al. Facial expression recognition based on independent component analysis and hidden Markov model[J]. Journal of Image and Graphics, 2008(12): 76‑83. [百度学术]
ROWEIS S T. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500): 2323‑2326. [百度学术]
MENG Dan, CAO Guitao, HE Zhihai, et al. Facial expression recognition based on LLENet[C]// Proceedings of 2016 IEEE International Conference on Bioinformatics and Biomedicine (BIBM). [S.l.]: IEEE Computer Society, 2016: 1915‑1917. [百度学术]
SIDDIQI M H, ALI R, KHAN A M, et al. Human facial expression recognition using stepwise linear discriminant analysis and hidden conditional random fields[J]. IEEE Transactions on Image Processing, 2015, 24(4): 1386‑1398. [百度学术]
朱明旱, 罗大庸. 2DFLD与LPP相结合的人脸和表情识别方法[J]. 模式识别与人工智能, 2009, 22(1):60‑64. [百度学术]
ZHU Minghan, LUO Dayong. Faceand expression recognition method by combing 2DFLD with LPP[J]. Patt Recog Artif Intell, 2009, 22(1): 60‑64. [百度学术]
PANTIC M, BARTLETT M S. Face recognition[M]. [S.l.]: I‑Tech Education and Publishing, 2007. [百度学术]
ZHAO Kaili, CHU Wensheng, TORRE F D L, et al. Joint patch and multi‑label learning for facial action unit detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]:IEEE Computer Society, 2015: 2207‑2216. [百度学术]
HAN Shizhong, MENG Zibo, LIU Ping, et al. Facial grid transformation: A novel face registration approach for improving facial action unit recognition[C]// Proceedings of 2014 IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2014: 1415‑1419. [百度学术]
COOTES T F, TAYLOR C J, COOPER D H, et al. Active shape models‑their training and application[J]. Computer Vision and Image Understanding, 1995, 61(1): 38‑59. [百度学术]
MATTHEWS I, BAKER S. Active appearance models revisited[J]. International Journal of Computer Vision, 2004, 60(2): 135‑164. [百度学术]
BARMAN A, DUTTA P. Facial expression recognition using distance and shape signature features[J]. Pattern Recognition Letters, 2017: S0167865517302246. [百度学术]
OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray‑scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971‑987. [百度学术]
ZHANG Ziyang, MU Xiaomin, GAO Lei. Recognizing facial expressions based on Gabor filter selection[C]//Proceedings of International Congress on Image and Signal Processing． Shanghai, China: IEEE, 2011: 1544‑1548． [百度学术]
LIAO Shengcai, ZHU Xiangxin, LEI Zhen, et al. Learning multi‑scale block local binary patterns for face recognition[C]// Proceedings of the 2007 International Conference on Advances in Biometrics. [S.l.]: DBLP, 2007: 823‑827. [百度学术]
KABIR H, JABID T, CHAE O. A local directional pattern variance (LDPV) based face descriptor for human facial expression recognition[C]//Proceedings of Seventh IEEE International Conference on Advanced Video & Signal Based Surveillance. [S.l.]: IEEE, 2010. DOI: 10.1109/AVSS.2010.9. [百度学术]
JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern[J]. ETRI Journal, 2010, 32(5): 784‑794. [百度学术]
LI Hao, LI Guomin. Research on facial expression recognition based on LBP and deep learning[C]// Proceedings of 2019 International Conference on Robots & Intelligent System (ICRIS). [S.l.]: IEEE, 2019: 94‑97. [百度学术]
NAGARAJA S, PRABHAKAR C J, KUMAR P P. Complete local binary pattern for representation of facial expression based on curvelet transform[C]// Proceedings of International Conference on Multimedia Processing, Communication and Information Technology (MPCIT). [S.l.]:Association of Computer Electronics and Electrical Engineers, 2013: 48‑56. [百度学术]
WU Xuelian, QIU Qingchen, LIU Zhi, et al. Hyphae detection in fungal keratitis images with adaptive robust binary pattern[J]. IEEE Access, 2018, 6: 13449‑13460. [百度学术]
RUBEL A S, CHOWDHURY A A, KABIR M H. Facial expression recognition using adaptive robust local complete pattern[C]// Proceedings of 2019 IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2019: 41‑45. [百度学术]
BASHYAL S, VENAYAGAMOORTHY G K. Recognition of facial expressions using Gabor wavelets and learning vector quantization[J]. Engineering Applications of Artificial Intelligence, 2008, 21(7): 1056‑1064. [百度学术]
ABBOUD B, DAVOINE F, DANG M. Expressive face recognition and synthesis[C]// Proceedings of Conference on Computer Vision & Pattern Recognition Workshop. [S.l.]: IEEE, 2008. DOI: 10.1109/CVPRW.2003.10056. [百度学术]
邓洪波，金连文．一种基于局部 Gabor 滤波器组及 PCA＋LDA 的人脸表情识别方法[J]．中国图象图形学报，2007， 12(2)：322‑329. [百度学术]
DENG Hongbo, JIN Lianwen. Facial expression recognition based on local Gabor filter bank and PCA+LDA[J]. Journal of Image and Graphics, 2007, 12(2): 322‑329. [百度学术]
姚伟，孙正，张岩．面向脸部表情识别的 Gabor 特征选择方法[J]．计算机辅助设计与图形学学报， 2008， 22（1）： 79‑84. [百度学术]
YAO Wei, SUN Zheng, ZHANG Yan. Optimal Gabor feature for facial expression recognition[J]. Computer Graphics, 2008, 22(1): 79‑84 [百度学术]
CHAO Weilun, DING Jianjun, LIU Junzuo. Facial expression recognition based on improved local binary pattern and class‑regularized locality preserving projection[J]. Signal Processing, 2015, 117: 1‑10. [百度学术]
AGARWAL S, MUKHERJEE D P. Facial expression recognition through adaptive learning of local motion descriptor[J]. Multimedia Tools and Applications, 2017, 76(1): 1073‑1099. [百度学术]
WANG Xiaohua, JIN Chao, LIU Wei, et al. Feature fusion of HOG and WLD for facial expression recognition[C]// Proceedings of 2013 IEEE/SICE International Symposium on System Integration (SII). Kobe, Japan: IEEE, 2013. DOI: 10.1109/SII.2013.6776664. [百度学术]
LIU Shuaishi, TIAN Yantao. Facial expression recognition method based on Gabor wavelet features and fractional power polynomial kernel PCA[C]// Proceedings of International Symposium on Neural Networks. Berlin, Heidelberg: Springer, 2010: 144‑151. [百度学术]
FILNTISIS P P, KATSAMANIS A, MARAGOS P. Photorealistic adaptation and interpolation of facial expressions using HMMS and AAMS for audio‑visual speech synthesis[C]// Proceedings of 2017 IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2017. DOI: 10.1109/ICIP.2017.8296821. [百度学术]
DEVI D N, RAO M V K. A novel method to achieve optimization in facial expression recognition using HMM[C]// Proceedings of 2015 International Conference on Signal Processing and Communication Engineering Systems (SPACES). Guntur, India: IEEE, 2015. DOI: 10.1109/SPACES.2015.7058210. [百度学术]
HALDER A, CHARKRABORTY A, KONAR A, et al. Computing with words model for emotion recognition by facial expression analysis using interval type‑2 fuzzy sets[C]// Proceedings of Fuzzy Systems (FUZZ), 2013 IEEE International Conference on. Hyderabad, India: IEEE, 2013. DOI: 10.1109/FUZZ‑IEEE.2013.6622543. [百度学术]
SEBE N, LEW M S, COHEN I, et al. Emotion recognition using a Cauchy Naive Bayes classifier[C]// Object Recognition Supported by User Interaction for Service Robots. Quebec City, Quebec, Canada: IEEE, 2002. DOI: 10.1109/ICPR.2002.1044578. [百度学术]
LIU P, ZHOU J T, TSANG W H, et al. Feature disentangling machine—A novel approach of feature selection and disentangling in facial expression analysis[C]// Proceedings of European Conference on Computer Vision. Cham: Springer, 2014: 151‑166. [百度学术]
孙晓, 潘汀, 任福继. 基于 ROI‑KNN 卷积神经网络的面部表情识别[J]. 自动化学报, 2016, 42(6): 883‑891. [百度学术]
SUN Xiao, PAN Ting, REN Fuji. Facial expression recognition using ROI‑KNN deep convolutional neural networks[J]. Acta Automatica Sinica, 2016, 42(6): 883‑891. [百度学术]
DINO H I, ABDULRAZZAQ M B. Facial expression classification based on SVM, KNN and MLP classifiers[C]// Proceedings of 2019 International Conference on Advanced Science and Engineering (ICOASE). [S.l.]: IEEE, 2019: 70‑75. [百度学术]
HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504‑507. [百度学术]
ALEX K, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2): 1097‑1105. [百度学术]
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large‑scale image recognition[J/OL]. (2014‑12‑13)[2019‑11‑30]. https://arxiv.org/abs/1409.1556. [百度学术]
SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 1‑9. [百度学术]
LOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. (2015‑03‑02)[2019‑11‑30]. https://arxiv.org/abs/1502.03167v1arXiv preprint arXiv:1502.03167. [百度学术]
HE Kaiming, ZHANG Xiaoyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]:IEEE, 2016: 770‑778. [百度学术]
SZEGEDY C, LOFFE S, VANHOUCKE V, et al. Inception‑V4, inception‑resnet and the impact of residual connections on learning[C]// Proceedings of Thirty‑First AAAI Conference on Artificial Intelligence. [S.l.]:AAAI, 2017. [百度学术]
钱付兰, 李建红, 赵姝, 等. 基于深度混合模型评分推荐[J].南京航空航天大学学报, 2019, 51(5): 592‑598. [百度学术]
QIAN Fulan, LI Jianhong, ZHAO Shu, et al. Rating recommendation based on deep hybrid model[J]. Journal of Nanjing University of Aeronautics and Astronautics, 2019, 51(5): 592‑598. [百度学术]
MOLLAHOSSEINI A, CHAN D, MAHOOR M H. Going deeper in facial expression recognition using deep neural networks[C]//Proceedings of 2016 IEEE Winter Conference on Applications of Computer Vision (WACV). [S.l.]: IEEE, 2016: 1‑10. [百度学术]
JUNG H, LEE S, YIM J, et al. Joint fine‑tuning in deep neural networks for facial expression recognition[C]//Proceedings of the IEEE International Conference on Computer Vision. [S.l.]:IEEE, 2015: 2983‑2991. [百度学术]
LOPES A T, AGUIAR E D，SOUZA A F D，et al. Facial expression recognition with convolutional neural networks：Coping with few data and the training sample order[J]. Pattern Recognition, 2017, 61: 610‑628. [百度学术]
VERMA M, KOBORI H, NAKASHIMA Y, et al. Facial expression recognition with skip‑connection to leverage low‑level features[C]// Proceedings of 2019 IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2019: 51‑55. [百度学术]
SUN Yi, CHEN Yuheng, WANG Xiaogang, et al. Deep learning face representation by joint identification‑verification[C]// Proceedings of Advances in Neural Information Processing Systems. Canada: [s.n.],2014: 1988‑1996. [百度学术]
SCHROFF F, KALENICHENKO D, PHILBIN J. Facenet: A unified embedding for face recognition and clustering[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]:IEEE, 2015: 815‑823. [百度学术]
WEN Yangdong, ZHANG Kaipeng, LI Zhifeng, et al. A discriminative feature learning approach for deep face recognition[C]// Proceedings of European Conference on Computer Vision. Cham: Springer, 2016: 499‑515. [百度学术]
CAI J, MENG Z, KHAN A S, et al. Island loss for learning discriminative features in facial expression recognition[C]// Proceedings of 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). [S.l.]: IEEE, 2018: 302‑309. [百度学术]
WANG Feng, CHENG Jian, LIU Weiyang, et al. Additive margin softmax for face verification[J]. IEEE Signal Processing Letters, 2018, 25(7): 926‑930. [百度学术]
吴慧华, 苏寒松, 刘高华, 等. 基于余弦距离损失函数的人脸表情识别算法[J]. 激光与光电子学进展, 2019, 56(24): 241502. [百度学术]
WU Huihua, SU Hansong, LIU Gaohua, et al. A facial expression recognition algorithm based on cosine distance loss function[J]. Las Optoelect Prog, 2019, 56(24): 241502. [百度学术]
RAO Qiang, YU Bing, YANG Yun, et al. Knot magnify loss for face recognition[C]// Proceedings of 2018 25th IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2018: 2396‑2400. [百度学术]
LYONS M, AKAMATSU S, KAMACHI M, et al. Coding facial expressions with gabor wavelets[C]//Proceedings of Third IEEE International Conference on Automatic Face and Gesture Recognition. [S.l.]:IEEE, 1998: 200‑205. [百度学术]
LUCEY P, COHN J F, KANADE T, et al. The extended cohn‑kanade dataset (CK+): A complete dataset for action unit and emotion‑specified expression[C]// Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition‑Workshops. [S.l.]: IEEE, 2010: 94‑101. [百度学术]
WANG Shangfei，LIU Zhilie，LV Siliang，et al．A natural visible and infrared facial expression database for expression recognition and emotion Inference［J］. IEEE Transactions on Multimedia, 2010, 12 (7): 682‑691． [百度学术]
DHALL A, GOECHE R, LUCEY S, et al. Collecting large, richly annotated facial‑expression databases from movies[J]. IEEE Multi Media, 2012, 19(3): 34‑41. [百度学术]
薛雨丽, 毛峡, 张帆. BHU人脸表情数据库的设计与实现[J]. 北京航空航天大学学报, 2007, 33(2): 224‑228. [百度学术]
XUE Yuli, MAO Xia, ZHANG Fan. Design and realization of BHU facial expression database[J]. Journal of Beijing University of Aeronautics and Astronautics, 2007, 33(2): 224‑228. [百度学术]
叶继华, 刘燕, 李汉曦,等. 自然场景下人脸表情数据集的构建[J]. 数据采集与处理, 2019, 34(1): 62‑71. [百度学术]
YE Jihua, LIU Yan, LI Hanxi, et al. Construction of facial expression dataset in natural scene[J]. Journal of Data Acquisition and Processing, 2019, 34(1): 62‑71. [百度学术]
SIMARD P Y, STEINKRAUS D, PLATT J C. Best practices for convolutional neural networks applied to visual document analysis[C]// Proceedings of Seventh International Conference on Document Analysis and Recognition, 2003. Edinburgh, UK: IEEE, 2003. DOI: 10.1109/ICDAR.2003.1227801. [百度学术]
LOPES A T, DE AGUIAR E, DE SOUZA A F, et al. Facial expression recognition with convolutional neural networks: Coping with few data and the training sample order[J]. Pattern Recognition, 2017, 61: 610‑628. [百度学术]
KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]// Proceedings of Advances in Neural Information Processing Systems. [S.l.]:ACM, 2012: 1097‑1105. [百度学术]
SUN Xiao, LV Man, QUAN Changqin, et al. Improved facial expression recognition method based on ROI deep convolutional neutral network[C]// Proceedings of 2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII). [S.l.]: IEEE, 2017: 256‑261. [百度学术]
GOODFELLOW I, POUGET‑ABADIE J, MIRZA M, et al. Generative adversarial nets[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. [S.l.]:ACM, 2014: 2672‑2680. [百度学术]
GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of wasserstein gans[J/OL].(2017‑03‑31)[2019‑11‑30]. https://arxiv.org/abs/1704.00028. [百度学术]
ZHU Junyan, PARK T, ISOLA P, et al. Unpaired image‑to‑image translation using cycle‑consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision. [S.l.]:IEEE, 2017: 2223‑2232. [百度学术]
MIRZA M, OSINDERO S. Conditional generative adversarial nets[J/OL]. (2014‑11‑06)[2019‑11‑30]. https://arxiv.org/abs/1411.1784. [百度学术]
CHOI Y, CHOI M, KIM M, et al. Stargan: Unified generative adversarial networks for multi‑domain image‑to‑image translation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]:IEEE, 2018: 8789‑8797. [百度学术]
TANG Hao, WANG Wei, WU Songong, et al. Expression conditional GAN for facial expression‑to‑expression translation[J/OL].(2019‑05‑14)[2019‑11‑30]. https://arxiv.org/abs/1905.05416?context=cs.AI. [百度学术]
