首页  |  期刊简介  |  稿件审稿流程  |  学术道德规范  |  编委会  |  征订启事  |  联系我们  |  English
中文核心期刊
中国科技论文统计源期刊
国际刊号:1004-9037
国内刊号:32-1367/TN
用户登录
  E-mail:  
  密  码:  
  作者 审稿  
  编辑 读者  
期刊向导
联系方式
  • 主管:中国科学技术协会
  • 主办:南京航空航天大学
  •           中国电子学会
  • 国际刊号:1004-9037
  • 国内刊号:32-1367/TN
  • 地址:南京市御道街29号
  • 电话:025-84892742
  • 传真:025-84892742
  • E-mail:sjcj@nuaa.edu.cn
  • 邮编:210016
谢润忠,李烨.基于BERT和双通道注意力的文本情感分类模型[J].数据采集与处理,2020,35(4):642-652
基于BERT和双通道注意力的文本情感分类模型
Text Sentiment Classification Model Based on BERT and Dual Channel Attention
投稿时间:2019-08-01  修订日期:2019-11-26
DOI:10.16337/j.1004-9037.2020.04.005
中文关键词:  文本情感分析  深度学习  基于变换器的双向编码器表征技术  双通道  注意力  双向门控循环单元
英文关键词:text sentiment analysis  deep learning  BERT  dual channel  attention  BiGRU
基金项目:
作者单位邮编
谢润忠 上海理工大学光电信息与计算机工程学院上海, 200093 200093
李烨 上海理工大学光电信息与计算机工程学院上海, 200093 200093
摘要点击次数: 107
全文下载次数: 218
中文摘要:
      对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元(BiGRU)神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。
英文摘要:
      As for sentence-level emotion analysis, current deep learning methods fail to make full use of emotional language resources such as emotion words, negative words and degree adverbs. A new model is proposed based on bidirectional encoder representations from transformers (BERT) and dual channel attention. One channel based on bi-directional GRU (BiGRU) neural network is responsible for extracting semantic features, while the other based on full connection neural network is responsible for extracting emotional features. At the same time, attention mechanism is introduced into both the channels to better extract key information, and the pre-trained model Bert is used to provide word vectors and thereafter adjust them dynamically according to the context so as to embed real emotional semantic into the model. The final semantic expression is obtained through the fusion of semantic features and emotional features from the two channels. The experimental results show that, compared with other word vector tools, BERT has a better feature extraction ability, while the emotional information channel and the attention mechanism enhance the model’s ability to capture emotional semantics, which significantly improves the performance of emotion classification and its convergence speed and stability as well.
查看全文  HTML  查看/发表评论

Copyright @2010-2015《数据采集与处理》编辑部

地址:南京市御道街29号        邮编:210016

电话:025-84892742      传真:025-84892742       E-mail:sjcj@nuaa.edu.cn

您是本站第1823806位访问者 本站今日一共被访问109

技术支持:北京勤云科技发展有限公司