西安邮电大学学报

2020, v.25;No.146(05) 80-86

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于双向预训练语言模型的文本情感分类
Text sentiment classification based on bidirectional pre-training language model

马力;王璐琳;

摘要(Abstract):

针对Word2vec和GloVe等词嵌入方法无法学习相同词汇在不同上下文中的一词多义,以及单向语言模型的特征融合能力较弱的问题,提出一种基于双向预训练语言模型的文本情感分类方法。在大型通用语料库上利用双向Transformer语言模型进行无监督的训练,得到预训练语言模型。在预训练语言模型的输出层上添加一层softmax网络,并在文本情感分类的任务语料上微调模型,利用该模型进行文本情感分类。实验结果表明,该方法在SST-2和Yelp14数据集上分类的准确率分别提高了1.8%和1.4%,有效地提高了情感分类准确率。

关键词(KeyWords): 文本情感分类;一词多义;特征融合;双向语言模型;微调

Abstract:

Keywords:

基金项目(Foundation): 国家自然科学基金项目(61373116);; 陕西省自然科学基础研究计划项目(2016JM6085)

作者(Author): 马力;王璐琳;

Email:

DOI: 10.13682/j.issn.2095-6533.2020.05.014

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享