-
题名基于BERT的短文本相似度判别模型
被引量：4
- 1
-
-
作者
方子卿
陈一飞
-
机构
南京审计大学信息工程学院
-
出处
《电脑知识与技术》
2021年第5期14-18,共5页
-
基金
江苏省自然科学基金面上项目(BK20171495)。
-
文摘
短文本的表示方法和特征提取方法是自然语言处理基础研究的一个重要方向,具有广泛的应用价值。本文提出了BERT_BLSTM_TCNN模型,该神经网络模型利用BERT的迁移学习,并在词向量编码阶段引入对抗训练方法,训练出包括句的语义和结构特征的且泛化性能更优的句特征,并将这些特征输入BLSTM_TCNN层中进行特征抽取以完成对短文本的语义层面上的相似判定。在相关数据集上的实验结果表明:与最先进的预训练模型相比,该模型在有着不错的判定准确率的同时还有参数量小易于训练的优点。
-
关键词
词向量模型
自然语言处理
短文本相似度
卷积神经网络
循环神经网络
-
Keywords
word embedding model
natural language processing
short text similarity
convolutional neural networks
recurrent neu⁃ral networks
-
分类号
G642
[文化科学—高等教育学]
-
-
题名基于深度学习模型的新能源电站一体化短期功率预测
- 2
-
-
作者
尹兆磊
刘嗣萃
于立强
毕圆圆
-
机构
国网冀北电力有限公司承德供电公司
-
出处
《热能动力工程》
CAS
CSCD
北大核心
2023年第6期137-146,共10页
-
基金
国家自然科学基金项目(71471070)。
-
文摘
为了解决风力发电和光伏发电随机性、波动性、间歇性造成的新能源功率预测建模和精度不高问题,基于深度学习模型变分自动编码器(Variational Auto⁃Encoder,VAE)在时间序列建模和非线性逼近特征提取方面的优异性能,开展新能源电站VAE模型功率短期预测研究,并与循环神经网络(RNN)、长短期记忆(LSTM)深度学习方法和支持向量回归(SVR)机器学习方法的预测结果进行了对比。光伏电站和风电场独立功率预测结果表明,深度学习模型较基线机器学习模型预测性能更好,基于VAE的预测方法能够学习更高级别的特征,其预测性能表现更佳,光伏功率预测模型的RMSE、MAE和R2值分别为1.593、1.098和0.973;风光一体化功率预测结果表明,VAE和RNN模型能够提高功率预测准确性,其一体化功率预测模型的R2值分别为0.96和0.97。
-
关键词
一体化功率预测
深度学习
变分自动编码器
RNN
-
Keywords
integrated power prediction
deep learning
variational auto⁃encoder(VAE)
recurrent neu⁃ral network(RNN)
-
分类号
TM73
[电气工程—电力系统及自动化]
-
