【目的/意义】学术文献的摘要由目的、方法、结果等结构组成,这些结构具有特定的功能。目前,针对摘要功能结构识别的研究不多,且存在识别效率不高的问题,本文引入双向循环神经网络(Bidirectional Recurrent Neural Network, BiRNN)、双...【目的/意义】学术文献的摘要由目的、方法、结果等结构组成,这些结构具有特定的功能。目前,针对摘要功能结构识别的研究不多,且存在识别效率不高的问题,本文引入双向循环神经网络(Bidirectional Recurrent Neural Network, BiRNN)、双向长短时记忆网络(Bidirectional Long Short Term Memory, BiLSTM)、BiLSTM-CRF、BERT等深度学习模型,对1232篇情报类期刊论文进行摘要结构功能识别研究。【方法/过程】引入5折交叉验证法进行多次实验,以避免一次实验的偶然性;实验结果用"均值±标准差"形式表示,同时考虑模型的平均性能和稳定性;实验结果用F1值进行评价。【结果/结论】与BiRNN、BiLSTM、BiLSTM-CRF等模型相比,BERT模型具有最高的均值和最低的标准差,这表明该模型不仅具有最优的结构功能识别能力,而且性能稳定,该模型特别适用于摘要结构功能识别任务。【局限/创新】本文采用的实验语料规模较小且为人工标注,这限制了识别效率的提升。展开更多
针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入...针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入序列进行编码,并从中文维基百科中获取实体类型的中文释义,采用双向门控循环单元(BiGRU)编码实体类型信息作为先验知识,利用注意力机制将它与字符表示进行组合;其次,采用双向长短时记忆(BiLSTM)网络编码输入序列的远距离依赖关系,通过字形编码表获得繁体的仓颉码和简体的现代五笔码,采用卷积神经网络(CNN)提取字形特征表示,并根据不同权重组合繁体与简体字形特征,利用门控机制将它与经过BiLSTM编码后的字符表示进行组合;最后,使用条件随机场(CRF)解码,得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明,与基线模型MECT(Multi-metadata Embedding based Cross-Transformer)相比,所提模型的F1值别提高了2.47、1.20和0.98个百分点,验证了模型的有效性。展开更多
为进一步提高电力用户异常用电检测性能,实现异常用电行为的快速准确研判,该文提出一种基于BiLSTM-CatBoost模型的用户异常用电检测方法。该模型首先采用双向长短期记忆神经网络(bidirectional long short-term memory,BiLSTM)对用户用...为进一步提高电力用户异常用电检测性能,实现异常用电行为的快速准确研判,该文提出一种基于BiLSTM-CatBoost模型的用户异常用电检测方法。该模型首先采用双向长短期记忆神经网络(bidirectional long short-term memory,BiLSTM)对用户用电数据进行特征深度提取,利用用电时序数据两个方向的信息来获取特征维度;接着采用完全对称决策树为基学习器的CatBoost集成学习算法作为分类器进行检测,避免检测过拟合。BiLSTM和CatBoost均采用贝叶斯优化算法(Bayesian optimization,BO)对全局进行超参数寻优。实例对比表明,基于BiLSTM-CatBoost模型的用户异常用电检测方法在准确率、F1分数、AUC、MCC值等评价指标中均表现最优。展开更多
文摘【目的/意义】学术文献的摘要由目的、方法、结果等结构组成,这些结构具有特定的功能。目前,针对摘要功能结构识别的研究不多,且存在识别效率不高的问题,本文引入双向循环神经网络(Bidirectional Recurrent Neural Network, BiRNN)、双向长短时记忆网络(Bidirectional Long Short Term Memory, BiLSTM)、BiLSTM-CRF、BERT等深度学习模型,对1232篇情报类期刊论文进行摘要结构功能识别研究。【方法/过程】引入5折交叉验证法进行多次实验,以避免一次实验的偶然性;实验结果用"均值±标准差"形式表示,同时考虑模型的平均性能和稳定性;实验结果用F1值进行评价。【结果/结论】与BiRNN、BiLSTM、BiLSTM-CRF等模型相比,BERT模型具有最高的均值和最低的标准差,这表明该模型不仅具有最优的结构功能识别能力,而且性能稳定,该模型特别适用于摘要结构功能识别任务。【局限/创新】本文采用的实验语料规模较小且为人工标注,这限制了识别效率的提升。
文摘针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入序列进行编码,并从中文维基百科中获取实体类型的中文释义,采用双向门控循环单元(BiGRU)编码实体类型信息作为先验知识,利用注意力机制将它与字符表示进行组合;其次,采用双向长短时记忆(BiLSTM)网络编码输入序列的远距离依赖关系,通过字形编码表获得繁体的仓颉码和简体的现代五笔码,采用卷积神经网络(CNN)提取字形特征表示,并根据不同权重组合繁体与简体字形特征,利用门控机制将它与经过BiLSTM编码后的字符表示进行组合;最后,使用条件随机场(CRF)解码,得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明,与基线模型MECT(Multi-metadata Embedding based Cross-Transformer)相比,所提模型的F1值别提高了2.47、1.20和0.98个百分点,验证了模型的有效性。
文摘为进一步提高电力用户异常用电检测性能,实现异常用电行为的快速准确研判,该文提出一种基于BiLSTM-CatBoost模型的用户异常用电检测方法。该模型首先采用双向长短期记忆神经网络(bidirectional long short-term memory,BiLSTM)对用户用电数据进行特征深度提取,利用用电时序数据两个方向的信息来获取特征维度;接着采用完全对称决策树为基学习器的CatBoost集成学习算法作为分类器进行检测,避免检测过拟合。BiLSTM和CatBoost均采用贝叶斯优化算法(Bayesian optimization,BO)对全局进行超参数寻优。实例对比表明,基于BiLSTM-CatBoost模型的用户异常用电检测方法在准确率、F1分数、AUC、MCC值等评价指标中均表现最优。
