【目的】总结注意力机制在自然语言处理领域的衍化及应用规律。【文献范围】以"attention"和"注意力"为检索词,分别检索WoS、The ACM Digital Library、arXiv以及中国知网,时间跨度限定为2015年1月至2019年10月,制...【目的】总结注意力机制在自然语言处理领域的衍化及应用规律。【文献范围】以"attention"和"注意力"为检索词,分别检索WoS、The ACM Digital Library、arXiv以及中国知网,时间跨度限定为2015年1月至2019年10月,制定标准人工筛选自然语言处理领域的文献,最终获得68篇相关文献。【方法】在深入分析文献的基础上,归纳注意力机制的通用形式,梳理其衍生类型,并基于数据对其在自然语言处理任务中的应用情况进行述评。【结果】注意力机制在自然语言处理中的应用集中于序列标注、文本分类、推理以及生成式任务,且任务和注意力机制的类型之间存在一定的适配规律。【局限】部分注意力机制和任务间的适配结论是通过模型整体表现数据间接得出的,不同注意力机制间的性能差异有待进一步研究。【结论】注意力机制的研究切实推进了自然语言处理的发展,但其作用机理尚未明了,提高其可解释性并使之更加接近人类的真实注意力是未来的研究方向。展开更多
地区电网生产管理系统拥有大量的输变电设备缺陷记录文本,但是缺少系统化的利用和整理,可采用自然语言处理技术挖掘并分析缺陷记录文本。考虑电力系统领域专业分词方法,对缺陷记录文本中的句子进行文本预处理。利用word2vec模型将词语...地区电网生产管理系统拥有大量的输变电设备缺陷记录文本,但是缺少系统化的利用和整理,可采用自然语言处理技术挖掘并分析缺陷记录文本。考虑电力系统领域专业分词方法,对缺陷记录文本中的句子进行文本预处理。利用word2vec模型将词语映射到高维特征空间,形成分布式词向量。提出基于注意力机制的双向长短期记忆神经网络(BiLSTM based on attention mechanism,BiLSTM-Attention)对电力设备缺陷文本进行分类,并以准确率、混淆矩阵以及微平均F1值(F1Micro)作为评价指标与传统机器学习模型、深度学习模型进行对比。实例分析表明BiLSTM-Attention模型具有更好的分类效果,能够实现电力设备缺陷文本的自动精准高效分类。最后构建电力设备缺陷处理优先指数,以此提升输变电设备的智能化管理水平,促进自然语言处理技术在电网中的应用。展开更多
文摘【目的】总结注意力机制在自然语言处理领域的衍化及应用规律。【文献范围】以"attention"和"注意力"为检索词,分别检索WoS、The ACM Digital Library、arXiv以及中国知网,时间跨度限定为2015年1月至2019年10月,制定标准人工筛选自然语言处理领域的文献,最终获得68篇相关文献。【方法】在深入分析文献的基础上,归纳注意力机制的通用形式,梳理其衍生类型,并基于数据对其在自然语言处理任务中的应用情况进行述评。【结果】注意力机制在自然语言处理中的应用集中于序列标注、文本分类、推理以及生成式任务,且任务和注意力机制的类型之间存在一定的适配规律。【局限】部分注意力机制和任务间的适配结论是通过模型整体表现数据间接得出的,不同注意力机制间的性能差异有待进一步研究。【结论】注意力机制的研究切实推进了自然语言处理的发展,但其作用机理尚未明了,提高其可解释性并使之更加接近人类的真实注意力是未来的研究方向。
文摘地区电网生产管理系统拥有大量的输变电设备缺陷记录文本,但是缺少系统化的利用和整理,可采用自然语言处理技术挖掘并分析缺陷记录文本。考虑电力系统领域专业分词方法,对缺陷记录文本中的句子进行文本预处理。利用word2vec模型将词语映射到高维特征空间,形成分布式词向量。提出基于注意力机制的双向长短期记忆神经网络(BiLSTM based on attention mechanism,BiLSTM-Attention)对电力设备缺陷文本进行分类,并以准确率、混淆矩阵以及微平均F1值(F1Micro)作为评价指标与传统机器学习模型、深度学习模型进行对比。实例分析表明BiLSTM-Attention模型具有更好的分类效果,能够实现电力设备缺陷文本的自动精准高效分类。最后构建电力设备缺陷处理优先指数,以此提升输变电设备的智能化管理水平,促进自然语言处理技术在电网中的应用。
