手写汉字识别(Handwritten Chinese character recognition,HCCR)是模式识别的一个重要研究领域,最近几十年来得到了广泛的研究与关注,随着深度学习新技术的出现,近年来基于深度学习的手写汉字识别在方法和性能上得到了突破性的进展.本...手写汉字识别(Handwritten Chinese character recognition,HCCR)是模式识别的一个重要研究领域,最近几十年来得到了广泛的研究与关注,随着深度学习新技术的出现,近年来基于深度学习的手写汉字识别在方法和性能上得到了突破性的进展.本文综述了深度学习在手写汉字识别领域的研究进展及具体应用.首先介绍了手写汉字识别的研究背景与现状.其次简要概述了深度学习的几种典型结构模型并介绍了一些主流的开源工具,在此基础上详细综述了基于深度学习的联机和脱机手写汉字识别的方法,阐述了相关方法的原理、技术细节、性能指标等现状情况,最后进行了分析与总结,指出了手写汉字识别领域仍需要解决的问题及未来的研究方向.展开更多
在生物医学文本挖掘领域,化学药物命名实体识别具有重要意义.目前的主流方法是基于条件随机场(conditional random fields,CRF)的方法,但是该方法需要大量的人工特征,并且存在实体标签的全文非一致性问题.针对此问题,提出一种基于注意(A...在生物医学文本挖掘领域,化学药物命名实体识别具有重要意义.目前的主流方法是基于条件随机场(conditional random fields,CRF)的方法,但是该方法需要大量的人工特征,并且存在实体标签的全文非一致性问题.针对此问题,提出一种基于注意(Attention)机制的深度学习方法.该方法首先从海量生物文本中学习词向量,然后利用双向长短期记忆网络(BiLSTM)学习字符向量,随后将词向量和字符向量再经过另一个BiLSTM以获得词的上下文表示,然后再利用Attention机制获得词在全文范围下的上下文表示,最后利用CRF层得到整篇文章的标签序列.实验结果表明:相比之前的研究方法,提高了在同一篇文章中实体识别的一致性,并在BioCreative IV评测中的CHEMDNER数据集上取得了更好的结果(F值为90.77%).展开更多
高渗透率分布式光伏接入配电网后,将削减配电网负荷。由于光伏出力与配电网负荷均具有强随机性,且与温度、太阳辐照等相关气象因素耦合特性不同,导致配电网净负荷随机性提高、预测难度增加。为满足强波动性配电网净负荷短时预测需要,提...高渗透率分布式光伏接入配电网后,将削减配电网负荷。由于光伏出力与配电网负荷均具有强随机性,且与温度、太阳辐照等相关气象因素耦合特性不同,导致配电网净负荷随机性提高、预测难度增加。为满足强波动性配电网净负荷短时预测需要,提出基于长短期记忆(long short term memory,LSTM)神经网络短期预测模型构建新方法。采用LSTM分别构建小时前配电网负荷预测模型和短期光伏出力预测模型,并分别使用交叉验证方法优化各个LSTM预测器结构超参数;最后,以两者预测结果相减,获得配电网净负荷。实测数据实验表明,相较于支持向量回归(SVR)等方法,采用LSTM的新方法能够自适应挖掘历史负荷、光伏出力特征与预测对象间的相关性,避免了复杂的特征选择环节,且预测精度优于SVR预测方法。展开更多
针对现有小麦条锈病预测方法没有利用病害发生因素之间的语义信息,存在预测难度大、准确率低等问题,利用知识图谱(Knowledge Graph,KG)和双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)处理多源异构复杂数据的各...针对现有小麦条锈病预测方法没有利用病害发生因素之间的语义信息,存在预测难度大、准确率低等问题,利用知识图谱(Knowledge Graph,KG)和双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)处理多源异构复杂数据的各自优势,提出一种基于KG与Bi-LSTM结合的小麦条锈病预测方法。首先,构建小麦条锈病知识图谱,将与小麦条锈病发生相关的环境信息转换为特征向量;其次,利用特征向量训练Bi-LSTM模型,得到基于Bi-LSTM的小麦条锈病预测模型;最后,利用小麦条锈病数据库数据进行试验。结果表明,KG丰富了进行病害预测所描述的语义信息,提升了Bi-LSTM提取高层病害预测特征的能力,从而提高了病害预测的准确率。在小麦条锈病数据库上的预测准确率达到93.21%,比基于Bi-LSTM的病害预测方法提高了4.5个百分点。该方法能较好预测小麦条锈病,为小麦条锈病的预报预警和综合防治提供科学依据。展开更多
随着手机传感器的普遍使用,对人体日常行为动作识别需求越来越多,经典识别方法是利用启发式过程获得人工特征,再用机器学习方法识别动作。最新研究表明,Inception卷积结构在特征自动提取方面表现尤为突出,可避免人工提取特征带来的偏差...随着手机传感器的普遍使用,对人体日常行为动作识别需求越来越多,经典识别方法是利用启发式过程获得人工特征,再用机器学习方法识别动作。最新研究表明,Inception卷积结构在特征自动提取方面表现尤为突出,可避免人工提取特征带来的偏差问题。人体动作由复杂运动序列构成,捕捉该时间序列是动作识别必不可少的。基于此,首先对Inception结构进行了优化,提出了O-Inception结构,并将其与长短期记忆模型(long short term memory,LSTM)进行了融合,进而提出了OI-LSTM(optimization Inception-LSTM)动作识别模型。OI-LSTM模型一方面可以利用O-Inception结构实现对特征的自动提取,另一方面,还可以利用LSTM捕获动作时序,进而提高了动作识别准确率。在WISDM(wireless sensor data mining)和UCI(UC Irvine)两个数据集上进行了扩展性实验,实验结果表明,所提出的OI-LSTM动作识别模型,在WISDM和UCI两个数据集上其准确率比当前最先进的方法分别提高了约4%和1%。实验还证明,此模型拥有很强的容错性和实时性。展开更多
针对传统机器学习方法依赖人工特征提取,存在检测算法准确率低、无法应对0day漏洞利用等未知类型攻击等问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long-Short Term Memory,LSTM)混合算法的异...针对传统机器学习方法依赖人工特征提取,存在检测算法准确率低、无法应对0day漏洞利用等未知类型攻击等问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long-Short Term Memory,LSTM)混合算法的异常流量检测方法,充分发掘攻击流量的结构化特点,提取流量数据的时空特征,提高了异常流量检测系统性能。实验结果表明,在CIC-IDS2017数据集上,多种异常流量检测的准确率均超过96.9%,总体准确率达到98.8%,与其他机器学习算法相比准确率更高,同时保持了极低的误警率。展开更多
基于经典的Convolutional Social LSTM轨迹预测算法,提出一种全新的采用注意力机制的车辆运动轨迹预测算法.引入横向注意力机制对邻居车辆赋予不同的权重,将车辆历史轨迹经由LSTM得到的特征作为全局特征,通过卷积池化提取轨迹特征作为...基于经典的Convolutional Social LSTM轨迹预测算法,提出一种全新的采用注意力机制的车辆运动轨迹预测算法.引入横向注意力机制对邻居车辆赋予不同的权重,将车辆历史轨迹经由LSTM得到的特征作为全局特征,通过卷积池化提取轨迹特征作为局部特征,将两者融合作为整体邻居特征信息,用于轨迹预测.对用于传统轨迹预测的Encoder-Decoder框架进行改进,引入关于历史位置的纵向注意力机制,使得预测的每一时刻都能使用与当前时刻最相关的历史信息.在NGSIM提供的US101和I80数据集进行验证,结果表明:提出的轨迹预测算法相比其他算法能更精确地预测车辆未来轨迹.展开更多
文摘手写汉字识别(Handwritten Chinese character recognition,HCCR)是模式识别的一个重要研究领域,最近几十年来得到了广泛的研究与关注,随着深度学习新技术的出现,近年来基于深度学习的手写汉字识别在方法和性能上得到了突破性的进展.本文综述了深度学习在手写汉字识别领域的研究进展及具体应用.首先介绍了手写汉字识别的研究背景与现状.其次简要概述了深度学习的几种典型结构模型并介绍了一些主流的开源工具,在此基础上详细综述了基于深度学习的联机和脱机手写汉字识别的方法,阐述了相关方法的原理、技术细节、性能指标等现状情况,最后进行了分析与总结,指出了手写汉字识别领域仍需要解决的问题及未来的研究方向.
文摘短期电力负荷预测在电网安全运行和制定合理调度计划方面发挥着重要作用。为了提高电力负荷时间序列预测的准确度,提出了一种由完整自适应噪声集成经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和基于注意力机制的长短期记忆神经网络(long short-term memory network based on attention mechanism,LSTM-Attention)相结合的短期电力负荷预测模型。完整自适应噪声集成经验模态分解有效地将负荷时间序列分解成多个层次规律平稳的本征模态分量,并通过神经网络模型预测极大值,结合镜像延拓方法抑制边界效应,提高分解精度,同时基于注意力机制的长短期记忆神经网络自适应地提取电力负荷数据输入特征并分配权重进行预测,最后各预测模态分量叠加重构后获得最终预测结果。通过不同实际电力负荷季节数据分别进行实验,并与其他电力负荷预测模型结果分析进行比较,验证了该预测方法在电力负荷预测精度方面具有更好的性能。
文摘在生物医学文本挖掘领域,化学药物命名实体识别具有重要意义.目前的主流方法是基于条件随机场(conditional random fields,CRF)的方法,但是该方法需要大量的人工特征,并且存在实体标签的全文非一致性问题.针对此问题,提出一种基于注意(Attention)机制的深度学习方法.该方法首先从海量生物文本中学习词向量,然后利用双向长短期记忆网络(BiLSTM)学习字符向量,随后将词向量和字符向量再经过另一个BiLSTM以获得词的上下文表示,然后再利用Attention机制获得词在全文范围下的上下文表示,最后利用CRF层得到整篇文章的标签序列.实验结果表明:相比之前的研究方法,提高了在同一篇文章中实体识别的一致性,并在BioCreative IV评测中的CHEMDNER数据集上取得了更好的结果(F值为90.77%).
文摘高渗透率分布式光伏接入配电网后,将削减配电网负荷。由于光伏出力与配电网负荷均具有强随机性,且与温度、太阳辐照等相关气象因素耦合特性不同,导致配电网净负荷随机性提高、预测难度增加。为满足强波动性配电网净负荷短时预测需要,提出基于长短期记忆(long short term memory,LSTM)神经网络短期预测模型构建新方法。采用LSTM分别构建小时前配电网负荷预测模型和短期光伏出力预测模型,并分别使用交叉验证方法优化各个LSTM预测器结构超参数;最后,以两者预测结果相减,获得配电网净负荷。实测数据实验表明,相较于支持向量回归(SVR)等方法,采用LSTM的新方法能够自适应挖掘历史负荷、光伏出力特征与预测对象间的相关性,避免了复杂的特征选择环节,且预测精度优于SVR预测方法。
文摘针对现有小麦条锈病预测方法没有利用病害发生因素之间的语义信息,存在预测难度大、准确率低等问题,利用知识图谱(Knowledge Graph,KG)和双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)处理多源异构复杂数据的各自优势,提出一种基于KG与Bi-LSTM结合的小麦条锈病预测方法。首先,构建小麦条锈病知识图谱,将与小麦条锈病发生相关的环境信息转换为特征向量;其次,利用特征向量训练Bi-LSTM模型,得到基于Bi-LSTM的小麦条锈病预测模型;最后,利用小麦条锈病数据库数据进行试验。结果表明,KG丰富了进行病害预测所描述的语义信息,提升了Bi-LSTM提取高层病害预测特征的能力,从而提高了病害预测的准确率。在小麦条锈病数据库上的预测准确率达到93.21%,比基于Bi-LSTM的病害预测方法提高了4.5个百分点。该方法能较好预测小麦条锈病,为小麦条锈病的预报预警和综合防治提供科学依据。
文摘随着手机传感器的普遍使用,对人体日常行为动作识别需求越来越多,经典识别方法是利用启发式过程获得人工特征,再用机器学习方法识别动作。最新研究表明,Inception卷积结构在特征自动提取方面表现尤为突出,可避免人工提取特征带来的偏差问题。人体动作由复杂运动序列构成,捕捉该时间序列是动作识别必不可少的。基于此,首先对Inception结构进行了优化,提出了O-Inception结构,并将其与长短期记忆模型(long short term memory,LSTM)进行了融合,进而提出了OI-LSTM(optimization Inception-LSTM)动作识别模型。OI-LSTM模型一方面可以利用O-Inception结构实现对特征的自动提取,另一方面,还可以利用LSTM捕获动作时序,进而提高了动作识别准确率。在WISDM(wireless sensor data mining)和UCI(UC Irvine)两个数据集上进行了扩展性实验,实验结果表明,所提出的OI-LSTM动作识别模型,在WISDM和UCI两个数据集上其准确率比当前最先进的方法分别提高了约4%和1%。实验还证明,此模型拥有很强的容错性和实时性。
文摘针对传统机器学习方法依赖人工特征提取,存在检测算法准确率低、无法应对0day漏洞利用等未知类型攻击等问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long-Short Term Memory,LSTM)混合算法的异常流量检测方法,充分发掘攻击流量的结构化特点,提取流量数据的时空特征,提高了异常流量检测系统性能。实验结果表明,在CIC-IDS2017数据集上,多种异常流量检测的准确率均超过96.9%,总体准确率达到98.8%,与其他机器学习算法相比准确率更高,同时保持了极低的误警率。
文摘基于经典的Convolutional Social LSTM轨迹预测算法,提出一种全新的采用注意力机制的车辆运动轨迹预测算法.引入横向注意力机制对邻居车辆赋予不同的权重,将车辆历史轨迹经由LSTM得到的特征作为全局特征,通过卷积池化提取轨迹特征作为局部特征,将两者融合作为整体邻居特征信息,用于轨迹预测.对用于传统轨迹预测的Encoder-Decoder框架进行改进,引入关于历史位置的纵向注意力机制,使得预测的每一时刻都能使用与当前时刻最相关的历史信息.在NGSIM提供的US101和I80数据集进行验证,结果表明:提出的轨迹预测算法相比其他算法能更精确地预测车辆未来轨迹.
