针对遥感图像中目标排列紧密,背景复杂的问题,设计Transformer和卷积的双向交互模块(CTN)作为网络特征提取结构,使模型能够弱化背景噪声带来的干扰且能更好的捕获全局信息。其次,为了加强特征提取网络在复杂背景下的提取能力,构建了Dens...针对遥感图像中目标排列紧密,背景复杂的问题,设计Transformer和卷积的双向交互模块(CTN)作为网络特征提取结构,使模型能够弱化背景噪声带来的干扰且能更好的捕获全局信息。其次,为了加强特征提取网络在复杂背景下的提取能力,构建了DenseBlock模块和ConvBlock模块,所设计的模块能增强模型在多目标下多尺度学习的能力,相比原网络能提取出更丰富的语义信息。最后对数据集中所有实例分布进行统计分析,其存在的许多小目标容易使原网络存在漏检误检的现象,针对这种情况,在检测头部分额外添加了一个检测头来缓解目标尺度变化带来的负面影响,同时去除对检测效果提升不明显的特征提取分支及检测分支,使用K-means++重新聚类得到最优锚框并分配至裁剪后的3个预测特征层。实验结果表明,改进的网络能有效改善遥感图像的漏检与误检的情况,在目标密集分布的情况下提升YOLOv5s的检测能力,改进的网络能更快收敛,均值平均精度(mean average precision, mAP)相比于原YOLOv5s算法提高了3.1%。展开更多
命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础。为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对...命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础。为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,搭建了BERT-BiLSTM-CRF模型。并在该模型的基础上进行了两种改进实验。方法一,继续增加自注意力(self-attention)层,实验结果显示,自注意力层的加入对模型的识别效果提升不明显。方法二,减小BERT模型嵌入层数。实验结果显示,适度减少BERT嵌入层数能够提升模型的命名实体识别准确性,同时又节约了模型的整体训练时间。采用9层嵌入时,在MSRA中文数据集上F1值提升至94.79%,在Weibo中文数据集上F1值达到了68.82%。展开更多
为了解决农业病虫害命名实体识别过程中存在的内在语义信息缺失、局部上下文特征易被忽略和捕获长距离依赖能力不足等问题,以农业病虫害文本为研究对象,提出一种基于部首嵌入和注意力机制的农业病虫害命名实体识别模型(Chinese agricult...为了解决农业病虫害命名实体识别过程中存在的内在语义信息缺失、局部上下文特征易被忽略和捕获长距离依赖能力不足等问题,以农业病虫害文本为研究对象,提出一种基于部首嵌入和注意力机制的农业病虫害命名实体识别模型(Chinese agricultural diseases and pests named entity recognition with joint radical-embedding and self-attention,RSADP)。首先,该模型将部首嵌入集成到字符嵌入中作为输入,用以丰富语义信息。其中,针对部首嵌入设计了3种特征提取策略,即卷积神经网络(Convolutional neural network,CNN)、双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)和CNNBiLSTM;其次,采用多层不同窗口尺寸的CNNs层提取不同尺度的局部上下文信息;然后,在BiLSTM提取全局序列特征的基础上,采用自注意力机制进一步增强模型提取更长距离依赖的能力;最后,采用条件随机场(Conditional random field,CRF)联合识别实体边界和划分实体类别。在包含11个类别和24715条标注样本的农业病虫害自制语料上进行了实验。结果表明,本文模型RSADP在该数据集上精确率、召回率和F1值分别为94.16%、94.47%和94.32%;在具体实体类别上,RSADP在作物、病害、虫害等易识别实体上F1值高达95.81%、97.76%和97.23%。同时,RSADP在草害、病原等难以识别实体上F1值仍保持86%以上。实验结果表明,本文所提模型能够有效识别农业病虫害命名实体,其识别精度优于其他模型,且具有一定的泛化性。展开更多
文摘针对遥感图像中目标排列紧密,背景复杂的问题,设计Transformer和卷积的双向交互模块(CTN)作为网络特征提取结构,使模型能够弱化背景噪声带来的干扰且能更好的捕获全局信息。其次,为了加强特征提取网络在复杂背景下的提取能力,构建了DenseBlock模块和ConvBlock模块,所设计的模块能增强模型在多目标下多尺度学习的能力,相比原网络能提取出更丰富的语义信息。最后对数据集中所有实例分布进行统计分析,其存在的许多小目标容易使原网络存在漏检误检的现象,针对这种情况,在检测头部分额外添加了一个检测头来缓解目标尺度变化带来的负面影响,同时去除对检测效果提升不明显的特征提取分支及检测分支,使用K-means++重新聚类得到最优锚框并分配至裁剪后的3个预测特征层。实验结果表明,改进的网络能有效改善遥感图像的漏检与误检的情况,在目标密集分布的情况下提升YOLOv5s的检测能力,改进的网络能更快收敛,均值平均精度(mean average precision, mAP)相比于原YOLOv5s算法提高了3.1%。
文摘命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础。为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,搭建了BERT-BiLSTM-CRF模型。并在该模型的基础上进行了两种改进实验。方法一,继续增加自注意力(self-attention)层,实验结果显示,自注意力层的加入对模型的识别效果提升不明显。方法二,减小BERT模型嵌入层数。实验结果显示,适度减少BERT嵌入层数能够提升模型的命名实体识别准确性,同时又节约了模型的整体训练时间。采用9层嵌入时,在MSRA中文数据集上F1值提升至94.79%,在Weibo中文数据集上F1值达到了68.82%。
文摘为了解决农业病虫害命名实体识别过程中存在的内在语义信息缺失、局部上下文特征易被忽略和捕获长距离依赖能力不足等问题,以农业病虫害文本为研究对象,提出一种基于部首嵌入和注意力机制的农业病虫害命名实体识别模型(Chinese agricultural diseases and pests named entity recognition with joint radical-embedding and self-attention,RSADP)。首先,该模型将部首嵌入集成到字符嵌入中作为输入,用以丰富语义信息。其中,针对部首嵌入设计了3种特征提取策略,即卷积神经网络(Convolutional neural network,CNN)、双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)和CNNBiLSTM;其次,采用多层不同窗口尺寸的CNNs层提取不同尺度的局部上下文信息;然后,在BiLSTM提取全局序列特征的基础上,采用自注意力机制进一步增强模型提取更长距离依赖的能力;最后,采用条件随机场(Conditional random field,CRF)联合识别实体边界和划分实体类别。在包含11个类别和24715条标注样本的农业病虫害自制语料上进行了实验。结果表明,本文模型RSADP在该数据集上精确率、召回率和F1值分别为94.16%、94.47%和94.32%;在具体实体类别上,RSADP在作物、病害、虫害等易识别实体上F1值高达95.81%、97.76%和97.23%。同时,RSADP在草害、病原等难以识别实体上F1值仍保持86%以上。实验结果表明,本文所提模型能够有效识别农业病虫害命名实体,其识别精度优于其他模型,且具有一定的泛化性。
