为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于Transformer的多层双向自注意编码器(bidirectional encoder representations from transformers,BERT)的联合模型。利用BERT进行...为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于Transformer的多层双向自注意编码器(bidirectional encoder representations from transformers,BERT)的联合模型。利用BERT进行文本序列编码,并通过双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)捕捉文本上下文语义关系。通过最大池化和致密层提取关键信息,同时使用条件随机场(conditional random field,CRF)增强模型泛化能力。构建了工业领域设备故障问答语料库,并提出了针对该领域的模型部署框架。在ATIS等公共数据集上进行实验,相对于基线模型,本文模型在句子级准确率、F 1和意图识别准确率上,分别提高4.4、2.1和0.5个百分点。研究结果有效提升了问答系统性能,为缺乏工业生产数据的问答系统领域提供了数据集和部署框架。展开更多
文摘为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于Transformer的多层双向自注意编码器(bidirectional encoder representations from transformers,BERT)的联合模型。利用BERT进行文本序列编码,并通过双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)捕捉文本上下文语义关系。通过最大池化和致密层提取关键信息,同时使用条件随机场(conditional random field,CRF)增强模型泛化能力。构建了工业领域设备故障问答语料库,并提出了针对该领域的模型部署框架。在ATIS等公共数据集上进行实验,相对于基线模型,本文模型在句子级准确率、F 1和意图识别准确率上,分别提高4.4、2.1和0.5个百分点。研究结果有效提升了问答系统性能,为缺乏工业生产数据的问答系统领域提供了数据集和部署框架。
