基于图像信息的辅助,提高从非结构化文本中识别命名实体的准确率,可以有效缓解社交媒体场景中因短文本语义信息不全而产生歧义,图片多却不能发挥作用的问题.尽管现有的研究通常采用跨模态注意力机制合并文本和图像的语义表示,但是大多...基于图像信息的辅助,提高从非结构化文本中识别命名实体的准确率,可以有效缓解社交媒体场景中因短文本语义信息不全而产生歧义,图片多却不能发挥作用的问题.尽管现有的研究通常采用跨模态注意力机制合并文本和图像的语义表示,但是大多不能建立一个一致的表示来融合两种模态之间的语义信息,且图像中的冗余信息往往会影响多模态实体识别(Multimodal Name Entity Recognition,MNER)的性能.为了解决这些问题,本文提出了一种基于异构图模型的MNER方法,可以有效利用文本和图像之间的交互信息.具体地,首先,构建了一个基于BERT-BiLSTM-CRF的实体识别模型,识别出文本中可能存在的实体;其次,以文本中可能存在的实体作为两个模态之间的桥梁,设计了一个由Token、实体和视觉对象组成的异构图网络,并定义了两种边来表示相互间的语义关系;最后,基于文本和图像组成的异构图,设计了一种多模态融合模型(MHGT),从而减轻了图像噪声的负面影响.在两个通用的MNER数据集上的实验结果表明,本文提出的多模态实体识别方法在Twitter2015和Twitter2017上分别获得了75.26%和86.51%的F1值,优于基线模型的性能.展开更多
知识追踪旨在评估学习者的学习状态,并根据先前的答题情况预测他们未来的答题表现.然而现有的知识追踪模型大多仅关注问题或技能间的关联,忽略了学生与问题间的结构关系.为此我们提出了基于学生问题关联的异构图知识追踪模型(StudentPro...知识追踪旨在评估学习者的学习状态,并根据先前的答题情况预测他们未来的答题表现.然而现有的知识追踪模型大多仅关注问题或技能间的关联,忽略了学生与问题间的结构关系.为此我们提出了基于学生问题关联的异构图知识追踪模型(StudentProblem association based heterogeneous graph Knowledge Tracing model,SPKT).该模型在知识追踪中融合了学生的学习能力和问题的重要性,并使用图注意力网络学习学生问题间的关联,获得学生、问题的嵌入表示并进行知识状态的预测.通过在真实公开数据集上的性能对比和模型消融实验,并可视化SPKT模型的知识追踪效果,证明了SPKT在预测性能上优于现有的知识追踪模型.展开更多
现有的异构图嵌入学习方法存在两个方面的问题,一是没有考虑不同节点属性间的深层联系,二是通过注意力机制聚合邻居节点来生成目标节点的向量表示,忽略了目标节点的特征在向量表示中起的作用。为解决上述问题,本文提出了一种多重注意力...现有的异构图嵌入学习方法存在两个方面的问题,一是没有考虑不同节点属性间的深层联系,二是通过注意力机制聚合邻居节点来生成目标节点的向量表示,忽略了目标节点的特征在向量表示中起的作用。为解决上述问题,本文提出了一种多重注意力指导下的异构图神经网络,从点-线-网3个角度学习异构节点嵌入向量。使用双向长短期记忆模型(bidirectional long short-term memory networks,Bi-LSTM)挖掘不同节点的属性间的深层关联关系并将其映射到同一向量空间,利用级联网络对单条元路径实例上的邻居节点和目标节点的特征信息进行融合,从而增强嵌入向量对目标节点信息的表达能力,提出一种多重注意力机制来聚合多条元路径实例上的节点信息,生成最终的节点嵌入向量表示。在3个大型异构图上的实验结果表明,本文提出的模型在异构图嵌入的效果方面优于现有基线模型,并且对于增强节点属性信息上的表达展现出了良好的性能。展开更多
文摘基于图像信息的辅助,提高从非结构化文本中识别命名实体的准确率,可以有效缓解社交媒体场景中因短文本语义信息不全而产生歧义,图片多却不能发挥作用的问题.尽管现有的研究通常采用跨模态注意力机制合并文本和图像的语义表示,但是大多不能建立一个一致的表示来融合两种模态之间的语义信息,且图像中的冗余信息往往会影响多模态实体识别(Multimodal Name Entity Recognition,MNER)的性能.为了解决这些问题,本文提出了一种基于异构图模型的MNER方法,可以有效利用文本和图像之间的交互信息.具体地,首先,构建了一个基于BERT-BiLSTM-CRF的实体识别模型,识别出文本中可能存在的实体;其次,以文本中可能存在的实体作为两个模态之间的桥梁,设计了一个由Token、实体和视觉对象组成的异构图网络,并定义了两种边来表示相互间的语义关系;最后,基于文本和图像组成的异构图,设计了一种多模态融合模型(MHGT),从而减轻了图像噪声的负面影响.在两个通用的MNER数据集上的实验结果表明,本文提出的多模态实体识别方法在Twitter2015和Twitter2017上分别获得了75.26%和86.51%的F1值,优于基线模型的性能.
文摘知识追踪旨在评估学习者的学习状态,并根据先前的答题情况预测他们未来的答题表现.然而现有的知识追踪模型大多仅关注问题或技能间的关联,忽略了学生与问题间的结构关系.为此我们提出了基于学生问题关联的异构图知识追踪模型(StudentProblem association based heterogeneous graph Knowledge Tracing model,SPKT).该模型在知识追踪中融合了学生的学习能力和问题的重要性,并使用图注意力网络学习学生问题间的关联,获得学生、问题的嵌入表示并进行知识状态的预测.通过在真实公开数据集上的性能对比和模型消融实验,并可视化SPKT模型的知识追踪效果,证明了SPKT在预测性能上优于现有的知识追踪模型.
文摘现有的异构图嵌入学习方法存在两个方面的问题,一是没有考虑不同节点属性间的深层联系,二是通过注意力机制聚合邻居节点来生成目标节点的向量表示,忽略了目标节点的特征在向量表示中起的作用。为解决上述问题,本文提出了一种多重注意力指导下的异构图神经网络,从点-线-网3个角度学习异构节点嵌入向量。使用双向长短期记忆模型(bidirectional long short-term memory networks,Bi-LSTM)挖掘不同节点的属性间的深层关联关系并将其映射到同一向量空间,利用级联网络对单条元路径实例上的邻居节点和目标节点的特征信息进行融合,从而增强嵌入向量对目标节点信息的表达能力,提出一种多重注意力机制来聚合多条元路径实例上的节点信息,生成最终的节点嵌入向量表示。在3个大型异构图上的实验结果表明,本文提出的模型在异构图嵌入的效果方面优于现有基线模型,并且对于增强节点属性信息上的表达展现出了良好的性能。
