-
题名特征融合的装修案例跨模态检索方法
- 1
-
-
作者
亢洁
刘威
-
机构
陕西科技大学电气与控制工程学院
-
出处
《智能系统学报》
CSCD
北大核心
2024年第2期429-437,共9页
-
基金
陕西省重点研发计划项目(2021GY-022)。
-
文摘
目前家装客服系统中主要依靠人工方式进行装修案例检索,导致该系统不能满足用户对咨询服务快捷、及时的需求而且人力成本高,故提出一种基于特征融合的装修案例跨模态检索算法。针对多模态数据的语义信息挖掘不充分,模型检索精度低等问题,对现有的风格聚合模块进行改进,在原始模块中引入通道注意力机制,以此来为每组装修案例中不同图片的特征向量添加合适的权重,从而增强包含更多有用信息的重要特征并削弱其他不重要的特征。同时,为充分利用多模态信息,设计一种适用于检索场景下的多模态特征融合模块,该模块能够自适应地控制2种不同模态的特征向量进行一系列的融合操作,以实现跨模态数据间的知识流动与共享,从而生成语义更丰富、表达能力更强的特征向量,进一步提升模型的检索性能。在自建的装修案例多模态数据集上将该方法与其他方法进行比较,试验结果表明本文方法在装修案例检索上具有更优越的性能。
-
关键词
家装客服系统
装修案例检索
跨模态检索
风格聚合
多模态
特征融合
通道注意力机制
语义信息
-
Keywords
home decoration customer service system
decoration case retrieval
cross-modal retrieval
style aggregation
multimodal
feature fusion
channel attention mechanism
semantic information
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名面向装修案例智能匹配的跨模态检索方法
被引量：2
- 2
-
-
作者
亢洁
刘威
-
机构
陕西科技大学电气与控制工程学院
-
出处
《智能系统学报》
CSCD
北大核心
2022年第4期714-720,共7页
-
基金
陕西省重点研发计划项目(2021GY-022)
西安市科技计划项目(2019216514GXRC001CG002-GXYD1.7)
国家留学基金项目(201708615011)。
-
文摘
根据用户输入的文本信息为其实时推送相应风格的装修案例是家装客服系统中的重要功能。然而,目前该功能的实现主要依赖于人工方式,不仅不能满足用户对咨询服务快捷、及时的需求,还增加了企业的人力成本。为此,提出了一种面向装修案例智能匹配的跨模态检索方法。针对现有算法难以直接建立文本与装修案例之间的对应关系这一问题,设计了一种风格聚合模块,可以获取一组装修案例统一的风格特征,从而便于后续网络建立文本与装修案例之间的潜在语义关联,实现两者间的跨模态匹配。同时,在关注图像模态中难易样本分类问题的基础上,构建了一种双重损失函数对模型进行训练。实验结果表明,本文提出的方法在装修案例多模态数据集上取得了较好的检索效果。
-
关键词
文本信息
风格
装修案例
家装客服系统
智能匹配
跨模态检索
风格聚合
双重损失函数
-
Keywords
text information
style
decoration cases
the customer service system for home decoration
intelligent matching
crossmodal retrieval
style aggregation
dual loss function
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
