期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到10篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
融合图像信息的越汉跨语言新闻文本摘要方法
1
作者 吴奇远 余正涛 +2 位作者 黄于欣 谭凯文 张勇丙 《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第4期714-723,共10页
[目的]为了有效剔除冗余文本信息,提高摘要简洁性同时充分利用图像信息提高摘要准确性,对融合图像信息的越汉跨语言新闻文本摘要方法进行研究.[方法]首先利用文本编码器和图像编码器对越南语新闻文本和图像进行表征,其次利用图文对比损... [目的]为了有效剔除冗余文本信息,提高摘要简洁性同时充分利用图像信息提高摘要准确性,对融合图像信息的越汉跨语言新闻文本摘要方法进行研究.[方法]首先利用文本编码器和图像编码器对越南语新闻文本和图像进行表征,其次利用图文对比损失增强图像和文本表征的一致性,迫使越南语的表征空间趋近于与语言无关的图像表征空间,然后利用图文融合器进行图像和文本的有效融合,增强新闻文本的关键信息提取能力,最后利用摘要解码器生成中文摘要.[结果]在本文构建的越汉多模态跨语言摘要数据集上,相较于对比方法,本方法生成的摘要具备更高的ROUGE分数、信息量、简洁度和流畅度.[结论]引入图像信息有利于生成高质量的跨语言摘要;采用单任务直接学习两种语言的互动信息可以降低将跨语言摘要分解为多任务带来的误差累积. 展开更多
关键词 跨语言摘要 越汉跨语言新闻摘要 图文融合 图文对比损失
下载PDF
双重模态文本引导的图像修复算法
2
作者 李海燕 陈杰 +2 位作者 余鹏飞 李海江 张榆锋 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2023年第10期2547-2557,共11页
为解决现有图像修复算法因缺乏足够的上下文信息导致修复大面积破损时效果差且修复结果不可控的缺陷,提出了双重模态文本引导的图像修复算法。引入文本标签作为修复的控制引导,确保修复结果的整体与区域一致,并增加修复的可控多样性。... 为解决现有图像修复算法因缺乏足够的上下文信息导致修复大面积破损时效果差且修复结果不可控的缺陷,提出了双重模态文本引导的图像修复算法。引入文本标签作为修复的控制引导,确保修复结果的整体与区域一致,并增加修复的可控多样性。设计双重模态掩码注意力机制提取破损区域的语义信息;通过深度文本图像融合模块加深生成器中的文本图像融合过程,并应用图像文本匹配损失最大化生成图像与文本之间的语义相似度;采用投射鉴别器训练生成图像与真实图像增强修复图像的真实性。在2个带有文本标签的数据集上进行定量和定性实验,结果表明:生成的修复图像与引导文本描述一致,可根据不同的文字描述生成多样的结果。 展开更多
关键词 图像修复 文本引导 注意力机制 文本图像融合 图像文本匹配损失
下载PDF
基于条件增强和注意力机制的文本生成图像方法
3
作者 张佳 张丽红 《测试技术学报》 2023年第2期112-119,共8页
针对现有文本生成图像模型存在训练效率低下、生成图像分辨率较低以及图像不真实等问题,本文提出一种基于条件增强和注意力机制的深度融合生成对抗网络模型。该模型由文本处理网络和生成对抗网络两部分组成。文本处理网络采用双向长短... 针对现有文本生成图像模型存在训练效率低下、生成图像分辨率较低以及图像不真实等问题,本文提出一种基于条件增强和注意力机制的深度融合生成对抗网络模型。该模型由文本处理网络和生成对抗网络两部分组成。文本处理网络采用双向长短期记忆网络对文本进行编码,通过条件增强模块增加文本词语对应的特征数据,丰富文本语义特征。在生成对抗网络中,文本特征与视觉特征进行融合,通过使用注意力机制从通道和空间两个维度对输出特征进行调整,使生成网络关注文本描述的重要特征并抑制不必要特征,最终得到生成图像。通过判别器对生成图像与真实图像进行判别,并设计对抗损失函数对网络模型进行优化。在MSCOCO和CUB birds 200两个数据集上进行训练与测试,实验结果表明,与其他模型相比该模型具有明显优势。 展开更多
关键词 文本生成图像 深度融合 条件增强 注意力机制 多模态特征融合
下载PDF
文本生成图像中语义-空间特征增强算法 被引量：2
4
作者 贺小峰 毛琳 杨大伟 《大连民族大学学报》 2022年第5期401-406,共6页
针对文本生成图像网络单生成器结构中语义信息与目标内容不匹配问题,提出一种语义-空间特征增强生成对抗网络(SFE-GAN)。该网络通过分别在低分辨率生成层(浅层)与高分辨率生成层(深层)引入密集连接网络,丰富传递特征多样性与加强特征融... 针对文本生成图像网络单生成器结构中语义信息与目标内容不匹配问题,提出一种语义-空间特征增强生成对抗网络(SFE-GAN)。该网络通过分别在低分辨率生成层(浅层)与高分辨率生成层(深层)引入密集连接网络,丰富传递特征多样性与加强特征融合,其中浅层约束生成图像定位,深层约束生成图像细节,进而提高生成图像与语义信息的相似性,约束生成图像细节,提升生成图像质量。在CUB数据集实验测试与SSA-GAN相比,IS和FID指标分别提升4.0%和1.3%,显著提升生成图像清晰度、多样性和与原始图像间相似性,为视频交互领域发展提供更多可能。 展开更多
关键词 文本生成图像 生成对抗网络 密集连接网络 特征融合
下载PDF
改进条件生成对抗网络的文本生成图像方法
5
作者 侯丽君 倪建成 张素素 《曲阜师范大学学报（自然科学版）》 CAS 2022年第2期63-70,共8页
该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归... 该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息.另外,将文本词信息引入判别器中,得到的对抗性损失作为“信号”引导生成器高效训练.在CUB鸟类数据集和COCO数据集上的实验结果表明,TxtGAN模型优于基线方法,同样可以生成较为真实的高分辨率的图像,并且较好地解决了多阶段训练的缺陷. 展开更多
关键词 生成对抗网络 残差网络 文本生成图像 条件融合
下载PDF
基于文本-图像增强的突发事件识别及分类方法研究 被引量：2
6
作者 周红磊 张海涛 +1 位作者 栾宇 苏欣宇 《情报理论与实践》 北大核心 2024年第4期181-188,共8页
[目的/意义]丰富的互联网数据为洞悉真实事件提供了多维视角,快速识别突发事件并准确判断其所属类别,有助于各级政府及应急管理部门高效地管理应急情报资源。[方法/过程]文章构建了基于文本—图像增强的突发事件识别及分类的理论模型;... [目的/意义]丰富的互联网数据为洞悉真实事件提供了多维视角,快速识别突发事件并准确判断其所属类别,有助于各级政府及应急管理部门高效地管理应急情报资源。[方法/过程]文章构建了基于文本—图像增强的突发事件识别及分类的理论模型;通过文本卷积神经网络、视觉几何群网络搭建深度神经网络共同组成Multi-DNN模型;最后以真实的自然灾害类突发事件数据进行实例验证。[结果/结论]通过文本、图像相互增强,多模态特征融合能够提升突发事件识别及分类的准确率,同时在小样本数据的任务处理中仍有良好效果,证明不同模态的数据能够相互补充、相互印证,对其融合处理能够提供比单一模态更为准确和全面的信息分析。 展开更多
关键词 文本—图像增强 多模态特征融合 突发事件 事件识别及分类 应急信息管理
原文传递
基于决策级融合策略的中文网络模因图片判别方法研究
7
作者 南鹏 群诺 +1 位作者 温瑶 尼玛扎西 《中央民族大学学报（自然科学版）》 2023年第2期24-30,共7页
网络模因的分类问题因其独特的研究价值和意义,已成为一个重要的多模态研究任务。在实际应用中,判断网络中的图片是否为网络模因图片是后续网络模因各种分类任务重要的前置任务。该文以中文文本为语言背景,构建了一个包含20000张模因或... 网络模因的分类问题因其独特的研究价值和意义,已成为一个重要的多模态研究任务。在实际应用中,判断网络中的图片是否为网络模因图片是后续网络模因各种分类任务重要的前置任务。该文以中文文本为语言背景,构建了一个包含20000张模因或非模因图片的网络图片数据集。在此基础上,分别使用多种单模态和多模态的方法对该数据集进行分类实验,其中基于TextRCNN+ResNet50网络的决策级融合方法的F1分数达到了0.96。实验充分验证了深度学习方法特别是决策级融合的多模态方法能够有效地对中文语言环境的网络图片进行模因和非模因的分类,也为网络模因各种后续任务的研究提供了有力的支撑。 展开更多
关键词 网络模因 文本图像多模态分类 决策级融合策略
下载PDF
基于生成对抗网络的文本两阶段生成高质量图像方法 被引量：1
8
作者 曹寅 秦俊平 +2 位作者 高彤 马千里 任家琪 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2024年第4期674-683,共10页
为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法(DFA-GAN).采用两阶段图像生成,以单级生成对抗网络(GAN)为主干,将第一阶段生成的初始模糊图... 为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法(DFA-GAN).采用两阶段图像生成,以单级生成对抗网络(GAN)为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合. 展开更多
关键词 文字生成图像 深度融合 生成对抗网络(GAN) 多尺度特征融合 语义一致性
下载PDF
深度融合图像文本特征的文本引导图像修复 被引量：1
9
作者 兰红 郭福城 《计算机应用研究》 CSCD 北大核心 2023年第7期2223-2228,共6页
为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对... 为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对破损和未破损区域分别归一化,减少了直接特征归一化对均值方差偏移的影响;其次,将提取的图像特征与文本特征向量通过深度仿射变换进行融合,增强了生成器网络特征图的视觉语义嵌入,使图像和文本特征得到更有效的融合;最后,为增强修复图像的纹理真实性及语义一致性,设计了一种高效鉴别器并引入了目标感知鉴别器。在CUB bird这个带有文本标签的数据集上进行定量和定性实验表明,提出模型在PSNR(peak signal-to-noise ratio)、SSIM (structural similarity)以及MAE(mean absolute error)度量指标分别达到了20.86、0.836和23.832。实验结果表明,BATF模型对比现有的MMFL和ALMR模型效果更好,修复的图像既符合给定文本属性的要求又具有高度语义一致性。 展开更多
关键词 文本引导 图像修复 文本图像融合 批量归一化 语义一致性
下载PDF
基于条件语义增强的文本到图像生成
10
作者 余凯 宾燚 +1 位作者 郑自强 杨阳 《软件学报》 EI CSCD 北大核心 2024年第5期2150-2164,共15页
文本到图像生成取得了视觉上的优异效果,但存在细节表达不足的问题.于是提出基于条件语义增强的生成对抗模型(conditional semantic augmentation generative adversarial network,CSA-GAN).所提模型首先将文本进行编码,使用条件语义增... 文本到图像生成取得了视觉上的优异效果,但存在细节表达不足的问题.于是提出基于条件语义增强的生成对抗模型(conditional semantic augmentation generative adversarial network,CSA-GAN).所提模型首先将文本进行编码,使用条件语义增强对其进行处理.之后,提取生成器的中间特征进行上采样,再通过两层CNN生成图像的掩码.最后将文本编码送入两个感知器处理后和掩码进行融合,充分融合图像空间特征和文本语义,以提高细节表达.为了验证所提模型的生成图像的质量,在不同的数据集上进行定量分析、定性分析.使用IS(inception score)、FID(Frechet inception distance)指标对图像清晰度,多样性和图像的自然真实程度进行定量评估.定性分析包括可视化生成的图像,消融实验分析具体模块等.结果表明:所提模型均优于近年来同类最优工作.这充分验证所提出的方法具有更优性能,同时能够优化图像生成过程中一些主体特征细节的表达. 展开更多
关键词 文本到图像生成 条件语义增强 空间-语义融合
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部