基于视觉的虚拟现实与增强现实融合技术 被引量：10

1

作者 宁瑞忻 朱尊杰 +2 位作者 邵碧尧 龚冰剑 颜成钢 《科技导报》 CAS CSCD 北大核心 2018年第9期25-31,共7页

基于视觉的虚拟现实（VR）和增强现实（AR）的融合发展是不可避免的趋势,定位与地图构建（SLAM）是虚拟现实与增强现实融合应用的主要组成部分,但在鲁棒性等方面仍存在很多具有挑战性的问题。本文提出了一种基于视觉的虚拟现实与增强现... 基于视觉的虚拟现实（VR）和增强现实（AR）的融合发展是不可避免的趋势,定位与地图构建（SLAM）是虚拟现实与增强现实融合应用的主要组成部分,但在鲁棒性等方面仍存在很多具有挑战性的问题。本文提出了一种基于视觉的虚拟现实与增强现实融合技术,总结了室内场景三维重建过程中设备选择、追踪和运动干扰、平面识别等问题,并分析了当前SLAM中存在的5个具有挑战性的问题。 展开更多

关键词 虚拟现实 增强现实 SLAM 三维重建

原文传递

视觉语言预训练综述 被引量：5

2

作者 殷炯 张哲东 +5 位作者 高宇涵 杨智文 李亮 肖芒 孙垚棋 颜成钢 《软件学报》 EI CSCD 北大核心 2023年第5期2000-2023,共24页

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transfo... 近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transformer框架的发展,越来越多的预训练模型被运用到视觉语言多模态学习上,相关任务在性能上得到了质的飞跃.系统地梳理了当前视觉语言预训练模型相关的工作,首先介绍了预训练模型的相关知识,其次从两种不同的角度分析比较预训练模型结构,讨论了常用的视觉语言预训练技术,详细介绍了5类下游预训练任务,最后介绍了常用的图像和视频预训练任务的数据集,并比较和分析了常用预训练模型在不同任务下不同数据集上的性能. 展开更多

关键词 多模态学习 预训练模型 TRANSFORMER 视觉语言学习

下载PDF 职称材料

项目计算机辅助受理的申请代码与研究方向 被引量：5

3

作者 宋朝晖 唐华 +5 位作者 边超 孙强 丁大志 朱鹏程 颜成钢 熊小芸 《电子与信息学报》 EI CSCD 北大核心 2018年第1期249-254,共6页

该文首先对2017年度信息一处的计算机辅助受理情况进行简要的介绍和分析,以表格的形式说明了2014~2017年度项目申请代码、研究方向选择中存在的主要问题,然后对2017年面上、青年和地区项目资助情况进行统计和说明。最后介绍信息一处申... 该文首先对2017年度信息一处的计算机辅助受理情况进行简要的介绍和分析,以表格的形式说明了2014~2017年度项目申请代码、研究方向选择中存在的主要问题,然后对2017年面上、青年和地区项目资助情况进行统计和说明。最后介绍信息一处申请代码的调整情况,并强调研究方向选择中应该注意的问题。 展开更多

关键词 计算机辅助 受理情况 代码 项目资助情况 项目申请 信息 表格

下载PDF 职称材料

基于深度学习的RGBD图像协同显著目标检测 被引量：3

4

作者 周晓飞 郭舒瑶 +4 位作者 温洪发 刘炳涛 李世锋 张继勇 颜成钢 《信号处理》 CSCD 北大核心 2022年第6期1213-1221,共9页

本文旨在研究一种基于深度学习的RGBD图像协同显著目标检测模型。首先,本文构建了多分支的编码器结构,有效地提取RGBD图像的深层卷积特征;然后,使用多模态特征融合模块充分融合来自编码器的深层特征;最后,通过基于残差基本块的解码器来... 本文旨在研究一种基于深度学习的RGBD图像协同显著目标检测模型。首先,本文构建了多分支的编码器结构,有效地提取RGBD图像的深层卷积特征;然后,使用多模态特征融合模块充分融合来自编码器的深层特征;最后,通过基于残差基本块的解码器来预测得到显著性图。此外,本文以深层次监督的方式对整个网络进行约束优化。在两个公开数据集上的测试结果表明,所提模型在预测精度上优于当前6种主流模型,这其中我们的显著性图呈现出更精确的边缘细节。 展开更多

关键词 协同显著目标 RGBD图像 深度学习

下载PDF 职称材料

基于边缘感知深度残差网络的带钢表面缺陷检测

5

作者 沈坤烨 周晓飞 +3 位作者 费晓波 陈雨中 张继勇 颜成钢 《应用科学学报》 CAS CSCD 北大核心 2023年第6期978-988,共11页

基于深度学习的显著目标检测方法已被用于带钢表面缺陷检测中,但仍存在模型收敛速度慢、检测结果边缘不清晰等问题。针对现有问题,本文提出了基于边缘感知深度残差网络(boundary-aware deeply residual network, BADRNet),以此进行带钢... 基于深度学习的显著目标检测方法已被用于带钢表面缺陷检测中,但仍存在模型收敛速度慢、检测结果边缘不清晰等问题。针对现有问题,本文提出了基于边缘感知深度残差网络(boundary-aware deeply residual network, BADRNet),以此进行带钢表面缺陷的显著目标检测。将边缘信息引入至缺陷检测任务中,解决了因目标尺寸多样性带来的检测结果边缘不清晰的问题;通过在边缘提取、显著特征融合部分采用具有残差结构的3个卷积层作为基本块,提高了训练效率且保持原有的检测精度不变。在公开的SD-saliency-900数据集上的实验结果表明,所提模型相比于现有模型,在6个评价指标上均取得了最优效果。BADRNet比当前最优的EDRNet在S-measure指标上提升了1.6%,同时对于缺陷区域边缘的检测效果具有明显提升。 展开更多

关键词 显著性检测 缺陷检测 深度学习 残差结构 边缘特征

下载PDF 职称材料

高通量视频内容分析技术 被引量：2

6

作者 唐胜 高科 +2 位作者 顾晓光 颜成钢 张勇东 《工程研究（跨学科视野中的工程）》 CSCD 2014年第3期294-306,共13页

大数据环境下,如何对高并发的视频数据进行实时地分析处理,是一个亟待解决的科学问题。本文介绍了面向互联网视频内容监管的高通量视频内容分析技术,着重对其中的四个主要关键技术(基于众核的视频高速解码和视频特征提取、基于分布式系... 大数据环境下,如何对高并发的视频数据进行实时地分析处理,是一个亟待解决的科学问题。本文介绍了面向互联网视频内容监管的高通量视频内容分析技术,着重对其中的四个主要关键技术(基于众核的视频高速解码和视频特征提取、基于分布式系统的高维索引和语义识别)的研究现状和发展趋势进行了综述和总结,并介绍了作者在这四个主要关键技术研究的最新成果,主要包括面向众核处理器的并行环路滤波、高鲁棒性和高并行度的局部特征提取与挖掘、分布式高维索引、面向大数据的集成学习方法,以充分发挥多粒度并行硬件平台的高并行计算能力,为互联网视频内容监管、视频搜索等重要应用提供关键技术支撑。 展开更多

关键词 大数据 高通量 视频内容分析 大规模并行处理

下载PDF 职称材料

全媒体内容质量评价研究综述 被引量：2

7

作者 颜成钢 孙垚棋 +4 位作者 钟昊 朱晨薇 朱尊杰 郑博仑 周晓飞 《信号处理》 CSCD 北大核心 2022年第6期1111-1143,共33页

在全媒体时代,媒体内容的表现形式逐渐丰富,开始成为影响信息传播的一个重要因素。内容质量评价仍停留在“流量思维”阶段,难以客观评价内容质量,亟需发展以用户为中心的全媒体内容质量评价方法。本文主要概述近十年来国内外公开发表的... 在全媒体时代,媒体内容的表现形式逐渐丰富,开始成为影响信息传播的一个重要因素。内容质量评价仍停留在“流量思维”阶段,难以客观评价内容质量,亟需发展以用户为中心的全媒体内容质量评价方法。本文主要概述近十年来国内外公开发表的不同媒介的评价模型,回顾了图像、视频、音频、文本四类的客观质量评价在全媒体数据中的研究工作及相应的应用,主要介绍基于传统方法和基于深度学习方法两大方向中一些影响力较大的方法,每类方法有分成有参考和无参考的方法,对此总结了各方法特点,对一些具有代表性的方法进行了实验对比分析。最后对四种媒介内容质量评价领域仍面临的问题进行了总结并展望未来可能的发展方向。 展开更多

关键词 全媒体 图像质量评价 视频质量评价 音频质量评价 文本质量评价

下载PDF 职称材料

基于地磁轨迹信号的新型室内定位 被引量：2

8

作者 孙垚棋 巩鹏博 +4 位作者 徐浙峰 李文钧 颜成钢 郑博仑 张继勇 《信号处理》 CSCD 北大核心 2021年第6期952-957,共6页

无处不在的地磁场由于室内环境中建筑结构的差异而具有独特的特征。此外,地磁信号的分辨难度会导致定位结果的不准确。本文提出了一种使用深度神经网络来提高定位精度的地磁室内定位系统。为了解决地磁场的低分辨率问题,本文将连续的地... 无处不在的地磁场由于室内环境中建筑结构的差异而具有独特的特征。此外,地磁信号的分辨难度会导致定位结果的不准确。本文提出了一种使用深度神经网络来提高定位精度的地磁室内定位系统。为了解决地磁场的低分辨率问题,本文将连续的地磁信号矢量化为轨迹序列,并以此为基础设计了一种新的地图构建方法来搭建用于室内定位的地磁数据库。然后,通过引入时间卷积网络(TCN)来提取磁轨迹序列的深层特征。实验结果表明,这种方法优于KNN和基于LSTM的DRNN等其他机器学习算法。 展开更多

关键词 地磁场 室内定位 时间卷积神经网络

下载PDF 职称材料

视觉显著性检测综述 被引量：1

9

作者 温洪发 周晓飞 +1 位作者 任小元 颜成钢 《杭州电子科技大学学报（自然科学版）》 2020年第2期1-11,共11页

视觉显著性(Visual Saliency)是指人类在观察某一区域时视野中存在能够引起人类视觉关注的局部区域,该局部区域被称为显著性区域。与此对应,视觉显著性检测(Visual Saliency Detection)则主要用于凸显图像或者视频中的显著性区域。近年... 视觉显著性(Visual Saliency)是指人类在观察某一区域时视野中存在能够引起人类视觉关注的局部区域,该局部区域被称为显著性区域。与此对应,视觉显著性检测(Visual Saliency Detection)则主要用于凸显图像或者视频中的显著性区域。近年来,基于计算机技术的视觉显著性检测模型被广泛应用于图像分割、目标检测和视频编码等领域。因此,进行视觉显著性检测研究具有相当的实际应用价值。该文针对视觉显著性检测研究进行了系统地介绍,主要包括RGB图像显著性检测、RGBD图像显著性检测、视频显著性检测和协同显著性检测等,同时总结分析了各种视觉显著性检测模型的特点,并进一步探讨了视觉显著性检测研究未来的发展方向。 展开更多

关键词 视觉显著性检测 RGB图像显著性检测 RGBD图像显著性检测 视频显著性检测 协同显著性检测

下载PDF 职称材料

自吸泵水力设计与自吸性能试验研究 被引量：1

10

作者 林荣 颜成钢 夏美珍 《科技创新与应用》 2014年第36期41-42,共2页

随着我国农业的发展,移动式轻小型喷灌溉设备在农业灌溉领域发挥着越来越重要的作用,但是配套自吸泵自吸性能亟需提高。文章通过实验,从叶轮与泵体隔舌的间隙、回流喷嘴、储液室液体容量、进水口宽度四个方面,分析它们与自吸泵自吸性能... 随着我国农业的发展,移动式轻小型喷灌溉设备在农业灌溉领域发挥着越来越重要的作用,但是配套自吸泵自吸性能亟需提高。文章通过实验,从叶轮与泵体隔舌的间隙、回流喷嘴、储液室液体容量、进水口宽度四个方面,分析它们与自吸泵自吸性能的关系,也就是自吸泵自吸性能优化可以通过在一定范围内增大泵体隔舌的间隙和回流嘴直径,增多储液室中水量,改变吸入管直径等方式来实现。 展开更多

关键词 自吸泵 自吸性能 关系研究

下载PDF 职称材料

信息论与通信系统学科自由申请类项目申请与资助情况分析 被引量：1

11

作者 唐华 朱鹏程 +2 位作者 颜成钢 边超 宋朝晖 《电子与信息学报》 EI CSCD 北大核心 2019年第6期1518-1524,共7页

该文统计了近5年来国家自然科学基金委员会信息科学部一处信息论与通信系统学科自由申请类项目受理和获资助数据,分析了本学科每个二级代码和三级代码项目数和资助比例的变化情况,梳理出本学科受理项目和资助项目较多的三级代码,并统计... 该文统计了近5年来国家自然科学基金委员会信息科学部一处信息论与通信系统学科自由申请类项目受理和获资助数据,分析了本学科每个二级代码和三级代码项目数和资助比例的变化情况,梳理出本学科受理项目和资助项目较多的三级代码,并统计了获资助项目依托单位的分布情况。进一步,该文分别从申请和资助两个方面统计了高频关键词的分布,并结合通信领域发展趋势进行了简要分析。 展开更多

关键词 资助项目 系统学 信息论 项目申请 通信 国家自然科学基金委员会 信息科学部 发展趋势

下载PDF 职称材料

H.266/VVC分步全零块判决快速算法

12

作者 牛伟宏 黄晓峰 +2 位作者 祁伟 殷海兵 颜成钢 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第7期1285-1293,1319,共10页

为了减少编码计算复杂度,提出分步全零块判决快速算法.基于硬决策量化公式推导固定阈值,判决出真全零块.通过与变换块尺寸和量化参数(QP)相关的自适应阈值,判决出伪全零块.通过提取出8个与量化结果密切相关的特征,基于全连接神经网络(FC... 为了减少编码计算复杂度,提出分步全零块判决快速算法.基于硬决策量化公式推导固定阈值,判决出真全零块.通过与变换块尺寸和量化参数(QP)相关的自适应阈值,判决出伪全零块.通过提取出8个与量化结果密切相关的特征,基于全连接神经网络(FCNN)对剩余未判决的块进行最后判决.实验结果表明,提出的分步全零块判决快速算法在Low Delay B和Random Access配置下,在性能平均损失分别仅为0.458%和0.575%的情况下,分别平均减少了7.382%和7.237%的编码复杂度. 展开更多

关键词 全零块 硬决策量化 量化参数 全连接神经网络(FCNN)

下载PDF 职称材料

基于单张彩色图输入的平面提取综述

13

作者 朱尊杰 徐浙峰 +3 位作者 任小元 侯佳 孙垚棋 颜成钢 《杭州电子科技大学学报（自然科学版）》 2020年第4期31-38,50,共9页

彩色图片是目前最常见的视觉信息采集形式,获取容易且来源丰富,因此从单张彩色图中进行平面提取具有很强的应用价值。基于单张彩色图输入的平面提取任务旨在从图像中分割出所拍摄场景中的平面结构,并同时估计相机到平面的深度信息。随... 彩色图片是目前最常见的视觉信息采集形式,获取容易且来源丰富,因此从单张彩色图中进行平面提取具有很强的应用价值。基于单张彩色图输入的平面提取任务旨在从图像中分割出所拍摄场景中的平面结构,并同时估计相机到平面的深度信息。随着单目相机的发展,图片的分辨率、质量不断提升,但深度信息缺失的问题仍困扰着基于单张图片输入的平面提取方法。该文从几何方法及神经网络方法两方面对现有基于单张彩色图输入的平面提取工作进行概括总结,并分析两类方法的算法流程及优劣。最后,在几何以及神经网络两类方法现有工作的基础上,进一步探讨了后续可拓展的研究工作。 展开更多

关键词 彩色图片 平面提取 平面分割 深度估计

下载PDF 职称材料

2018年度国家自然科学基金委信息科学部一处项目申请与资助情况及其问题分析

14

作者 边超 朱鹏程 +4 位作者 颜成钢 张晶泊 武俊杰 唐华 宋朝晖 《电子与信息学报》 EI CSCD 北大核心 2019年第1期248-254,共7页

该文介绍了2018年度国家自然科学基金委员会信息科学部一处面上、青年科学基金、地区科学基金项目,以及重点项目、优秀青年科学基金项目的项目申请与资助情况;并对近五年F01代码下的重点项目和优秀青年科学基金项目的情况进行了统计;此... 该文介绍了2018年度国家自然科学基金委员会信息科学部一处面上、青年科学基金、地区科学基金项目,以及重点项目、优秀青年科学基金项目的项目申请与资助情况;并对近五年F01代码下的重点项目和优秀青年科学基金项目的情况进行了统计;此外,着重分析了项目申请书中申请代码和研究方向选择所存在的问题,强调了研究方向选择的原则。 展开更多

关键词 国家自然科学基金委员会 信息科学部 项目申请 资助 青年科学基金项目 地区科学基金项目 代码

下载PDF 职称材料

基于深度学习的光谱图像超分辨率综述

15

作者 张涛 王彬沣 +4 位作者 付莹 刘松荣 叶吉超 单培红 颜成钢 《中国图象图形学报》 CSCD 北大核心 2024年第8期2113-2136,共24页

光谱图像超分辨率技术的目的是从低空间分辨率和光谱分辨率的图像中恢复高空间分辨率和光谱分辨率的图像,在植被调查、地质勘探、环境保护、异常检测和目标追踪等遥感领域有着广泛应用。随着深度学习的兴起,基于深度学习的光谱图像超分... 光谱图像超分辨率技术的目的是从低空间分辨率和光谱分辨率的图像中恢复高空间分辨率和光谱分辨率的图像,在植被调查、地质勘探、环境保护、异常检测和目标追踪等遥感领域有着广泛应用。随着深度学习的兴起,基于深度学习的光谱图像超分辨率算法如雨后春笋般涌现,特别是卷积神经网络、Transformer、生成对抗网络以及深度展开网络等技术的出现使图像融合性能产生了质的飞跃。本文全面探讨和分析了不同光谱图像超分辨率任务场景下的前沿深度学习算法。首先,介绍了光谱图像超分辨率的基本概念,以及不同超分辨率场景的定义。针对单图超分辨率和融合超分辨率两大场景,从超分辨率维度、数据类型、基本框架和监督方式等多个角度详细阐述了各类方法的基本思想和特点。其次,总结了各类算法存在的局限性,并提出了进一步改进的方向。然后,简要介绍了不同融合场景中常用的数据集,并明确了各种评估指标的具体定义。对于每种超分辨率任务,从定性评估、定量评估等多个角度全面比较了代表性算法的性能。最后,总结了研究结果,并探讨了光谱图像超分辨率领域所面临的一些严峻挑战,同时对未来可能的研究方向进行了展望。所提及的算法和数据集已汇总至https://github.com/ColinTaoZhang/DL-based-spectral-super-resolution。 展开更多

关键词 深度学习 超分辨率 光谱图像 单图超分辨率 融合超分辨率

原文传递

H.264去块滤波算法在众核结构上的并行优化 被引量：2

16

作者 范灵俊 颜成钢 +2 位作者 宋风龙 马宜科 范东睿 《小型微型计算机系统》 CSCD 北大核心 2011年第11期2263-2267,共5页

在H.264视频解码中,去块滤波是运算量很大的一部分.由于去块滤波过程中,数据之间存在复杂的依赖性,现有的很多去块滤波并行方案存在着并行度小、同步互斥开销大的缺点.本文结合去块滤波算法及众核处理器Godson-T的结构特性,提出了一种... 在H.264视频解码中,去块滤波是运算量很大的一部分.由于去块滤波过程中,数据之间存在复杂的依赖性,现有的很多去块滤波并行方案存在着并行度小、同步互斥开销大的缺点.本文结合去块滤波算法及众核处理器Godson-T的结构特性,提出了一种可以减少数据依赖的去块滤波算法并行优化方案.相对于以前的很多方法,此并行方案首先在算法上增大了并行度,减少了同步开销,同时,我们通过片上众核处理器Godson-T的硬件支持,采用计算与通信重叠等优化策略,使得优化后的算法达到了数倍的性能提升. 展开更多

关键词 H.264 去块滤波 Godson-T众核 并行优化

下载PDF 职称材料