-
题名脉冲视觉研究进展
被引量：6
- 1
-
-
作者
黄铁军
余肇飞
李源
施柏鑫
熊瑞勤
马雷
王威
-
机构
北京大学计算机学院
北京大学人工智能研究院
北京智源人工智能研究院
北京通用人工智能研究院
-
出处
《中国图象图形学报》
CSCD
北大核心
2022年第6期1823-1839,共17页
-
基金
科技创新2030——“新一代人工智能”重大项目(2021ZD0109802,2021ZD0109803)。
-
文摘
视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。
-
关键词
脉冲视觉
脉冲神经网络
视觉信息处理
类脑视觉
人工智能
-
Keywords
spiking vision
spiking neural networks
visual information processing
brain-inspired vision
artificial intelligence
-
分类号
TP752
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于图像梯度的无线软传输
被引量：1
- 2
-
-
作者
刘航帆
熊瑞勤
赵菁
李宏明
马思伟
高文
-
机构
北京大学数字视频编解码国家工程实验室
宾夕法尼亚大学生物医学图像计算与分析中心
-
出处
《计算机学报》
EI
CSCD
北大核心
2019年第9期1905-1917,共13页
-
基金
国家基础研究计划（2015CB351800）
国家自然科学基金（61772041）
国家重点研发计划（2017YFB1002203）资助~~
-
文摘
现有的绝大多数视觉传输系统致力于最小化接收端像素值的均方误差(MSE).但作为一种质量评价标准,很多情况下MSE 与人的视觉感官所得结果并不一致,而关于质量评价的研究表明图像梯度的结构可以更可靠地反映视觉信息.在此结论基础上本文介绍一种新的图像视频软传输方案,利用梯度数据承载视觉信息,以在无线视觉通讯中取得更好的视觉效果.此外本文为该方案的接收端设计了一种有效的图像重构技术,使之能够利用接收到的带噪梯度数据重构出高质量的图像.为此本文利用梯度统计特性进行自适应的分布建模,与全变分模型用一个固定的零均值拉普拉斯分布对梯度数据建模不同,本文利用图像块的非局部相似性从高度相关的图像内容中提取数据样本形成分布,每一梯度的期望、方差都自适应地进行估计.在此基础上本文提出非局部梯度稀疏正则化,根据逐像素估计的梯度统计特性对不同位置的梯度数据分别自适应地施加正则化约束.相应优化问题通过增广拉格朗日方法求解.实验结果表明本文所提技术比同类其他方法获得了更好的视觉效果.
-
关键词
软传输
视觉质量
图像梯度
自适应建模
稀疏
-
Keywords
SoftCast
perceptual quality
image gradient
adaptive modeling
sparsity
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
