题名 一种视/触觉融合的柔性物体抓取力估计方法
1
作者
吴培良 李瑶 牛明月 陈雯柏 高国伟
机构
燕山大学信息科学与工程学院 河北省计算机虚拟技术与系统集成重点实验室 北京信息科技大学自动化学院
出处
《机器人》
EI
CSCD
北大核心
2024年第5期544-553,共10页
基金
国家自然科学基金(U20A20167,62276028) 河北省自然科学基金(F2021203079) +1 种基金 河北省中央引导地方科技发展资金(236Z1811G) 河北省创新能力提升计划(22567626H)。
文摘
针对柔性物体操纵问题,提出了一种视/触觉融合的柔性物体抓取力估计方法——多感知局部增强Transformer(MSLET)。该方法利用模型学习每种传感器模态的低维特征,推断待抓取物体的物理特征,融合各模态的物理特征向量,用于预测抓取结果,并结合安全抓取物体的经验,推断最佳抓取力。首先,提出了用于提取视觉图像和触觉图像浅层特征的Feature-to-Patch模块,它利用2种图像的浅层特征提取图像块,进而得到它们的边缘特征,充分学习数据的特征信息,更好地推断物体的物理特征。其次,提出了用于增强局部特征的Local-Enhanced模块,对多头自注意力机制生成的图像块进行深度可分离卷积处理,以此增强局部性特征处理,促进空间维度上相邻标记之间的相关性,提高抓取结果的预测准确率。最后,对比实验表明,本文算法在保证运行效率的同时,将抓取准确率相较于当前最优模型提高了10.19%,证明该算法能够有效估计柔性物体抓取力。
关键词
视 /触觉 融合 抓取力估计 物理特征嵌入
Keywords
visual-tactile fusion grasping force estimation physical feature embedding
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
题名 基于视觉感知和触觉先验知识学习的机器人稳定抓取
被引量：11
2
作者
薛腾 刘文海 潘震宇 王伟明
机构
上海交通大学机械与动力工程学院
出处
《机器人》
EI
CSCD
北大核心
2021年第1期1-8,共8页
基金
国家自然科学基金(51675329,51675342,51975350) 机械系统与振动国家重点实验室课题(GZ2016KF001,GKZD020018) +1 种基金 上海交通大学“医工交叉研究基金”(YG2014MS12) 上海市工业强基专项资金(GYQJ-20118-1-13).
文摘
针对机器人抓取过程中需要实时评估抓取质量以动态调整抓取构型的问题,提出了基于触觉先验知识的机器人稳定抓取方法.首先,根据抓取过程中物体抵抗外界扰动的能力,提出了一种基于触觉信息的抓取质量评估方法.在此基础上,建立了视触觉联合数据集并学习触觉先验知识.其次,提出了融合视觉图像和触觉先验知识的稳定抓取构型生成方法.最后,在搭建的机器人抓取系统中对10种目标物体进行了实验验证.结果表明,相比传统的视觉方法,该方法的抓取稳定性提高了55%;针对已知物体和未知物体,稳定抓取成功率分别为86%和79%,体现了较好的泛化效果.
关键词
稳定抓取 触觉 先验知识视 触觉 融合 抓取质量评估
Keywords
stable grasp prior tactile knowledge visual tactile fusion grasp quality evaluation
分类号
TP242
[自动化与计算机技术—检测技术与自动化装置]
题名 视触觉融合的增强现实三维注册方法
被引量：10
3
作者
刘佳 郭斌 张晶晶 闫冬
机构
南京信息工程大学自动化学院
出处
《计算机工程与应用》
CSCD
北大核心
2021年第11期70-76,共7页
基金
国家自然科学基金(61773219) 江苏省产业前瞻与关键核心技术重点项目(BE2020006-2)。
文摘
增强现实技术是近年来人机交互领域的研究热点。在增强现实环境下加入触觉感知,可使用户在真实场景中看到并感知到虚拟对象。为了实现增强现实环境下与虚拟对象之间更加自然的交互,提出一种视触觉融合的三维注册方法。基于图像视觉技术获得三维注册矩阵;借助空间转换关系求解出触觉空间与图像空间的转换关系;结合两者与摄像头空间的关系实现视触觉融合的增强现实交互场景。为验证该方法的有效性,设计了一个基于视触觉增强现实的组装机器人项目。用户可触摸并移动真实环境中的机器人零件,还能在触摸时感受到反馈力,使交互更具真实感。
关键词
增强现实 视 触觉 融合 触觉 交互三维注册
Keywords
augmented reality visual and haptic integration haptic interaction three-dimensional registration
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于深度学习的协作机械臂目标定位与抓取研究
4
作者
石雪兆 罗先喜
机构
东华理工大学机械与电子工程
出处
《机电工程技术》
2024年第3期153-157,166,共6页
基金
国家自然科学基金资助项目(62063001,62141102) 江西省研究生创新基金资助项目(YC2022-s616) 东华理工大学实验技术研究开发项目(1310610026)。
文摘
针对协作机械臂在工业应用场景中目标定位困难、抓取精度不高等问题,提出一种基于ROS(Robot Operating System)和深度学习的协作机械臂目标定位与抓取方法。首先搭建了一种视触觉融合的机械臂智能抓取实验平台,该平台由Kinect v2视觉系统、Moveit控制系统及AUBO i5机械臂执行系统组成;以Kinect v2视觉系统为基础设计了一种改进YOLOv8轻量化模型的目标检测识别定位方法实现目标定位;采用GSConv和VoV-GSCSP网络结构改进特征融合Neck端解决了参数量大、算力要求高的问题;控制系统订阅tf广播的目标物体坐标信息实现抓取任务。实验结果表明,模型改进后的计算量GSConv和VoV-GSCSP减少6.9%,GFLOPs减少7.3(9.8%),且提高了检测精度;螺丝和螺母两种目标物抓取的成功率分别为99%和97%。
关键词
视 触觉 融合 改进YOLOv8 目标检测 识别定位 目标抓取
Keywords
visual and tactile fusion improved YOLOv8 target detection identification and positioning target grab
分类号
TP249
[自动化与计算机技术—检测技术与自动化装置]
题名 一种高保真视-触觉增强现实系统的搭建
被引量：2
5
作者
刘佳 方韬 陈大鹏 郭斌
机构
南京信息工程大学自动化学院 江苏省智能气象探测机器人工程研究中心 江苏省大数据分析技术重点实验室
出处
《测控技术》
2023年第4期67-74,87,共9页
基金
国家自然科学基金(62003169,61773219) 江苏省自然科学基金青年基金(BK20200823)。
文摘
随着增强现实技术的发展,仅包含视觉的增强现实技术已经不能满足人们的需求,而加入触觉信息形成的视-触觉融合的增强现实系统却越来越受到关注。触觉设备是将真实环境和虚拟环境连接起来的纽带。然而,触觉设备在视场中的存在会带来两个问题,一方面触觉设备占据了很大的视觉空间,另一方面触觉设备的定位往往会出现较大的误差,导致了视-触觉增强现实的真实性下降。为了增加使用者的体验感,提出一种高保真视-触觉增强现实环境的搭建方法。首先基于改进的ORB(Oriented FAST and Rotated BRIEF)和KLT(Kanade-Lucas-Tomasi)增强现实跟踪注册算法搭建稳定的视觉增强现实环境。其次提出了一种能校准触笔位置和方向的方法,以提升交互体验。然后提出一种基于力反馈的触觉渲染算法,最后使用改进的全局泊松方程和Criminisi算法对触觉设备进行隐藏和修复,减小因触觉设备存在对用户沉浸感造成的影响。
关键词
增强现实 视 触觉 融合 图像修复 共址定位
Keywords
augmented reality visuo-haptic fusion image inpainting co-location positioning
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 融合多元触觉和沉浸式视觉的可移植VR软件框架
被引量：4
6
作者
郭园 童倩倩 郑宇铠 王子琦 张玉茹 王党校
机构
虚拟现实技术与系统国家重点实验室 北京航空航天大学生物医学工程高精尖创新中心 鹏城实验室
出处
《系统仿真学报》
CAS
CSCD
北大核心
2020年第7期1385-1392,共8页
基金
国家重点研发计划(2017YFB 1002803)。
文摘
多元触觉和沉浸式视觉反馈的时空一致性配准以及现有VR软件框架中硬件设备的接入便捷性问题,制约了医疗、商务、娱乐等不同行业中视触觉融合场景的快速开发。为解决这一难题,提出融合多元触觉和沉浸式视觉的可移植VR软件框架,根据视触觉反馈精度要求的不同设计了双层和三层架构兼顾视觉渲染、触觉渲染、硬件控制的不同需求。实验结果表明该框架具有支持视-触融合同步反馈、硬件平台可移植、图形场景开发简便和交互场景可快速替换等特点,能够满足不同领域的交互应用需求。
关键词
虚拟现实 多元触觉 人机交互 视 触觉 融合 可移植软件框架
Keywords
virtual reality multi-modal haptic human-machine interaction visuo-haptic fusion adaptable software framework
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
