-
题名改进双延迟深度确定性策略梯度的多船协调避碰决策
- 1
-
-
作者
黄仁贤
罗亮
杨萌
刘维勤
-
机构
武汉理工大学船海与能源动力工程学院
高性能船舶技术教育部重点实验室(武汉理工大学)
武汉理工大学三亚科教创新园
中国舰船研究设计中心
-
出处
《计算机科学》
CSCD
北大核心
2023年第11期269-281,共13页
-
基金
国防基础科学研究计划(JCKY2020206B037)。
-
文摘
目前,多数海上避碰模型都是将船舶作为单智能体进行避碰决策,未考虑船舶间的协调避让,在多船会遇场景下仅靠单船进行避碰操作会导致避让效果不佳。为此,提出了一种改进双延迟深度确定性策略梯度算法(TD3)的Softmax深层双确定性策略梯度(SD3)多船协调避碰模型。从考虑船舶航行安全的时空因素出发构建时间碰撞模型、空间碰撞模型,对船舶碰撞风险进行定量分析,在此基础上采用根据会遇态势和船速矢量动态变化的船域模型对船舶碰撞风险进行定性分析。综合船舶目标导向、航向角改变、航向保持、碰撞风险和《国际海上避碰规则》(COLREGS)的约束设计奖励函数,结合COLREGS中的典型相遇情况构造对遇、追越和交叉相遇多局面共存的会遇场景进行避碰模拟仿真。消融实验显示softmax运算符提升了SD3算法的性能,使其在船舶协调避碰中拥有更好的决策效果,并与其他强化学习算法进行学习效率和学习效果的比较。实验结果表明,SD3算法在多局面共存的复杂场景下能高效做出准确的避碰决策,并且性能优于其他强化学习算法。
-
关键词
多船会遇
协调避碰
智能决策
双延迟深度确定性策略梯度(TD3)
softmax深层双确定性策略梯度(sd3)
强化学习
-
Keywords
Vessel encounter
Coordinated collision avoidance
Intelligent decision-making
Twin delayed deep deterministic policy gradient(TD3)
softmax deep double deterministic policy gradients(sd3)
Reinforcement learning
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-
