深度强化学习(DRL)广泛应用于具有高度不确定性的城市交通信号控制问题中,但现有的DRL交通信号控制方法中,仅仅使用传统的深度神经网络,复杂交通场景下其感知能力有限。此外,状态作为强化学习的三要素之一,现有方法中的交通状态也需要...深度强化学习(DRL)广泛应用于具有高度不确定性的城市交通信号控制问题中,但现有的DRL交通信号控制方法中,仅仅使用传统的深度神经网络,复杂交通场景下其感知能力有限。此外,状态作为强化学习的三要素之一,现有方法中的交通状态也需要人工精心的设计。因此,提出了一种基于注意力机制(attention mecha-nism)的DRL交通信号控制算法。通过引入注意力机制,使得神经网络自动地关注重要的状态分量以增强网络的感知能力,提升了信号控制效果,并减少了状态向量设计的难度。在SUMO(simulation of urban mobility)仿真平台上的实验结果表明,在单交叉口、多交叉口中,在低、高交通流量条件下,仅仅使用简单的交通状态,与三种基准信号控制算法相比,所提算法在平均等待时间、行驶时间等指标上都具有最好的性能。展开更多
为有效降低城市交通干线的车均延误与停车次数,将深度Q网络引入干线协调控制,给出了一种干线动态协调控制的DDDQN(Dueling Double Deep Q Network)方法。该方法结合双重深度Q网络与基于竞争架构深度Q网络,并将干线作为整体处理,通过深...为有效降低城市交通干线的车均延误与停车次数,将深度Q网络引入干线协调控制,给出了一种干线动态协调控制的DDDQN(Dueling Double Deep Q Network)方法。该方法结合双重深度Q网络与基于竞争架构深度Q网络,并将干线作为整体处理,通过深度神经网络挖掘干线各交叉口协调控制的相关性,基于Q学习进行交通信号控制决策。通过仿真实验,在近饱和流量和干线存在初始排队的情况下,将DDDQN方法与现有绿波方法,以及经典深度Q网络、双重深度Q网络、基于竞争架构深度Q网络的干线协调控制算法进行对比,实验结果表明基于DDDQN的干线动态协调控制算法性能优于其他四种方法。展开更多
文摘深度强化学习(DRL)广泛应用于具有高度不确定性的城市交通信号控制问题中,但现有的DRL交通信号控制方法中,仅仅使用传统的深度神经网络,复杂交通场景下其感知能力有限。此外,状态作为强化学习的三要素之一,现有方法中的交通状态也需要人工精心的设计。因此,提出了一种基于注意力机制(attention mecha-nism)的DRL交通信号控制算法。通过引入注意力机制,使得神经网络自动地关注重要的状态分量以增强网络的感知能力,提升了信号控制效果,并减少了状态向量设计的难度。在SUMO(simulation of urban mobility)仿真平台上的实验结果表明,在单交叉口、多交叉口中,在低、高交通流量条件下,仅仅使用简单的交通状态,与三种基准信号控制算法相比,所提算法在平均等待时间、行驶时间等指标上都具有最好的性能。
文摘为有效降低城市交通干线的车均延误与停车次数,将深度Q网络引入干线协调控制,给出了一种干线动态协调控制的DDDQN(Dueling Double Deep Q Network)方法。该方法结合双重深度Q网络与基于竞争架构深度Q网络,并将干线作为整体处理,通过深度神经网络挖掘干线各交叉口协调控制的相关性,基于Q学习进行交通信号控制决策。通过仿真实验,在近饱和流量和干线存在初始排队的情况下,将DDDQN方法与现有绿波方法,以及经典深度Q网络、双重深度Q网络、基于竞争架构深度Q网络的干线协调控制算法进行对比,实验结果表明基于DDDQN的干线动态协调控制算法性能优于其他四种方法。
