一种基于DQN实现公交上下行动态均衡时刻表生成方法与流程

1.一种基于dqn实现公交上下行动态均衡时刻表生成方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于dqn实现公交上下行动态均衡时刻表生成方法，其特征在于：s2中具体方法为：

3.如权利要求1所述的一种基于dqn实现公交上下行动态均衡时刻表生成方法，其特征在于：s4中具体方法为：

4.如权利要求3所述的一种基于dqn实现公交上下行动态均衡时刻表生成方法，其特征在于：s401中的状态变量将考虑时间状态、上下行车辆载客状态、上下行客流状态、上下行发车状态；定义其中，m为一天不同的时间，xmu和xmd分别表示公交上行状态、下行状态，定义xmu＝[xu_h,xu_min,xu_pn,xu_wmin,xu_tpn,xu_vn],xmd＝[xd_h,xd_min,xd_pn,xd_wmin,xd_tpn,xd_vn],xu_h和xd_h分别表示上下行在m时刻的小时数，xu_min和xd_min分别表示上下行在m时刻的分钟数，xu_pn和xd_pn分别表示上下行在m时刻车辆的在车人数，xu_wmin和xd_wmin分别表示上下行在m时刻乘客的等待时长，xu_tpn和xd_tpn分别表示上下行在m时刻车辆上车客流量，xu_vn和xd_vn分别表示上下行在m时刻线路的发车次数。

5.如权利要求4所述的一种基于dqn实现公交上下行动态均衡时刻表生成方法，其特征在于：s402中动作状态的动作向量定义4个动作元素：上下行均不发车、仅上行发车、仅下行发车、上下行均进行发车，定义a＝[0，1，2，3]，若智能体选择动作0，代表当前时刻上下行均不发车；若选择动作1，代表当前时刻仅上行发车；若选择动作2，代表当前时刻仅下行发车；若选择动作3，代表当前时刻上下行均进行发车。

6.如权利要求5所述的一种基于dqn实现公交上下行动态均衡时刻表生成方法，其特征在于：s403中的奖励函数包含三个部分，reward＝rewardup+rewarddown-rewarddeparture_std；对于上行，若当前时刻不进行发车rewardup＝1-(om/em)-(ω×wm)-(β×dsm)+γ(c1-c2)，其中，om为若在第m分钟发出一辆车的上车乘客量，em为车辆的核载人数，ω可取若干值，若该值较大，则模型偏向于进行更多发车数，若该值较小，则模型偏向于更少发车数，该值可取1/1000；β为一常量，取0.2，dsm表示若在第m分钟时有多少乘客会因当前到站车辆满载而无法上车；γ为一常量，取γ＝1e-3×200，当模拟时间距离末班车时间小于两个小时时，取γ＝5e-3×200，若当前时刻进行发车rewardup＝(om/em)-(β×dsm)-γ(c1-c2)，对于下行若当前时刻不进行发车rewarddown＝1-(om/em)-(ω×wm)-(β×dsm)-γ(c1-c2)；若当前时刻进行发车rewarddown＝(om/em)-(β×dsm)+γ(c1-c2)；rewarddeparture_std为发车间隔的标准差。