基于多智能体强化学习的多交通信号灯控制方法及系统

1.一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于，在构建公平性奖励函数时，分别考虑通行效率和公平性；在通行效率上，考虑每个决策时段和一个信号灯周期内的影响；在决策时段上，选取排队长度的变化情况和相位的绿灯时间利用率来反映当前决策对单位时间内的通行效率的短期影响；在一个信号灯周期内，选取平均行程时间来评价所选择的动作集对一个周期内通行效率的影响；在公平性上，根据各相位的绿灯持续时间和红灯等待时间以及一个信号灯周期内各车流方向的通行情况建立约束条件并设置惩罚函数；其中，

3.根据权利要求2所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于,构建多交叉口状态通信机制时，将交叉口i的入口车道的车流状态和上游出口路段的车流状态组合为交叉口i的状态变量；

4.根据权利要求3所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于,所述目标值的计算公式为：

5.根据权利要求4所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于,所述连续拥堵惩罚项的公式为：

6.根据权利要求5所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于,所述目标奖励函数是将所述公平性奖励函数、通过区域的车辆数和连续拥堵惩罚项进行加权和后，作为每个智能体的奖励函数，其公式为：

7.根据权利要求6所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于,所述损失函数mse的公式为：

8.根据权利要求7所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于,所述估计网络的更新公式为：

9.根据权利要求1所述的一种基于多智能体强化学习的多交通信号灯控制方法，其特征在于,采用ε-greedy策略选择动作时，通过调节探索率ε来实现强化学习中的探索和利用；其中，ε表示进行随机选择动作的概率，1-ε表示选择最大的估计q值时对应的动作的概率，ε随着迭代训练次数的增加而不断减小。

10.一种基于多智能体强化学习的多交通信号灯控制系统，其特征在于，包括：