一种面向大模型应用的任务分发方法及系统

1.一种面向大模型应用的任务分发方法，其特征在于，包括：

2.根据权利要求1所述的面向大模型应用的任务分发方法，其特征在于，使用消息队列分发不同类型的任务到请求分发器，包括：

3.根据权利要求1所述的面向大模型应用的任务分发方法，其特征在于，使用用户配置的分组策略对同一类型的任务分组，得到不同的任务组，包括：

4.根据权利要求3所述的面向大模型应用的任务分发方法，其特征在于，在使用用户配置的分组策略对同一类型的任务分组，得到不同的任务组之后，还包括：

5.根据权利要求1所述的面向大模型应用的任务分发方法，其特征在于，所述请求分发器管理若干个任务执行组件；每个任务执行组件内封装一个大模型程序执行任务；基于管理员为每个大模型程序分配的gpu显存确定批处理行数；请求分发器还用于根据调度组行数和不同任务执行组件的批处理行数，使用最优匹配算法为调度组选择任务执行组件。

6.根据权利要求5所述的面向大模型应用的任务分发方法，其特征在于，使用最优匹配算法为调度组选择任务执行组件，包括：

7.一种面向大模型应用的任务分发系统，其特征在于，应用于权利要求1至6中任一项所述的面向大模型应用的任务分发方法，所述面向大模型应用的任务分发系统包括：

8.根据权利要求7所述的面向大模型应用的任务分发系统，其特征在于，所述任务调度器包括：

9.根据权利要求8所述的面向大模型应用的任务分发系统，其特征在于，所述http网关包括：

10.根据权利要求8所述的面向大模型应用的任务分发系统，其特征在于，所述请求分发器包括：