一种基于动量更新的多任务小粒度权重平均方法及系统
技术特征:
1.一种基于动量更新的多任务小粒度权重平均方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于动量更新的多任务小粒度权重平均方法,其特征在于,所述s1中,损失值计算方法包括:l1范式和l2范式的一种或多种。
3.根据权利要求2所述的基于动量更新的多任务小粒度权重平均方法,其特征在于,所述s2中,从第三批次开始,在每个训练批次t中对所述每个任务k单独计算前两个批次的所述损失值和的比率,包括:
4.根据权利要求3所述的基于动量更新的多任务小粒度权重平均方法,其特征在于,所述s3,将每个任务k的所述比率进行归一化,得到每个任务k在当前批次t中对应的任务权重,包括:
5.根据权利要求4所述的基于动量更新的多任务小粒度权重平均方法,其特征在于,所述s4中,对每个任务k,使用动量策略结合当前批次t的任务权重和前一批次的损失权重进行计算,得到当前批次t的损失权重,包括:
6.根据权利要求5所述的基于动量更新的多任务小粒度权重平均方法,其特征在于,所述s5中,将所述每个任务k在当前批次t的损失权重与该任务的损失值相乘并求和,获得最终损失值,包括:
7.一种基于动量更新的多任务小粒度权重平均系统,所述基于动量更新的多任务小粒度权重平均系统用于实现如权利要求1-6任一项所述基于动量更新的多任务小粒度权重平均方法,其特征在于,所述系统包括:
8.据权利要求7所述的基于动量更新的多任务小粒度权重平均系统,其特征在于,所述损失值计算方法包括:l1范式和l2范式的一种或多种。
9.一种基于动量更新的多任务小粒度权重平均设备,其特征在于,所述基于动量更新的多任务小粒度权重平均设备包括:
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至6任一项所述的方法。
技术总结
本发明涉及通讯信号跟踪控制领域,特别涉及一种基于动量更新的多任务小粒度权重平均方法及系统。方法包括:依据原始多任务学习模型,对每个任务在每个训练批次计算预测输出与真值的损失值,通过计算前两个批次的损失值的比率并进行归一化,得到当前批次的任务权重;使用动量策略结合当前批次的任务权重和前一批次的损失权重计算得到当前批次的损失权重;将当前批次的损失权重与该任务的损失值相乘并求和,获得最终损失值,用以优化多任务学习模型的参数;迭代多个批次直到最终损失值收敛,获得多任务学习模型。本发明提供的方法基于动量更新的多任务小粒度权重平均方法没有超参数,不需要根据任务类型手动调整参数,可方便移植到不同的数据上。
技术研发人员:马博渊,陈俊,郭灿城,李燕,卢治国
受保护的技术使用者:北京科技大学
技术研发日:
技术公布日:2024/11/14
技术研发人员:马博渊,陈俊,郭灿城,李燕,卢治国
技术所有人:北京科技大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除