扫码下载APP

您的位置

资讯详情

本人可编辑资讯

仅支持在APP编辑资讯扫描二维码即可下载APP

中国科学院最新研究:自适应正则化翘曲梯度下降增强了模型泛化能力和元学习能力,有利于少量学习

论论资讯 | 2023-04-20 3热度

Neurocomputing

Explore content

About the journal

Publish with us

Adaptive Regularized Warped Gradient Descent Enhances Model Generalization and Meta-learning for Few-shot Learning

Rao S.; Huang J.; Tang Z.

Published:2023-06-07
DOI:10.1016/j.neucom.2023.03.042

研究背景

在当今社会中,人们对于快速学习的需求越来越高。但是,传统的机器学习方法在处理少样本学习的问题上存在一定的局限性。这就引出了当前研究领域存在的问题:如何在少样本学习中提高模型的泛化性和元学习能力。

研究内容

在这篇论文中,研究者提出了一种名为ARWarpGrad的方法,可以通过建模跨任务和任务特定的知识来保证更好的泛化性能和更快的收敛速度。这种方法使用了初始化调节(IM)来元学习任务学习器的初始化,同时提出了混合梯度预处理(MGP)来提供更好的自适应优化方向和长度,以适应本地几何特征。此外,还提供了记忆正则化(MR)来有效地缓解由参数增加引起的过度拟合问题。

研究意义

ARWarpGrad方法的创新点在于它可以同时考虑跨任务和任务特定的知识来提高模型的泛化性能和元学习能力。此外,该方法还提出了初始化调节、混合梯度预处理和记忆正则化等技术,可以有效地加速收敛速度并避免过度拟合问题。这些创新点为少样本学习领域的研究提供了新的思路和方法。最终,大量实验表明,ARWarpGrad方法具有收敛加速和防止过度拟合的特点,并且在三种设置下均取得了最先进的性能。

微信扫码即可查看