数字技术与应用杂志

摘要：<正>小样本学习旨在通过极少量标注数据（如每类仅1～5个样本）实现模型的高效学习和泛化能力，但在元学习的过程中由于模型的嵌入空间对基础类别的过度关注容易导致过拟合现象，为此设计了一种基于知识蒸馏的最近邻对称KL散度（Nearest-NeighborSymmetricKLDivergence,NNSKL），用于模型的元训练过程。该NNSKL通过约束模型与教师模型预测分布之间的相似度，实现对基础类别分布的拓扑结构惩罚，缓解特征空间对基础类别的关注，从而克服过拟合现象。此外，为了保证教师模型的泛化性表征能力，提出了一种动态教师模型筛选策略，动态选择当前在验证集上泛化性能最好的模型作为教师模型参与计算NNSKL，并在多个小样本学习数据集上通过实验验证了本文方法的有效性。

专辑： 信息科技

专题： 计算机软件及计算机应用

分类号： TP391.41