综述：增量学习与深度学习

简介：
本综述探讨了增量学习和深度学习的相关理论和技术，分析其在处理大规模、动态数据集中的应用及挑战，展望未来研究方向。 本段落是一篇综述文章，共30页，并参考了249篇文献。该文全面调研了深度类别增量学习的最新进展，并从三大方面进行总结：以数据为中心、以模型为中心以及算法驱动的方法。同时，在图像分类任务中对16种方法进行了统一评估。 在封闭世界中的许多视觉任务上，如CNN和视觉Transformer等深度模型取得了令人瞩目的成就。然而，随着我们所处的世界不断变化，新的类别会不时出现并需要学习系统持续地获取新知识。例如，机器人需要理解新增的指令或意见监控系统应每天分析新兴的话题。 类增量学习（CIL）使学习者能够逐步整合新类别的信息，并在所有已知分类中构建通用分类器。然而，在直接用新的类别实例训练模型时，会遇到一个严重问题——即模型可能会灾难性地忘记先前的类别特征，导致性能急剧下降。为解决这一问题，机器学习领域已经开展了大量研究工作。 本段落全面综述了深度类增量学习的最新进展，并从数据驱动、以模型为中心和算法导向三个方面总结这些方法。同时，在基准图像分类任务中对16种方法进行了严格的统一评估，以便经验性地揭示不同算法的特点。