NSGANetV2: Evolutionary Multi-Objective Surrogate-Based Assistance

简介：
NSGANetV2是一种基于进化多目标代理协助的方法，通过改进的遗传算法优化复杂问题的多个目标，在效率与准确性之间实现良好平衡。 《NSGANetV2：进化多目标代理辅助神经架构搜索》 在深度学习领域，神经架构搜索（NAS）是一种重要的技术手段，旨在自动寻找最优的计算机视觉模型结构。然而，传统的基于进化计算（EC）的方法由于其高昂的计算成本而受到限制，并且大多数的研究集中在如ImageNet、CIFAR-10和CIFAR-100这样的标准数据集上，这些研究在实际应用中的推广效果有限。 针对上述问题，NSGANetV2提出了一种创新性的解决方案。该方法的核心在于构建了两个代理模型来提高搜索效率并降低计算负担。第一个代理模型位于架构层面（即上层目标函数），其主要目的是优化采样效率；通过高效地评估架构减少了底层的优化次数。第二个代理模型则在权重层面（即下层目标函数）运作，利用超网中的权重共享机制加速了梯度下降训练过程。 NSGANetV2的设计涵盖了卷积神经网络（CNN）的四个关键维度：深度、宽度、内核大小和输入分辨率。每个基本块至少包含两层，并且特征图的输入尺寸被控制在192到256之间，以确保不同架构具有固定长度表示。此外，整个CNN结构由五个连续连接的基本块组成，在每一模块中搜索层数并应用倒置瓶颈结构以及可调膨胀率和卷积核大小来适应不同的任务需求。 上层代理模型的建立旨在解决高层优化过程中的计算成本问题；通过使用如多层感知器、分类回归树及径向基函数等预测架构准确性的方法，然后利用自适应切换机制在迭代中选择最佳预测模型，从而减少了对真实评估数据的需求。下层代理模型则借助权重共享的超网进行训练，为搜索过程提供初始化权重以加快其进程。 实验结果表明，在六个不同的非标准数据集上NSGANetV2展示了强大的泛化能力和有效性，证明了该方法具有普遍适用性。这说明结合多目标优化和高效代理模型的方法能够使NAS在各种实际应用场景中得到更广泛的应用和发展。