active_gp_hyperlearning是实现贝叶斯超参数优化的MATLAB工具箱,采用Garnett等人的方法进行高斯过程(GP)超参数的主动学习,适用于机器学习模型的高效调参。
本段落描述了在MATLAB环境中实现的基于贝叶斯超参数优化的主动GP超参数学习方法。该方法遵循Garnett, R., Osborne, M. 和 Hennig, P. 在2014年发表于第30届人工智能不确定性会议(UAI 2014)上的论文《高斯过程线性嵌入的主动学习》中的理论框架。在给定函数f的情况下,该方法使用GP模型,并通过依次选择一系列位置X={xi}进行观察来实现对超参数θ的学习目标。其核心在于保持概率信念p(θ|D),并通过最大化贝叶斯主动学习差异(BALD)标准来选定每个新的观测点。
具体而言,此实施采用N. Houlsby, F. Huszar, Z. Ghahramani 和 M. Lengyel 在2011年提出的用于分类和偏好学习的贝叶斯主动学习方法中的BALD近似。本段落实现依赖于Garnett等人所描述的边缘GP(MGP)方法,该方法涉及对GP超参数进行边际化处理。
主要接口函数为learn_gp_hyperparameters.m,通过此文件可以调用整个流程以开始或继续基于贝叶斯主动学习差异标准的学习过程。