联合分布自适应-JMeter。

简介：
6.3 联合分布自适应 6.3.1 基本思路 联合分布自适应方法 (Joint Distribution Adaptation) 的核心在于缩小源域和目标域的联合概率分布间的差距，从而实现迁移学习。从本质上讲，该方法通过评估 P (xs) 和 P (xt) 之间的距离，以及 P (ys|xs) 和 P (yt|xt) 之间的差异来近似两个领域间的差异。具体而言，可以表示为：DISTANCE(Ds,Dt) ≈ ||P (xs)− P (xt)||+ ||P (ys|xs)− P (yt|xt)|| (6.10)。联合分布自适应对应于图 19 中由图 19(a) 迁移到图 19(b) 以及图 19(a) 迁移到图 19(c) 的情形。6.3.2 核心方法 JDA 方法，由龙明盛等人在 2013 年发表于计算机视觉领域顶级会议 ICCV（与 CVPR 类似）中首次提出，其作者是当时清华大学博士生（现为清华大学助理教授）。该方法的初始假设是源域和目标域的边缘分布存在差异，并且源域和目标域的条件分布也存在差异。鉴于明确的目标，同时适配这两个分布似乎是一个合理的策略。因此，作者提出了联合分布适配方法：适配联合概率。然而，在此过程中存在一些值得商榷之处：边缘分布和条件分布的不同并不一定等同于联合分布的不同。因此，“联合”二字可能导致理解上的歧义。我的理解是，同时适配这两个分布也可以被称作“联合”，而非概率上的“联合”。尽管作者在最初的公式中使用了“适配联合概率”这一术语，但这种表述可能存在一定的模糊性。为了避免歧义，我们不妨将“联合”理解为同时适配这两个分布的概念。那么 JDA 方法的目标就是寻找一个变换 A，使得经过变换后的 P (A⊤xs) 和 P (A⊤xt) 的距离能够尽可能地接近，同时保证 P (ys|A⊤xs) 和 P (yt|A⊤xt) 的距离也尽可能地小。由此可见，该方法可以分解为两个关键步骤。首先进行边缘分布适配，即确保 P (A⊤xs) 和 P (A⊤xt) 的距离能够尽可能地接近。这一操作实际上是进行成分分析（TCA）。我们仍然采用均值最大距离估计量（MMD）来最小化源域和目标域的最大均值差异。MMD距离定义为∥∥∥∥∥ ∑nn i=1 A⊤xi − ∑mm j=1 A⊤xj∥∥∥∥∥2H ，其中 H 是高斯核函数的截断参数。这个公式在求解时较为复杂；因此我们引入核方法对其进行简化，最终得到了 D(Ds,Dt) = tr(A⊤XM0X⊤A)(6.12)。