开放AI研究人员开创先进的一致性模型，实现高质量数据采样而无需对抗性训练
美妆时尚专家揭秘：开放AI研究带来先进一致性模型，轻松实现高质量数据采样无需对抗性训练<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-04-at-5.35.18-PM-1024×567.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-04-at-5.35.18-PM-150×150.png”/><p>一致性模型代表了一类生成模型，旨在通过单步生成高质量数据，而无需依赖对抗训练。这些模型通过从预训练的扩散模型中学习以及利用类似LPIPS（学习感知图像块相似性）的度量标准来实现最佳样本质量。当使用蒸馏时，一致性模型的质量仅限于预训练的扩散模型。此外，LPIPS应用程序在评估过程中引入了不必要的偏见。</p><p>与基于分数的扩散模型相比，一致性模型不需要多次采样步骤即可生成高质量样本。它保留了扩散模型的主要优点，如能够通过多步采样来提高样本质量。此外，它还可以使用零射策略，进行数据改变而不会有任何先前的暴露。</p><p>这些模型使用了LPIPS和蒸馏的方法，蒸馏是从已经训练好的扩散模型中去除知识的过程。缺点是，将LPIPS纳入评估过程中会引入不必要的偏见，因为蒸馏建立了一致性模型的质量与其原始扩散模型的质量之间的联系。</p><p>在他们的论文《一致性模型训练技术》中，OpenAI研究团队介绍了使一致性模型能够直接从数据中学习的创新方法。这些方法在生成高质量样本方面的性能超过了一致性蒸馏（CD），同时也减轻了与LPIPS相关的限制。</p><p>一致性蒸馏（CD）和一致性训练一直是训练一致性模型（CT）所使用的主要方法。先前的研究一致表明，CD往往比CT表现更好。但是，CD通过要求训练独特的扩散模型来限制一致性模型能够达到的样本质量。</p><p>研究人员建议通过添加对数正态噪声计划来一致地训练模型。他们还建议在训练过程中定期增加总离散化步骤。该研究在理论分析和在CIFAR-10数据集上的广泛实验基础上改进了对比训练（CT）。研究人员对权重函数、噪声嵌入和dropout进行了广泛调查。他们还发现了先前理论分析中的一个被忽视的缺陷，并提出了一个简单的解决方案：从教师网络中删除指数移动平均值（EMA）。</p><p>为了减轻LPIPS引起的评估偏见，该团队使用了鲁棒统计领域的伪Huber损失。他们还研究了增加离散化步骤来提高样本质量的方法。研究人员利用这些认识提出了一个简单但有效的课程，以确定总离散化步骤。</p><p>他们发现，在这些进展的帮助下，对比训练（CT）可以在一个采样步骤中获得CIFAR-10和ImageNet 64×64的令人印象深刻的Frechet Inception Distance（FID）分数，分别为2.51和3.25。这些分数显示了分别提高了3.5倍和4倍之多，并超过了一致性蒸馏（CD）所获得的结果。</p><p>CT实施的改进方法有效地克服了先前的缺点，产生了与最先进的扩散模型和生成对抗网络（GAN）相媲美的结果。这一成就突显了一致性模型作为生成模型领域一个独立且令人兴奋的类别的巨大潜力。</p><p></p>
