Kullback-Leibler Divergence 发音

Definition 定义

KullbackLeibler divergence（KL 散度）是用来衡量两个概率分布之间差异的量，常写作 \(D_{KL}(P\|Q)\)。它通常被解释为：当真实分布是 \(P\) 却用近似分布 \(Q\) 来编码或建模时，额外“损失”的信息量（以信息论单位计）。
注：它不是严格意义上的距离（一般不对称，且不满足三角不等式）。

Pronunciation 发音（IPA）

/kl.bk lab.lr dv.dns/

Examples 例句

We minimized the Kullback-Leibler divergence between the model and the data.
我们最小化了模型分布与数据分布之间的 KL 散度。

Because \(D_{KL}(P\|Q)\) is asymmetric, swapping \(P\) and \(Q\) can change the result dramatically in variational inference.
由于 \(D_{KL}(P\|Q)\) 是不对称的，在变分推断中交换 \(P\) 和 \(Q\) 可能会使结果发生显著变化。

Etymology 词源

该术语来自两位统计学家/信息论学者 Solomon Kullback 与 Richard A. Leibler 的姓氏。他们在 1951 年的论文中系统提出并研究了这一用于度量分布差异的量，因此被命名为 “KullbackLeibler divergence（库尔贝克莱布勒散度）”。“diverence” 在这里指“偏离/差异程度”，并不等同于几何意义上的“距离”。

Related Words 相关词

• Entropy
• Cross-Entropy
• Information
• Likelihood
• Variational
• Inference
• Bayesian
• Distribution
• Mutual
• Divergence

Literary Works 文学/著作中的用例

• Kullback, S. & Leibler, R. A. (1951), On Information and Sufficiency（提出并奠基 KL 散度的经典论文）
• Cover, T. M. & Thomas, J. A., Elements of Information Theory（信息论教材中以相对熵/KL 散度为核心概念之一）
• Bishop, C. M., Pattern Recognition and Machine Learning（在变分推断、近似推断章节频繁出现）
• MacKay, D. J. C., Information Theory, Inference, and Learning Algorithms（以信息论视角解释 KL 散度与学习）
• Goodfellow, Bengio & Courville, Deep Learning（在生成模型、变分自编码器等主题中使用 KL 项）