相对熵

/ xiāng duì shāng /

1
[数] relative entropy
...，互信息是一种测度，用来度量一个随机变量包含另一个随机变量的信息量。熵恰好变成一个随机变量的自信息。相对熵(relative entropy)是个更广泛的量，它是刻画两个概率分布之间距离的一种度量，而互信息又是它的特殊情形。
2
Kullback-Leibler Divergence
在以前的隐私保护下的OLAP研究中，往往难以描述输出数据有效性，本文采用了相对熵（Kullback-Leibler divergence）作为数据有效性的指标，恰当地描述了隐私保护下OLAP输出数据的有效性，并对优化结果进行了隐私保护和有效性两方面的评价。
3
KL divergence
...息量；互信息（Mutual Information）: 计算每个词t与类别c之间的互信息，存在问题，倾向于选择稀疏词； 相对熵（KL Divergence）：卡方（Chi-square）: 卡方统计量常常用于检测两个事件的独立性，在特证词选择中，两个事件分别指词项的出现共同的 3.2.

短语

1
在此基础上，相对熵歧异值被用来衡量分布差异。
Based on it, divergence is proposed to measure difference of distribution.
2
并参考灰关联分析结果，对相对熵分析结果进行比较。
Referring to the results of grey relation analysis, the results of relative entropy analysis is compared.
3
数值计算了相对熵纠缠度和计算分析了线性熵纠缠度。
We numerically calculate the relative entropy of the entanglement and analyze in detail the linear entropy of the entanglement.

相对熵
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。在在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的损失函数。此时参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。

点击反馈