互信息

信息熵 对某件事件的不确定性叫做熵，熵值单位为bit，计算公式为： 。它是统计平均意义下的不确定性，包括熵，条…

一、Jensen不等式 若f为区间I上的凹函数，则Jensen不等式成立： 这里若函数f为凹函数，则有： 凹函…

一、Jensen不等式 若f为区间I上的凹函数，则Jensen不等式成立： 这里若函数f为凹函数，则有： 凹函…

  机器学习中各种熵（信息熵，条件熵，联合熵，互信息，交叉熵）是最重要的概念之一，也是最难理解的。对于分类问题…

自信息（self-information）：   I(x)=    =  – log(p(x)) …