1 背景

指数族是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式： $$p(x|\eta )=h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))=\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))$$ 其中，$\eta$ 是参数向量，$A(\eta )$ 是对数配分函数（归一化因子）。

1.1 三大性质

1. 充分统计量
   在上面的式子中，$\varphi (x)$ 叫做充分统计量，包含样本集合所有的信息，例如高斯分布中的均值和方差。充分统计量在在线学习中有应用，对于一个数据集，只需要记录样本的充分统计量即可。
   例如,对$p(x)$的估计：$$p(x|\theta )=\frac{1}{z}\hat{p}(x|\theta )$$
   其中，$z$是归一化因子，也叫配分函数。我们知道，$p(x|\theta )$是概率分布，对$x$进行积分为1，此时$z$相当于常数，于是可得下式：
   $$\begin{array}{rl}1={\int }_{x}p(x|\theta )dx& =\frac{1}{z}\int \hat{P}(x|\theta )dx\\ & =\frac{1}{z}\int \hat{p}(x|\theta )dx\end{array}$$
   此时，将指数族分布进行整理：
   $$\begin{array}{rl}p(x|\eta )& =h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))\\ & =\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))\\ & =\frac{1}{z}\hat{p}(x|\theta )\end{array}$$
   可得：$$\begin{gathered} exp(A(\eta ))=z \\ A(\eta )=logz \end{gathered}$$，所以$A(\eta )$叫做配分函数。
   进一步，以高斯分布为例，令：$$\varphi (x)=\left(\begin{array}{l}{\sum }_{i=1}^N{x}_i\\ {\sum }_{i=1}^N{x}_i^2\end{array}\right)$$
   ”统计“：即表示对样本的统计值
   ”充分“：通过上面两个统计值，可以求得均值和方差，进而可以获得高斯分布表达式。
   充分统计量在在线学习中有应用，对于一个数据集，只需要记录样本的充分统计量即可。
2. 共轭先验
   $$P(z|x)=\frac{P(x|z)p(z)}{{\int }_{z}P(x|z)P(z)dz}$$

我们知道，上式中分母积分十分难计算，为了解决积分难计算的问题，一个思路是能否绕过积分呢？我们知道存在如下关系 $P(z|x)\propto p(x|z)p(z)$，其中$P(z|x)$是后验分布，$p(x|z)$是似然，$p(z)$是先验。

在已知似然函数的情况下，选取什么样的先验分布能够使得后验分布与先验分布具有相同的数学形式呢？

如果存在这样的⼀个先验分布，那么上⼀时刻的输出可以作为下⼀时刻计算的先验分布，那么这样整个计算就可
以形成闭环。也就是说如果后验分布和先验分布是同分布，此时我们称先验分布和后验分布是共轭分布，且称先
验分布是似然函数的共轭先验。⽐如⾼斯分布家族在⾼斯似然函数下与其⾃身共轭，也叫⾃共轭。

共轭先验的好处主要在于代数上的⽅便性，可以直接给出后验分布的封闭形式，否则的话只能做数值计算。共轭
先验也有助于活的关于似然函数如何更新先验分布的直观印象。

对于一个模型分布假设（似然），那么我们在求解中，常常需要寻找一个共轭先验，使得先验与后验的形式相同，例如选取似然是二项分布，可取先验是 Beta 分布，那么后验也是 Beta 分布。指数族分布常常具有共轭的性质，于是我们在模型选择以及推断具有很大的便利。

3. 最大熵（无信息先验）
   ⽆信息先验是指先验分布尽可能对对后验分布产⽣⼩的影响，即尽可能的随机性，其实就是最⼤熵原理。

1.2 三大重要应用

• 广义线性模型
• 概率图模型
• 变分推断

观察到指数族分布的表达式类似线性模型，事实上，指数族分布很自然地导出广义线性模型： $$\begin{gathered} y=f(w^{T}x) \\ y|x\sim ExpFamily \end{gathered}$$ 在更复杂的概率图模型中，例如在无向图模型中如受限玻尔兹曼机中，指数族分布也扮演着重要作用。

在推断的算法中，例如变分推断中，指数族分布也会大大简化计算。

2 高斯分布的指数形式

一维高斯分布可以写成： $$p(x|\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
其中，$\theta =(\mu ,{\sigma }^2)$，对上式进行改写：
$$\begin{array}{rl}P(x|\theta )& =\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)\\ & =\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2{\sigma }^2}\left(x^2-2x\mu +{\mu }^2\right)\right)\\ & =\exp \log {\left(2x{\sigma }^2\right)}^{-\frac{1}{2}}\cdot \exp \left\{-\frac{1}{2{\sigma }^2}\left(x^2-2\mu x\right)-\frac{u^2}{2{\sigma }^2}\right\}\\ & =\exp \log {\left(2x{\sigma }^2\right)}^{-\frac{1}{2}}\cdot \exp \left(-\frac{1}{2{\sigma }^2}(-2\mu 1)\left(\begin{array}{c}x\\ x^2\end{array}\right)-\frac{{\mu }^2}{2{\sigma }^2}\right)\\ & =\exp \left\{\left(\frac{\mu }{{\sigma }^2}-\frac{1}{2{\sigma }^2}\right)\left(\begin{array}{c}x\\ x^2\end{array}\right)-\left(\frac{u^2}{2{\sigma }^2}+\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\right)\right\}\end{array}$$
将上式与指数族分布进行对应，可得，
$$\begin{array}{l}\Rightarrow \eta =\left(\begin{array}{l}{\eta }_1\\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right)\Rightarrow \{\begin{array}{l}\mu =-\frac{{\eta }_1}{2{\eta }_2}\\ {\sigma }^2=-\frac{1}{2{\eta }_2}\end{array}\\ \\ \begin{array}{r}\varphi (x)=\left(\begin{array}{l}x\\ x^2\end{array}\right)\\ \\ A(\eta )=\frac{u^2}{2{\sigma }^2}+\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\\ \\ =\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log \left(-\frac{\pi }{2{\eta }_2}\right)\end{array}\\ \\ \Rightarrow P(x|\theta )=1\cdot \exp \left\{{\eta }^{\top }\varphi (x)-A(\eta )\right\}\end{array}$$

3 对数配分函数和充分统计量的关系

对概率密度函数 $$p(x|\eta )=h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))=\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))$$ 求积分，积分值为1，将$\frac{1}{\exp (A(\eta ))}$看作常数，那么可得下式：
$$\exp (A(\eta ))=\int h(x)\exp ({\eta }^T\varphi (x))dx$$
两边对参数求导： $$\exp (A(\eta ))A^{\prime }(\eta )=\int h(x)\exp ({\eta }^T\varphi (x))\varphi (x)dx$$ $$\begin{array}{rl}{A}^{\prime }(\eta )& =\frac{\int h(x)\exp \left({\eta }^{\top }\varphi (x)\right)\cdot \varphi (x)\cdot dx}{\exp (A(\eta ))}\\ & =\int h(x)\exp \left({\eta }^{\top }\varphi (x)-A(\eta )\right)\cdot \varphi (x)\\ & =\int p(x|\eta )\cdot \varphi (x)dx\\ & =\mathbb{E}p(x|\eta )[\varphi (x)]\end{array}$$
类似的： $$A^{\prime \prime }(\eta )=Va{r}_{p(x|\eta )}[\varphi (x)]$$ 由于方差为正，于是 $A(\eta )$ 一定是凸函数。
我们可以将上述结果带到高斯分布进行检验：
在上一节知道$$\begin{array}{l}\eta =\left(\begin{array}{l}{\eta }_1\\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right)\Rightarrow \{\begin{array}{l}\mu =-\frac{{\eta }_1}{2{\eta }_2}\\ {\sigma }^2=-\frac{1}{2{\eta }_2}\end{array}\\ \\ \begin{array}{r}\varphi (x)=\left(\begin{array}{l}x\\ x^2\end{array}\right)\\ \\ A(\eta )=\frac{u^2}{2{\sigma }^2}+\frac{1}{2}\log \left(2\pi {\sigma }^2\right)\\ \\ =\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log \left(-\frac{\pi }{2{\eta }_2}\right)\end{array}\\ \\ \Rightarrow P(x|\theta )=1\cdot \exp \left\{{\eta }^{\top }\varphi (x)-A(\eta )\right\}\end{array}$$
那么，
$$E[\varphi (x)]=\left[\begin{array}{l}E(x)\\ E\left(x^2\right)\end{array}\right]$$易知，$E(x)=\mu$，对应的是$$\frac{\partial A(\eta )}{d{\eta }_1}=\frac{2{\eta }_1}{4{\eta }_2}=\frac{-2\cdot \mu /{\sigma }^2}{4\cdot \left(-\frac{1}{2{\sigma }^2}\right)}=\mu$$
$$E(x^2)=(Ex{)}^2+Var(x)={\mu }^2+{\sigma }^2$$
$$\begin{array}{rl}\frac{\partial A(\eta )}{d{\eta }_2}=\frac{{\eta }_1^2}{4{\eta }_2^2}-\frac{1}{2{\eta }_2}& =\frac{{\left(\mu /{\sigma }^2\right)}^2}{4{\left(-\frac{1}{2{\sigma }^2}\right)}^2}-\frac{1}{2\cdot \left(-\frac{1}{2{\sigma }^2}\right)}\\ & =u^2+{\sigma }^2\end{array}$$
也就是本节的结论。

4 极大似然估计和充分统计量

前面的结论： $$p(x|\eta )=h(x)\exp ({\eta }^T\varphi (x)-A(\eta ))=\frac{1}{\exp (A(\eta ))}h(x)\exp ({\eta }^T\varphi (x))$$

• $\eta$是参数向量
• $A(\eta )$ 是对数配分函数（归一化因子）
• $\varphi (x)$ 叫做充分统计量
• 其中 $$A^{\prime }(\eta )=\mathbb{E}p(x|\eta )[\varphi (x)]$$ $$A^{\prime \prime }(\eta )=Var[\varphi (x)]$$

对于独立全同采样得到的数据集 $\mathcal{D}=x_1,x_2,\cdots ,x_N$，由极大似然估计可得
$$\begin{array}{rl}& \begin{array}{rl}{\eta }_{mle}& =\arg \underset{\eta }{\max }\log P(D|\eta )\\ & =\arg \underset{\eta }{\max }\log \prod _{i=1}^{N}P\left(x_i|\eta \right)\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\log P\left(x_i|\eta \right)\end{array}\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\log [h(x)\exp \left\{{\eta }^{\top }\varphi (x_i)-A(\eta )\right\}\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\left[\log h_i(x)+{\eta }^{\top }\varphi (x_i)-A(\eta )\right\}\\ & =\arg \underset{\eta }{\max }\sum _{i=1}^N\left[{\eta }^{\top }\varphi (x_i)-A(\eta )\right]\end{array}$$
求导，并令积分为0
$$\begin{array}{rl}\frac{\partial {\sum }_{i=1}^N\left[n^{\top }{\varphi }_i(x)-A(\eta )\right]}{\partial \eta }& =\sum _{i=1}^N\left[\varphi (x_i)-A^{\prime }(\eta )\right]\\ & =\sum _{i=1}^N{\varphi }_i(x)-N{A}^{\prime }(\eta )=0\\ \Rightarrow & A^{\prime }\left({\eta }^{\ast }\right)=\frac{1}{N}\sum _{i=1}^N\varphi (x_i)\end{array}$$
令$g(\eta )=A^{\prime }\left({\eta }^{\ast }\right)$，故${\eta }^{\ast }=g^{-1}(\eta )$。（即${\eta }^{\ast }$是$A^{\prime }\left({\eta }^{\ast }\right)$的反函数）
对于高斯分布而言，${\eta }^{\ast }$表示$(\mu ,{\sigma }^2)$这些参数，为求解分布表达式，不用保存每一个样本，相反我们只需求出一个值，即$\frac{1}{N}{\sum }_{i=1}^N\varphi (x_i)$就能利用反函数求出${\eta }_{mle}$。也就是为了估算参数，只需要知道充分统计量就可以了。

5 最大熵角度

5.1 无约束时的最大熵

信息量：$-logP$
信息量与概率成反比，可以这样理解，如果一件事发生的概率非常大，那么它包含的信息就非常少，因为这件事已经确定会发生了。
信息熵：
连续函数：$$Entropy=\int -p(x)\log (p(x))dx$$
离散函数：$$Entropy=\sum _{k=1}^K{p}_k\log p_k$$

一般地，对于完全随机的变量（等可能），信息熵最大。
我们的假设为最大熵原则，假设数据是离散分布的，$k$ 个特征的概率分别为 $p_k$，最大熵原理可以表述为：
$$\max H(p)=\min \sum _{k=1}^K{p}_k\log p_{k}s.t.\sum _{k=1}^K{p}_k=1$$

利用 Lagrange 乘子法：
$$L(p,\lambda )=\sum _{k=1}^K{p}_k\log p_k+\lambda (1-\sum _{k=1}^K{p}_k)$$
求导，可得：
$$\begin{array}{c}\frac{\partial L(p,x)}{\partial p_i}=\log p_i+1-\lambda =0\\ \\ {\hat{p}}_i=\exp (\lambda -1)\end{array}$$
又因为$\lambda$是一个常数，于是可得：
$$p_1=p_2=\cdots =p_K=\frac{1}{K}$$
因此$p(x)$是均匀分布的时候，熵最大。

5.2 有约束时的最大熵

上⼀节结论是在没有任何已知信息，或者说没有约束的情况下，均匀分布的熵最⼤。
下⾯讨论⼀下在只有数据的情况下，怎么⽣成约束，进⽽求解有约束的情况。
一个数据集 $\mathcal{D}$，在这个数据集上的经验分布为 $\hat{p}(x)=\frac{Count(x)}{N}$，实际不可能满足所有的经验概率相同，于是在上面的最大熵原理中还需要加入这个经验分布的约束。
那么，可令$f(x)$是关于x的任意函数，为了具有一般性，假设$f(x)$是一个向量，也就是说$f(x)$中的数据是关于x的函数。对任意一个函数，经验分布的经验期望可以求得为：
$$\mathbb{E}\hat{p}[f(x)]=\Delta$$这也可以当做是已知条件。
于是：
$$\begin{gathered} \max H(p)=\min \sum _{k=1}^N{p}_k\log p_k \\ s.t.\sum _{k=1}^N{p}_k=1,\mathbb{E}p[f(x)]=\Delta \end{gathered}$$
Lagrange 函数为：
$$L(p,{\lambda }_0,\lambda )=\sum _{k=1}^N{p}_k\log p_k+{\lambda }_0(1-\sum _{k=1}^N{p}_k)+{\lambda }^T(\Delta -\mathbb{E}p[f(x)])$$
求导得到：
$$\begin{array}{rl}\frac{\partial }{\partial p(x)}L& =\sum _{k=1}^N(\log p(x)+1)-\sum _{k=1}^N{\lambda }_0-\sum _{k=1}^N{\lambda }^{T}f(x)\\ & ⟹\sum _{k=1}^N\log p(x)+1-{\lambda }_0-{\lambda }^{T}f(x)=0\end{array}$$
由于数据集是任意的，对数据集求和也意味着求和项里面的每一项都是0：
$$p(x)=\exp ({\lambda }^{T}f(x)+{\lambda }_0-1)$$
这就是指数族分布。