Beta分布的参数估计

Beta分布的参数估计

关于Beta分布，大致上可以视为是概率的分布，当不知道先验分布是什么时可以设为Beta分布。具体可以参见

• 贝叶斯参数估计的理解及其在电商算法中的应用
• 如何通俗理解 beta 分布？ - 知乎 (zhihu.com)

最近在导师的课题中发现了使用Beta分布进行扰动的代码，补习了下Beta分布的知识。这里推导一下Beta分布的参数估计。

数学推导

Beta分布的期望是$\frac{\alpha }{\alpha +\beta }$， 方差是$\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}$。可以用样本的均值$\bar{X}$和方差$S^2$估计参数$\alpha ,\beta$

$$\begin{array}{r}\{\begin{array}{cc}\bar{X}=& \frac{\alpha }{\alpha +\beta }\\ S^2=& \frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}\end{array}\end{array}$$

整理下有：

$$\begin{array}{r}\{\begin{array}{ccc}\bar{X}(\alpha +\beta )=& \alpha & (1)\\ \frac{S^2}{{\bar{X}}^2}(\alpha +\beta +1)=& \frac{\beta }{\alpha }& (2)\end{array}\end{array}$$

(1)式代入(2)式有

$$\frac{S^2}{{\bar{X}}^2}(\frac{{\alpha }^2}{\bar{X}}+\alpha )=\beta (3)$$

(3)式代入(1)式有

$$\bar{X}(\alpha +\frac{S^2}{{\bar{X}}^2}(\frac{{\alpha }^2}{\bar{X}}+\alpha ))=\alpha$$

化简得到

$$\begin{array}{rl}\frac{S^2}{{\bar{X}}^2}\alpha & =1-\frac{S^2}{\bar{X}}-\bar{X}\\ \alpha & =\frac{{\bar{X}}^2}{S^2}(1-\frac{S^2}{\bar{X}}-\bar{X})\\ & =\bar{X}(\frac{\bar{X}}{S^2}-1-\frac{{\bar{X}}^2}{S^2})\\ & =\bar{X}(\frac{\bar{X}(1-\bar{X})}{S^2}-1)(4)\end{array}$$

将(4)式代入(3)式有

$$\begin{array}{rl}\beta & =\frac{S^2}{{\bar{X}}^2}(\bar{X}(\frac{\bar{X}(1-\bar{X})}{S^2}-1{)}^2+\bar{X}(\frac{\bar{X}(1-\bar{X})}{S^2}-1))\\ & =(1-\bar{X})(\frac{\bar{X}(1-\bar{X})}{S^2}-1)\end{array}$$

这样，我们就得到了$\alpha ,\beta$的估计。

代码实现

N = ((1 - M) * M) / var - 1
alpha = N * M
beta = N - alpha
# Anew = rg.beta(alpha, beta)
# Anew[np.tril_indices_from(Anew)] = Anew.T[np.tril_indices_from(Anew)]
noise = np.triu(rg.beta(alpha, beta) - M)

M 是一个概率矩阵，里面中的每一个值可以视为样本均值。所以M相当于上面推到中的$\bar{X}$。var是设定好的一个值，作为方差，相当于$S^2$。所以代码中的N即为$\alpha ,\beta$所共有的：

$$\frac{\bar{X}(1-\bar{X})}{S^2}-1$$

所以N * M 即为$\alpha$。N(1-M) = N - $\alpha$即为 $\beta$。

• algorithm