「自然科学の統計学」第9章演習問題3-予測分布/ベータ分布の場合を簡潔に解説してみた

ベータ分布とは？

ベータ分布とは、$\alpha$と$\beta$という2つのパラメータによって特徴づけられう分布です。

ベータ分布について3つのトピックスを紹介いたします

• ベータ分布の確率密度関数
• ベータ分布の期待値
• ベータ関数の簡単な計算方法
• ベータ分布と一様分布

順を追って説明いたします

ベータ分布の確率密度関数

ベータ分布の確率密度関数は以下のような式で表されます。

$$f(\theta) = \frac{\theta^{\alpha – 1}(1-x)^{\beta-1}}{B(\alpha, \beta)}$$

ここで、ベータ関数$B(\alpha, \beta)$は次のように計算されます。

$$B(\alpha, \beta) = \int_0^1 t^{\alpha-1}(1-t)^{\beta-1}dt$$

ベータ分布の期待値

確率変数$\theta$がベータ分布に従う時、確率分布$\theta$の期待値$E(\theta)$はベータ分布の$Be(\alpha, \beta)$と一致し、

$E(\theta) = \frac\alpha{\alpha + \beta}$

と求められる

ベータ関数の簡単な計算方法

先ほど登場したベータ関数$B(\alpha, \beta)$は$\alpha, \beta$が自然数なら次のように計算することができます

$$B(\alpha, \beta) = \frac{(\alpha -1)! (\beta – 1)!}{(\alpha + \beta -1)!}$$

ベータ分布と一様分布

ベータ分布$Be(\alpha, \beta)$に$\alpha = 1, \beta = 1$を代入すると、

$$Be(1,1) = \frac{\theta^0 (1-\theta)^0}{B(1,1)} $$

ここで、$B(1,1) = \frac{0!0!}{(2-1)!} = 1$であるから、

$$Be(1,1) = \frac11 = 1$$

これは一様分布の確率密度関数に他ならない。

よって、一様分布というのは、ベータ分布の$\alpha$と$\beta$が1であるような時の分布のことをいう。

尤度関数が二項分布、事前確率分布がベータ分布である時の事前確率分布の更新

尤度関数（$\fallingdotseq$条件付き確率）が二項分布であり、事前確率分布がベータ分布であるような時について考えます。

$n$回中$x$回成功するという状況における尤度関数・二項分布の式は

$$f(x|\theta) = {}_n\mathrm{C}_x \theta^x (1-\theta)^{n-x}$$

であり、同様に事前確率分布$w(\theta) = Be(\alpha, \beta)$の式は

$$w(\theta) = \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha, \beta)}$$

である。

ここで、事後確率分布$w'(\theta)$を求める式は

$$w'(\theta) = \frac{w(\theta_i)\cdot f(z|\theta_i)}{\sum w(\theta_i)\cdot f(z|\theta_i)}$$

で求められるので、$w(\theta_i)$と$f(z|\theta_i)$のそれぞれにベータ分布と二項分布の式を代入し整理すると

$$w'(\theta) \propto \theta^{\alpha + x – 1}(1-\theta)^{\beta + (n-x) -1} \sim Be(\alpha + x, \beta + (n-x))$$

これは、成功の場合はベータ分布の左側$x$が$+1$され、失敗の場合はベータ分布の右側$n-x$が$+1$されることを意味する。

よって、尤度関数が二項分布、事前確率分布がベータ分布であるような場合には、成功または失敗という結果を得るために、ベータ分布に数字が追加される形で事後分布（=次の施行の事前分布）が更新されることを意味する。

この時、事前確率分布ベータ分布が更新されることによって、次の事後確率の期待値が変動する、というところが本問題の肝になっております。