こんにちは！データサイエンティストの青木和也（https://twitter.com/kaizen_oni）です！
今回の記事では、統計学の青本「自然科学の統計学」の第9章-演習問題4「正規分布の自然な共役分布」について丁寧に解説していきたいと思います。
要は、尤度関数と事前確率分布に正規分布を仮定し、結果としてのデータが得られた際に事後確率分布をどのように修正すべきか、という問題になります。
ベイズ統計の正規分布に関する基礎的な部分になりますので、本問題を通して理解を深めていただけると幸いです！
問題文
＜正規分布の自然な共役分布＞
ある量$X$の母集団分布が$N(\theta, 1/4)$の時、$\theta$を推定するために$\theta$の事前確率分布として、平均5、分散$1/2$の正規分布$N(5, 1/2)$を仮定した。
$X$の観測値が$X=6.5$の時、$\theta$の事後確率分布を求めよ
東京大学教養学部統計学教室『自然科学の統計学』(東京大学出版社/2001) 第9章 演習問題 P273
正規分布の事後確率の算出方法
尤度関数の元となる$n$個の標本の母集団が正規母集団$N(\theta, \sigma^2)$であり、
事前確率分布も正規分布$N(\lambda, \tau^2)$であるようなとき、
事後確率分布も正規分布となり、事後確率分布の平均$\lambda’$と分散$\tau’^2$は次のように計算される。
ただし、$\bar{x}$は標本平均である。
$$\frac1{\tau’^2} = \left(\frac1{\tau^2}\right) + \left(\frac{n}{\sigma^2}\right)$$
$$\lambda’ = \frac{\left(\frac1{\tau^2}\right)\lambda + \left(\frac{n}{\sigma^2}\right)\bar{x}}{\left(\frac1{\tau^2}\right) + \left(\frac{n}{\sigma^2}\right)}$$
本書解説との相違について
本記事における解答と書籍「自然科学の統計学」における解答は値が異なります。
その理由は、書籍における事後確率分布の平均$\lambda’$の計算方法に誤りがあるためです。
書籍の解答を見ると、事後確率分布の平均$\lambda’$の分子の計算において
$$\left(\frac1{\tau^2}\right)\lambda + \left(\frac{n}{\sigma^2}\right)\bar{x}$$
と計算すべき部分を
$$\left(\frac1{\sigma^2}\right)\lambda + \left(\frac{n}{\tau^2}\right)\bar{x}$$
として計算してしまっています。
解説
今回の問題については、問題文より以下のことがわかる。
$$母集団の分散\sigma^2 = \frac14$$
$$標本数n = 1$$
$$事前確率分布の平均\lambda = 5$$
$$事前確率分布の分散\tau^2 = \frac12$$
また、標本の母分布が正規分布であり、事前確率分布も正規分布であることから、事後確率分布も正規分布となることがわかる。
よって、事後確率分布$N(\lambda’, \tau’^2)$の母数を求めると
$$\frac1{\tau’^2} = 2 + 4 = 6~~より~~\tau’^2 = \frac16$$
$$\lambda’ = \frac{2 \times 5 + 4 \times 6.5}{2 + 4} = \frac{10 + 26}{6} = 6$$
よって、求める事後確率分布は
$$正規分布N(6, \frac16)$$
まとめ
今回の記事では、統計学の青本「自然科学の統計学」の第9章-演習問題4「正規分布の自然な共役分布」について解説いたしました。
母分布も事前確率分布も正規分布であるような場合には、事後確率分布の正規分布の平均と分散を機械的に算出できることがお分かりいただけたかと思います。
皆さんもベイズ推論において、母分布も事後確率分布も正規分布を仮定できるような場合には、今回の問題を活用してみてください！
コメント