データ分析

Python

「自然科学の統計学」第8章演習問題1-線形確率モデルとの比較をPythonで解いてみた

今回の記事では、統計学の青本「自然科学の統計学」の第8章-演習問題1「線形確率モデルとの比較」をPythonで解いていきたいと思います。 今回の問題は非常にシンプルな単回帰モデルの構築なので、かなり理解いただきやすいかと思われます。
Python

「自然科学の統計学」第5章演習問題6のブラッドリー・テリーのモデルへの$\chi^2$適合度検定をPythonで解いてみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章-演習問題6「ブラッドリー・テリーのモデル」にPythonを適用して問題を解いていきたいと思います。 今回実装するPythonコードの詳細については別記事で紹介しているので、本記事では実装コードと結果について簡単に共有させていただきます!
Python

統計学の青本「自然科学の統計学」第5章演習問題5のポアソン分布と負の二項分布に対する$\chi^2$適合度検定をPythonで解いてみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章-演習問題5「適合度検定: 得点データへの分布の当てはめ」にPythonを適用して問題を解いていきたいと思います。 今回の問題ではポアソン分布や負の二項分布などのマーケティング領域でよく使われる分布が出てきますので、みなさんもぜひマーケティング分野において$\chi^2$検定を行いたい場合には、本記事の実装を調整して活用してみてください!
Python

「自然科学の統計学」第5章演習問題4のある分布の仮定を置いた時の$\chi^2$適合度検定をPythonで解いてみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章-演習問題4「$\chi^2$適合度検定統計量の分布」にPythonを適用して問題を解いていきたいと思います。 今回の記事のコードを使用すれば、自身で仮定した分布に対する$\chi^2$適合度検定を実施することができるようになるので、ぜひみなさんの検定にも活用してみてください!
Python

「自然科学の統計学」第5章演習問題2の擬似標準正規乱数と標準正規分布の理論値の$\chi^2$適合度検定をPythonで実装してみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章「適合度検定」の演習問題2「疑似乱数の適合度検定」における疑似標準正規乱数と標準正規分布の理論値の$chi^2$適合度検定のPythonでの実装について紹介いたします! 私は今回のコード作成を通じて、正規分布や$\chi^2$分布の上側確率をPythonで求める方法について知ることができました! 皆さんも本記事を通して、統計学的側面またはPythonの実装の側面で何らかの学びを得ていただけると幸いです!
Python

「自然科学の統計学」第5章演習1問目の$\chi^2$適合度検定をPythonで解いてみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章-演習問題1「カイ二乗適合度検定統計量の分布」にPythonを適用して問題を解いていきたいと思います。 カイ二乗適合度検定に馴染みのない方でも理解いただけるように解説したので、カイ二乗適合度検定のPythonでの実装が気になる方や、数学の問題を通してPythonについての理解を深めたい方はぜひ参考にしてください!
Python

統計学の青本「自然科学の統計学」の勝敗の確率モデル(ブラッドリー・テリーのモデル)を利用してチームの強さを推定してみた

今回の記事では、統計学の青本「自然科学の統計学」に登場する、チーム間の勝敗を計算するモデル「ブラッドリー・テリーのモデル(Bradly-Terry's model)」によるチームの強さの推定をPythonで実装してみたので、実装の中身について紹介いたします。 このプログラムは$N\times N$の勝敗表があれば、それぞれのチームの強さを数値で求めることができ、なおかつ2つのチームが対戦した場合の勝率についても理論的に計算することができますので、チーム間の勝率を計算してみたい方はぜひご活用ください!
NLP

LLMの教科書「大規模言語モデル入門」を読んで私が得た学び

今回の記事では、LLMにおける教科書的1冊「大規模言語モデル入門」を読んでみて、私が得た学びについてまとめていきたいと思います。 本書は、「LLMを今まで触ったことがないけど、LLMの実装やLLMで何ができるのか知りたい」「Transformerモデルについて理解を深めたい」という方必読の1冊となっております。 本書評を見て、「大規模言語モデル入門」からどのような学びが得られるのかについて解像度を上げていただけると幸いです!
NLP

PII-Detectionコンペにおけるビタビアルゴリズムの実装を図解してみた

今回の記事では、KaggleのThe Learning Agency Lab - PII Data Detectionコンペにおいて、ビタビアルゴリズムを実装してみた時のロジックを、図解しながら解説していきたいと思います。 大規模言語モデル入門の第6章の内容を参考にしながら実装しましたが、ところどころ理解が及ばない部分があり、コンペに一緒に参加した仲間に説明できなかったことが動機となって、今回このような解説記事を書いた次第です。 できる限り分かりやすく解説していきますが、分かりずらい箇所があった場合にはコメント等をいただければ追加説明等を付与いたしますので、お気軽にコメントいただけると幸いです。
Python

fastaiライブラリの協調フィルタリングを使って、君の名は。に類似のアニメを求めてみた

この記事では、Practical Deep Learning for Codersの第7章で学んだ協調フィルタリングの内容を参考に類似のアニメを出力するレコメンドエンジンを作成してみたので、実装のコードを紹介いたします! fastaiライブラリを使えば、比較的簡単に協調フィルタリングを実装することができるので、興味を持った方はぜひご自身でも類似のデータセットを使って実装してみてください!