Python

Python

統計学の青本「自然科学の統計学」の第5章演習問題3の2$\times$4分割表におけるカイ二乗適合度検定の問題をPythonを使って解いてみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章「適合度検定」の演習問題3「2$\times$4分割表の検定」における「作業員によって不良率に差異がある」という仮説に対する$chi^2$適合度検定のPythonでの実装について紹介いたします! 今回の場合はシンプルなカイ二乗検定の実装になっているので、カイ二乗検定の最もオーソドックスなパターンについて理解を深めたい方はご参考にしていただけると幸いです!
Python

「自然科学の統計学」第5章演習問題2の擬似標準正規乱数と標準正規分布の理論値の$\chi^2$適合度検定をPythonで実装してみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章「適合度検定」の演習問題2「疑似乱数の適合度検定」における疑似標準正規乱数と標準正規分布の理論値の$chi^2$適合度検定のPythonでの実装について紹介いたします! 私は今回のコード作成を通じて、正規分布や$\chi^2$分布の上側確率をPythonで求める方法について知ることができました! 皆さんも本記事を通して、統計学的側面またはPythonの実装の側面で何らかの学びを得ていただけると幸いです!
Python

「自然科学の統計学」第5章演習1問目の$\chi^2$適合度検定をPythonで解いてみた

今回の記事では、統計学の青本「自然科学の統計学」の第5章-演習問題1「カイ二乗適合度検定統計量の分布」にPythonを適用して問題を解いていきたいと思います。 カイ二乗適合度検定に馴染みのない方でも理解いただけるように解説したので、カイ二乗適合度検定のPythonでの実装が気になる方や、数学の問題を通してPythonについての理解を深めたい方はぜひ参考にしてください!
Python

統計学の青本「自然科学の統計学」の勝敗の確率モデル(ブラッドリー・テリーのモデル)を利用してチームの強さを推定してみた

今回の記事では、統計学の青本「自然科学の統計学」に登場する、チーム間の勝敗を計算するモデル「ブラッドリー・テリーのモデル(Bradly-Terry's model)」によるチームの強さの推定をPythonで実装してみたので、実装の中身について紹介いたします。 このプログラムは$N\times N$の勝敗表があれば、それぞれのチームの強さを数値で求めることができ、なおかつ2つのチームが対戦した場合の勝率についても理論的に計算することができますので、チーム間の勝率を計算してみたい方はぜひご活用ください!
Kaggle

優秀なデータサイエンティストの同僚とKaggleのPII-Detectionコンペに挑戦してみて得た学びとこれから実践したいこと

今回の記事では、初心者Kagglerの私が所属企業の優秀なデータサイエンティストのメンバーとKaggleのPII-Detectionコンペに挑戦してみて得た学びとこれから実践していきたいことについてまとめてみたいと思います。 私は今回初めてチームを組んでKaggleに取り組みましたが、1人で取り組んでいた時には見えなかった、他のデータサイエンティストがどのようにしてKaggleを進めているのかについて知ることができたのでそれについてまとめていきたいと思います。 一方で、私はチームでなかなかバリューを出せなかったので、「なぜバリューが出せなかったのか」「今後どうすればチームでKaggleを行った時にバリューを出せるようになるのか」について考えていきたいと思います。
NLP

LLMの教科書「大規模言語モデル入門」を読んで私が得た学び

今回の記事では、LLMにおける教科書的1冊「大規模言語モデル入門」を読んでみて、私が得た学びについてまとめていきたいと思います。 本書は、「LLMを今まで触ったことがないけど、LLMの実装やLLMで何ができるのか知りたい」「Transformerモデルについて理解を深めたい」という方必読の1冊となっております。 本書評を見て、「大規模言語モデル入門」からどのような学びが得られるのかについて解像度を上げていただけると幸いです!
NLP

PII-Detectionコンペにおけるビタビアルゴリズムの実装を図解してみた

今回の記事では、KaggleのThe Learning Agency Lab - PII Data Detectionコンペにおいて、ビタビアルゴリズムを実装してみた時のロジックを、図解しながら解説していきたいと思います。 大規模言語モデル入門の第6章の内容を参考にしながら実装しましたが、ところどころ理解が及ばない部分があり、コンペに一緒に参加した仲間に説明できなかったことが動機となって、今回このような解説記事を書いた次第です。 できる限り分かりやすく解説していきますが、分かりずらい箇所があった場合にはコメント等をいただければ追加説明等を付与いたしますので、お気軽にコメントいただけると幸いです。
Python

fastaiライブラリの協調フィルタリングを使って、君の名は。に類似のアニメを求めてみた

この記事では、Practical Deep Learning for Codersの第7章で学んだ協調フィルタリングの内容を参考に類似のアニメを出力するレコメンドエンジンを作成してみたので、実装のコードを紹介いたします! fastaiライブラリを使えば、比較的簡単に協調フィルタリングを実装することができるので、興味を持った方はぜひご自身でも類似のデータセットを使って実装してみてください!
NLP

openai.error import OpenAIErrorを実行したらModuleNotFoundErrorが出てしまった時の対処法

この記事では、openai.error import OpenAIErrorを実行した時にModuleNotFoundErrorが出てしまった時の対処法をご紹介いたします! 大規模言語モデル入門を読み進めている方は、普通に進めてしまうと引っかかってしまうエラーなので、ぜひ本記事を参考にエラーを解消していただけると幸いです!
NLP

openai.ChatCompletion.create()を実行して、APIRemovedInV1エラーが発生した時の対処法

今回の記事では、openai.ChatCompletion.create()を実行して、APIRemovedInV1エラーが発生した時の対処法について解説していきたいと思います。 私は「大規模言語モデル入門」のコードを実行している際にこのエラーが発生してしまったので、同じようなエラーに直面してしまった方に届くと幸いです!