はじめに 自然言語処理の領域では広く知られいるLDA(Latent Dirichlet Allocation)について復習する。LDAはトピックモデルの１種であり、文書がどのようなトピックから構成されているかを推論するモデル。 推論するパラメータは以下の２つ。 トピック分布：…

はじめに 前回は「コワイ本」のTwoCountryQuizのタスクに取り組んだ。今回はこの続きについてまとめる。 ラベルスイッチング 前回のモデルは事後分布が二峰性をもつような分布となっていた。 この原因として「ラベルスイッチング」が原因だと述べた。 混合モ…

はじめに 前回は「コワイ本」のTwentyQuestionsを取り組んだ。 kento1109.hatenablog.com今回はそれをもう少し難しくした「TwoCountryQuiz」に取り組む。 TwentyQuestionsのコードを少し変えるだけと思っていたが、実はとても難しく嵌りどころがたくさんだっ…

はじめに 前に混合ポアソンモデルについて勉強したが、混合モデルではラベルスイッチングの問題を考える必要がある。詳しくはユーザーガイド・リファレンスマニュアル「24.2. 混合分布モデルでのラベルスイッチング」参照。一番簡単な対策方法は、ポアソン分…

はじめに 前回は教師ありHMMについて勉強した。 kento1109.hatenablog.com今回は教師なしHMMについて勉強する。 今回のデータはセンサーデータのようなものを想定したものを用いる。例えば、以下のような時系列データがあったとする。 時点と 時点で何かしら…

はじめに 今回は隠れマルコフモデルをStanで実装する。 隠れマルコフモデル自体は以前に書いた。 kento1109.hatenablog.com今回は教師ありモデルを考える。 教師あり「隠れ状態」が既知のモデル。 前回の例で考えると、「晴れ→雨」などの遷移状態が与えられ…

はじめに 今回もStanを使って階層モデルを勉強していく。今回は階層モデル（というよりベイズ学習そのもの）の基本的なことに関する疑問の解消を目指す。最尤推定ではなく、ベイズ推論を用いる目的の１つとして「ベイズ推論による機械学習」では以下のように…

隠れ変数の扱い 前回、ポアソン混合モデルを勉強した。kento1109.hatenablog.com前回は触れなかったが、ポアソン混合モデルのグラフィカルモデルは一般的に書きのように書ける。観測データは、k番目クラスタのパラメータのポアソン分布によって生成される。 …

はじめに 前回は階層モデルの基本的なことを書いた。 kento1109.hatenablog.com今回は実際のデータでもう少し基本を確認する。 過分散 今回は緑本（データ解析のための統計モデリング入門）で紹介されている階層モデルの導入部分を実践する。データとしては…

はじめに 今回は「アヒル本」第8章について整理する。 階層モデルは簡単に説明すると、「説明変数だけでは説明がつかない、グループ（個人）に由来する差異」を扱うための手法。推定に使えるデータは大量にあるが、グループや個人当たりのデータは少ない場合…

はじめに 今回は、アヒル本から離れて「ポアソン混合モデル」をモデリングする。 今回は前回の対数事後確率の計算が必要となる。 kento1109.hatenablog.com ポアソン混合モデル 例えば、ある非負の値を取る観測データが以下のような分布になったとする。 ヒ…

はじめに 前回は、ベルヌーイ分布を用いて事前確率のことを書いた。 kento1109.hatenablog.com今回は、高度なモデルを作る際に避けては通れない「対数事後確率計算」についてまとめる。 対数事後確率計算 対数事後確率とは何なのか。 これはサンプル結果に出…

はじめに 前回は単回帰分析を見ながら基本的なことを確認した。 kento1109.hatenablog.com今回は、確率分布の問題としてなじみのある「ベルヌーイ分布」を見ていく。 また、事前分布の違いについても確認する。 無情報事前分布 まずは、以下のようにデータを…

はじめに 統計モデリングの勉強の一環に「Stan」を触ってみる。 書籍は「アヒル本」（StnaとRでベイズ統計モデリング）を参考とする。初回は、統計モデリングの「Hello world」と言われる単回帰分析を扱う。（アヒル本のChapter.4） 前処理 データは、社員の…