はじめに 久しぶりにMeCabをいじる必要があったのだが、形態素解析のコスト計算らへんで理解できてなかったところがあったのでまとめる。ある単語を形態素解析する場合、その候補が複数ある場合にどう考えるか。例えば、 日本テレビ東京 辞書に「日本テレビ…
形態素解析エンジン。 言語, 辞書,コーパスに依存しない汎用的な設計が基本方針。 コスト推定はコーパスから学習する。 *与えられた文章を分割できるすべてのパターンに分割し、その中で計算したコストがもっとも小さい分割結果を採用。 とりあえず解析 MeC…
引用をストックしました
引用するにはまずログインしてください
引用をストックできませんでした。再度お試しください
限定公開記事のため引用できません。