機械学習・自然言語処理の勉強メモ

学んだことのメモやまとめ

Snorkel

Snorkelの識別モデルについて(実装編)

はじめに 前回は生成モデルの構築について確認した。 kento1109.hatenablog.com尚、識別モデルに関する理論的なことをはこっちにまとめた。 (大したこと書いてないが・・) Snorkelの識別モデルについて(理論編) - 機械学習・自然言語処理の勉強メモ生成…

Snorkelの生成モデルについて(実装編)

はじめに コードを読んでいく Generative Model Structure Learning はじめに 前回はラベリング関数の作り方を確認した。 kento1109.hatenablog.com今回はいよいよ生成モデルに関するチュートリアルを読んでいく。 尚、理論的なことはこっちにまとめた。 Sno…

Snorkelのラベリング関数について(実装編)

はじめに 前回は前処理(候補の抽出)の流れを確認した。 Snorkelの前処理について(実装編)① - 機械学習・自然言語処理の勉強メモ 前処理が完了すると、関係の候補となるペアが出来る。 ※「配偶者」の候補となる人物名のペアただし、抽出した候補はエンテ…

Snorkelの前処理について(実装編)②

はじめに コードを読んでいく DocPreprocessor CorpusParser TaggerOneTagger taggerone_unary_tags_cdr.pkl.bz2 chem_dis_mesh_dicts.pkl.bz2 PretaggedCandidateExtractor 最後に はじめに 前回はcandidateとして文章から人物名の組み合わせを抽出するチュ…

Snorkelの前処理について(実装編)①

はじめに 前回まででSnorkelの概要、生成モデル、識別モデルに関してまとめた。 Snorkelの概要 - 機械学習・自然言語処理の勉強メモ Snorkelにおける生成モデル - 機械学習・自然言語処理の勉強メモ Snorkelにおける識別モデル - 機械学習・自然言語処理の勉…

Snorkelの識別モデルについて(理論編)

前回で生成モデルを用いてを推定するところをまとめた。 kento1109.hatenablog.com (論文の解釈に自信が無い部分もあるが・・)生成モデルにより、データに対応するラベルが生成できた。 https://hazyresearch.github.io/snorkel/pdfs/snorkel_demo.pdf教師…

Snorkelの生成モデルについて(理論編)

Snorkelとは 一言で言うと、ラベル付き訓練データを簡単に作成できるツール。 詳しくは前回の記事にまとめた。 kento1109.hatenablog.com 尚、今回の内容は以下の論文のまとめみたいなもの。 [1605.07723] Data Programming: Creating Large Training Sets, …

Snorkelの概要

Snorkelとは Stanford大学で開発されたラベル付き訓練データを簡単に作成できるツール。 Snorkel by HazyResearch機械学習の多くはラベル付き訓練データを必要とするが、それらの作成は主に手作業で行われている。 この作業は時間やコストがかかり、効率的と…