機械学習・自然言語処理の勉強メモ

学んだことのメモやまとめ

2018-02-01から1ヶ月間の記事一覧

PyTorch:テキストの前処理(torchtext)①

torchtext NLP用のデータローダgithubはここ。 github.com下記のチュートリアルがとても丁寧だった。 github.comまた、日本語の説明だと下記が分かりやすかった。 [DLHacks LT] PytorchのDataLoader -torchtextのソースコードを読んでみた- from Deep Learni…

PyTorch入門④:utilsを使う。(torch.utils.data)

torch.utils.data データセット読み込み関連ユーティリティ。 DataLoaderは、データのロード・前処理をするためのモジュール。 必ずしもこれを使わなければいけないことは無いが、前処理を楽にしてくれる。 データセットのバッチ化 データセットのシャッフル…

PyTorch入門③:Logistic Regression

Logistic Regression 今回はLogistic Regression。 下記のチュートリアルを参考に実装した。 github.com尚、コード全体はここに置いた。 github.com データセットだが、チュートリアルはMNISTを使っているが、今回はsklearnのdigits datasetを使った。 (ロ…

Kerasで中間層の出力結果を得る

中間層の出力結果を得たい場合の方法。FAQに書いてあることをまとめただけ。 FAQ - Keras Documentationやり方は2つある。 ①新しいモデルの作成 シンプルな方法は,着目しているレイヤーの出力を行うための新しい Model を作成する # build model from kera…

PyTorch入門②:Neural Network

ネットワークはtorch.nnパッケージを使用して構築する。今回は下記にあるサンプルコードを使う。 Learning PyTorch with Examples — PyTorch Tutorials 0.3.0.post4 documentationネットワークは「入力層ー中間層ー出力層」の三層構造で線型回帰問題を想定。…

PyTorch入門①:Tensors~Autograd

はじめに 流行りに乗っかってPyTorchを勉強する。 最近、PyTorchで実装する論文が急増しているらしく、とりあえずソースコードが読めるようになりたい。 Tensors Numpyのndarrays(多次元配列)のようなもの。 GPUの高速計算のために使われるオブジェクトと…

MNISTの読み込み&描画

調べたら描画方法が色々あり、少し迷った。 今後、無駄な時間を省くための備忘録。 ダウンロード from six.moves import urllib origin = ( 'http://www.iro.umontreal.ca/~lisa/deep/data/mnist/mnist.pkl.gz' ) urllib.request.urlretrieve(origin,'mnist.…