機械学習・自然言語処理の勉強メモ

学んだことのメモやまとめ

pytorch-transformers

pytorch-transformersを触ってみる⑤

はじめに 前回はBERTのfine tuningということで、NER(固有表現認識)を試してみました。 kento1109.hatenablog.com今回はfine tuningではなく、BERTの事前学習について見ていきたいと思います。 pre-training from scratch ただ、pytorch-transformersでの…

pytorch-transformersを触ってみる④

はじめに 前回はfine tuningということで、GLUEタスクのSST-2に取り組みました。 kento1109.hatenablog.comまた、GLUEタスクのfine tuningを実行するためのスクリプト(run_glue.py )のコードを眺めました。今回は、CoNLL(NERの共通タスク)のためのfine t…

pytorch-transformersを触ってみる③

はじめに 前回は日本語でのpytorch-transformersの扱い方についてまとめました。 kento1109.hatenablog.comこれまでpytorch-transformersの基本的なところを英語・日本語で動かしてみました。今回はもう一歩進んでfine tuningについてまとめてみます。ドキュ…

pytorch-transformersを触ってみる②

はじめに 前回はの入門ということで、QuikStartの内容を触ってみました。 kento1109.hatenablog.com前回は英語でしたが、日本語のテキストを扱う場合はそのまま使うことは出来ません。 ということで、今回はpytorch-transformersで日本語のテキストを扱って…

pytorch-transformersを触ってみる①

今更ながら、pytorch-transformersを触ってみます。 このライブラリはドキュメントが充実していて、とても親切です。 なので、今回はドキュメントに基づいて触ってみただけの備忘録です。 以下、有名どころのBERTで試してます。詳しいことはここなどを参照し…