分かった気になる自然言語処理概観 その2

2019.10.18

Lab研究員 山本

前回からの続きです。

もくじ

  1. 1.AIと自然言語処理-RNNからAttentionへ
  2. 2.RNNに対するTransformerの良い点
  3. 3.今アツイ技術―BERT―
  4. 4.まとめ

AIと自然言語処理-RNNからAttentionへ

自然言語処理は、人間が日常的に使っている言語を理解・出力することですから、もちろんAIと深い関係にあります。自然言語を処理することが、まず人間的ですもんね。
第3次AIブームでは、ディープラーニングが発明され、コンピュータが特徴量抽出を担えるようになりました。自然言語処理もその恩恵を受けており、「分かった気になる自然言語処理概観 その1」に挙げた基礎的な解析能力が向上しました。さて、自然言語処理×AIといえばここ数年は、RNN(リカレント(再帰型)ニューラルネットワーク)が必須と言われていました。
RNNを簡単に説明すると、過去のデータを使える特徴を持つディープラーニングです。

Lab_column_10_190913.jpg
出典:再帰型ニューラルネットワークの「基礎の基礎」を理解する ~ディープラーニング入門|第3回

言語モデルでみると分かりやすいです。入力された単語から、次に使われる単語が出力されています。文節の関係性がディープラーニングモデルになっているのが分かります。

Lab_column_11_190913.jpg

出典:再帰型ニューラルネットワークの「基礎の基礎」を理解する ~ディープラーニング入門|第3回

2016年11月頃、Google翻訳機能が飛躍的に向上したと話題になっていましたが、これはRNNが組み込まれたおかげでした。
更にブレイクスルーが起こったのは2017年6月、「Attention Is All You Need(Transformer)」という挑戦的なタイトルの論文が発表されます。
わずかな訓練で圧倒的なState-of-the-Art(最先端)を達成し、華麗にタイトルを回収しました。もちろん、Attentionもディープラーニングです。

RNNに対するTransformerの良い点

Attentionを用いたTransformerは、RNNに比べて3つの良い点があります。

Lab_column_12_190913.png
参考:作って理解する Transformer / Attention

Attentionの概念図です。詳しくは別の機会に取り上げたいと思います。

Lab_column_13_190913.png

出典:論文解説 Attention Is All You Need (Transformer)

今アツイ技術―BERT―

そして2018年10月、GoogleがBERT(Bidirectional Encoder Representations from Transformers)を論文で発表しました。
双方向Transformerという仕組みで汎用性を獲得し、転移学習させることであらゆるタスクでSoTAを達成しました。

下の表は、BERTの各言語タスク性能の一覧です。

Lab_column_14_190913.png
出典:Ryobot氏Twitter

上記の通り、自然言語AIは日進月歩で研究が進んでおり、BERTの改良版も次々と提案されています。
2019年6月に発表されたXLNetは、BERTを更に凌駕する結果を出しています。

まとめ

自然言語処理の基本をざっと捉えた上で、自然言語×AIとしてRNN~Attention(Transformer)~最新のBERTを抑えました。
次回の私のコラムでは、公開されているAttention~Transformer~BERTモデルのどれかを構築しながら、少しずつ仕組みを理解していきたいと思います。
以上です。読んで頂きまして、ありがとうございました。

  • LINE
  • Mail