分かった気になる自然言語処理概観　その２

2019.10.18

Ｌａｂ研究員　山本

前回からの続きです。

もくじ

  1. 1.AIと自然言語処理-RNNからAttentionへ
  2. 2.RNNに対するTransformerの良い点
  3. 3.今アツイ技術―BERT―
  4. 4.まとめ

AIと自然言語処理-RNNからAttentionへ

自然言語処理は、人間が日常的に使っている言語を理解・出力することですから、もちろんAIと深い関係にあります。自然言語を処理することが、まず人間的ですもんね。
第3次AIブームでは、ディープラーニングが発明され、コンピュータが特徴量抽出を担えるようになりました。自然言語処理もその恩恵を受けており、「分かった気になる自然言語処理概観　その１」に挙げた基礎的な解析能力が向上しました。さて、自然言語処理×AIといえばここ数年は、RNN（リカレント(再帰型)ニューラルネットワーク）が必須と言われていました。
RNNを簡単に説明すると、過去のデータを使える特徴を持つディープラーニングです。

Lab_column_10_190913.jpg
出典：再帰型ニューラルネットワークの「基礎の基礎」を理解する　～ディープラーニング入門｜第3回

言語モデルでみると分かりやすいです。入力された単語から、次に使われる単語が出力されています。文節の関係性がディープラーニングモデルになっているのが分かります。

Lab_column_11_190913.jpg

出典：再帰型ニューラルネットワークの「基礎の基礎」を理解する　～ディープラーニング入門｜第3回

2016年11月頃、Google翻訳機能が飛躍的に向上したと話題になっていましたが、これはRNNが組み込まれたおかげでした。
更にブレイクスルーが起こったのは2017年6月、「Attention Is All You Need(Transformer)」という挑戦的なタイトルの論文が発表されます。
わずかな訓練で圧倒的なState-of-the-Art(最先端)を達成し、華麗にタイトルを回収しました。もちろん、Attentionもディープラーニングです。

RNNに対するTransformerの良い点

Attentionを用いたTransformerは、RNNに比べて3つの良い点があります。

Lab_column_12_190913.png
参考：作って理解する Transformer / Attention

Attentionの概念図です。詳しくは別の機会に取り上げたいと思います。

Lab_column_13_190913.png

出典：論文解説 Attention Is All You Need (Transformer)

今アツイ技術―BERT―

そして2018年10月、GoogleがBERT（Bidirectional Encoder Representations from Transformers)を論文で発表しました。
双方向Transformerという仕組みで汎用性を獲得し、転移学習させることであらゆるタスクでSoTAを達成しました。

下の表は、BERTの各言語タスク性能の一覧です。

Lab_column_14_190913.png
出典：Ryobot氏Twitter

上記の通り、自然言語AIは日進月歩で研究が進んでおり、BERTの改良版も次々と提案されています。
2019年6月に発表されたXLNetは、BERTを更に凌駕する結果を出しています。

まとめ

自然言語処理の基本をざっと捉えた上で、自然言語×AIとしてRNN～Attention（Transformer）～最新のBERTを抑えました。
次回の私のコラムでは、公開されているAttention～Transformer～BERTモデルのどれかを構築しながら、少しずつ仕組みを理解していきたいと思います。
以上です。読んで頂きまして、ありがとうございました。

  • LINE
  • Mail