- ホーム
- コラム
- YDC Labコラム
- 分かった気になる自然言語処理概観 その2

分かった気になる自然言語処理概観 その2
2019.10.18
Lab研究員 山本
前回からの続きです。
もくじ
AIと自然言語処理-RNNからAttentionへ
自然言語処理は、人間が日常的に使っている言語を理解・出力することですから、もちろんAIと深い関係にあります。自然言語を処理することが、まず人間的ですもんね。
第3次AIブームでは、ディープラーニングが発明され、コンピュータが特徴量抽出を担えるようになりました。自然言語処理もその恩恵を受けており、「分かった気になる自然言語処理概観 その1」に挙げた基礎的な解析能力が向上しました。さて、自然言語処理×AIといえばここ数年は、RNN(リカレント(再帰型)ニューラルネットワーク)が必須と言われていました。
RNNを簡単に説明すると、過去のデータを使える特徴を持つディープラーニングです。
出典:再帰型ニューラルネットワークの「基礎の基礎」を理解する ~ディープラーニング入門|第3回
言語モデルでみると分かりやすいです。入力された単語から、次に使われる単語が出力されています。文節の関係性がディープラーニングモデルになっているのが分かります。
出典:再帰型ニューラルネットワークの「基礎の基礎」を理解する ~ディープラーニング入門|第3回
2016年11月頃、Google翻訳機能が飛躍的に向上したと話題になっていましたが、これはRNNが組み込まれたおかげでした。
更にブレイクスルーが起こったのは2017年6月、「Attention Is All You Need(Transformer)」という挑戦的なタイトルの論文が発表されます。
わずかな訓練で圧倒的なState-of-the-Art(最先端)を達成し、華麗にタイトルを回収しました。もちろん、Attentionもディープラーニングです。
RNNに対するTransformerの良い点
Attentionを用いたTransformerは、RNNに比べて3つの良い点があります。
参考:作って理解する Transformer / Attention
Attentionの概念図です。詳しくは別の機会に取り上げたいと思います。

出典:論文解説 Attention Is All You Need (Transformer)
今アツイ技術―BERT―
そして2018年10月、GoogleがBERT(Bidirectional Encoder Representations from Transformers)を論文で発表しました。
双方向Transformerという仕組みで汎用性を獲得し、転移学習させることであらゆるタスクでSoTAを達成しました。
下の表は、BERTの各言語タスク性能の一覧です。
上記の通り、自然言語AIは日進月歩で研究が進んでおり、
2019年6月に発表されたXLNetは、
まとめ
自然言語処理の基本をざっと捉えた上で、自然言語×AIとしてRNN~Attention(Transformer)~最新のBERTを抑えました。
次回の私のコラムでは、公開されているAttention~Transformer~BERTモデルのどれかを構築しながら、少しずつ仕組みを理解していきたいと思います。
以上です。読んで頂きまして、ありがとうございました。