ITmedia NEWS > 社会とIT >

NTTのAI、センター試験の英語筆記で偏差値64突破 “試験対策”に工夫 「東ロボ」プロジェクトの一環

» 2019年11月18日 18時15分 公開
[谷井将人ITmedia]

 NTTは11月18日、同社で開発したAIに2019年センター試験の英語筆記本試験を解かせ、200点中185点(偏差値64.1)を獲得したと発表した。同社が16年に行った手法に比べて約90点成績を伸ばした。前回の学びから、さまざまな“試験対策”を施した結果だという。

photo

 同社は、NTTグループのAI関連技術「corevo」の研究と、国立情報学研究所(NII)が主導する「ロボットは東大に入れるか」(東ロボ)プロジェクトの一環として、センター試験の英語筆記本試験にAIで挑んだ。過去3年分の本試験と追試験でも、偏差値60以上を安定して上回ったという。16年に行った模擬試験では200点中95点(偏差値55.5)にとどまっており、前回から大幅に点数を伸ばした。

「足りない問題を自動生成」「機械学習を使わない」など“試験対策”

 今回、センターの英語試験で採用されている問題形式である「不要文除去」「段落タイトル付与」「発音問題」に、NTTのコミュニケーション科学基礎研究所(CS研)を中心とする東ロボ英語チームが開発した独自技術を適用して点数向上を図った。CS研は自然言語処理の研究開発を行う部門だ。

 文章の中から文脈上必要ない一文を見つける「不要分除去」問題では、一般的な文章に不要な文がないことから、学習に使うデータを集めるのが難しいという問題があった。従来のアプローチでは、17〜19年の試験で出題された15問中6問のみの正解にとどまるなど、十分な精度が出せなかったという。

photo 不要分除去問題

 東ロボ英語チームでは、普通の文章を基に文章の順番を組み替えた不自然な文章を作ることで、不要分除去問題を自動生成した。この問題を用いてAIに学習させたところ、15問全てに正しく答えることができた。

 段落の適切なタイトルを選ぶ「段落タイトル付与」問題では、問題の構造が特殊なため、既存の自然言語処理技術が使えないという。同チームは段落と選択肢の近似率を計算して適切な選択肢を選ぶ方法を考えた。これにより、17〜19年に出題された5問について全問正解できるようになった。

 与えられた単語の正しい読み方を問う「発音問題」は、辞書に載っている正しい発音を基に答える必要があるため、機械学習による自然言語処理技術では対応できないという。

 同チームは、機械学習を使わずに辞書を引く方法を採用。ほぼ満点の成績が取れるようになった。


 NTTは今後、図やグラフなど言語以外の情報や一般常識が必要な問題を解くための研究を進める。東ロボプロジェクトでの取り組みを生かして技術開発を行い、さまざまなサービスに展開するとしている。

 NIIが主導する「ロボットは東大に入れるか」プロジェクトは2011年に立ち上がった。大学入試問題を解くことでAIの性能を客観的に測ることが目的で、21年春までに東京大学の入試を突破できるAIを開発するとしていた。しかし、16年には「AIにとって難しい『意味を理解する』という分野を突き詰めようとすると、莫大な時間とコストが掛かる」として、東大合格を断念する方針を発表していた。

Copyright © ITmedia, Inc. All Rights Reserved.