東ロボくん、浪人生活辞めるってよ。
東ロボくんとは、国立情報学研究所（NII）が人工知能に受験させて東大合格点を叩き出そうというプロジェクトである。現在は全国の69%の大学で合格可能性80％以上と判定されているが、昨年から点数が伸び悩み現在のアプローチじゃとどかないと諦念したそうな。
求められる人材像
テストはなんのためにおこなわれるか？一般には機能や性能を評価するためにおこなわれる。
では大学入試テストは入学者にどのような資質を求めての試験なのか？
高度経済成長期において、日本の大学は人材のQA（クオリティアシュアランス）、品質保証の役割を担ってきた。
ベルトコンベアが発明された以降、規模の経済がよく効く時代には、決められた手順で決められたことをこなすことができる人材。期待される回答に素早く応じることができること。企業が求める人材像はそのようなものであった。試験が難しい大学にはより高い品質保証がされた学生が存在する可能性が高い。
オートメーション化がすすみ大型装置産業から主体が移ると、一部の価値創造ができる人とその他大勢のための対人領域がのこされた。重要価値はコミュニケーション能力である。AO入試が機能しはじめた。
大学の数と役割
第二次大戦終了時には50もなかった大学が現在は国内で775、世界では1万以上もあるという。
www.mext.go.jp/a_menu/koutou/kouritsu/
つまらない言い方をすると、大学は学生の人材QAとしての場であるとともに、不採算な学術分野の研究人材を囲っておく場でもある。先行する英米上位校では、奨学金をとれるほどのめちゃめちゃ頭のいい子と、オツムはスカタンだけど年間数百万もの授業料を払うことができる経済力をもつご子息のマッチングさせる場などにもなってきているようだ。
大学がもし勉学の場であるならば、２５歳以上の社会人の学士入学などはもっと多くていいはずだ。
日本は２％しかないので、勉学の場ではない。Q.E.D. 証明終了。
大学で何かを学んだなんていうことはさして期待もされていないし、機能もしていない。社会人が使えるような知識は集積できていない。
なぜ東ロボくんは東大を諦めるのか
良いテストかどうかをみわける指標は次の３つであるという。
- 信頼性：同じ人が同じような問題で何回でも同じような点数が取れるかどうか
- 妥当性：用いる評価方法が測定対象となる能力や行動を測定できているか
- 客観性：採点者間による結果の一致性。採点者が変わっても結果が同じかどうか
日本の入学試験が測定したい能力ってそんなんでいいのかねという妥当性に疑問を覚えはするけれども、ペーパー試験の信頼性、客観性は高いんじゃないかな。その客観性、信頼性が高いペーパーテストで東ロボくんは国語や英語の偏差値が低い。AIでは文章理解に難があるからだという。
文書解釈、認知には読み手側と書き手側の共通知、暗黙知に頼っている。「常識」が占める割合が多い。
ほとんどの文章が不完全情報なので読み手の感受性によってどのような解釈になってもおかしくないはずであるが、文章外にある文化的なコンテクストで、それを解釈する必要がある。問題によって、本文の含蓄する情報の重み付けが変わる。
受験の国語なんかは問題文と選択肢だけ読んで出現語彙のパターン解析したら本文とか読解できなくても正解だしたほうが正答率高くなるんじゃないかと思うんだけどどうだろう。そういうバットノウハウ、テクニック的なもので突破するのは是としなかったのかな？
出題者の意図を察して応えてねという、回答者の善意によるおやくそくにより成り立っているだけにすぎないのだと思う。文章が読めてないのではなく、空気が読めてないのだ。
人工知能にも解けるように、その文章問題を論理記述して整理したら逆に問題の客観性の部分で問題がみえてくるとおもう。文章問題の正誤答率なんて、If条件文の評価の書き方が誤読を誘発しやすいように、条件式が複雑化して難読化されているにすぎないのではないか。フールプルーフじゃなぁいんだよ。ネットショップでそんな商品説明したら、誤読されて意図しない注文続出だよね。「正しい答え」と「多くの人が答えそうな答え」が別れている時点で、ちょっと妥当性どうかなと思うんだよね。
「文章を読んで答えなさい」は「文章を読んで（出題者が期待するものを）答えなさい」で、読むのは文章じゃなくて空気。
もし「東」ロボくんじゃなくて「京」ロボくんだったら、「tan1°は有理数であるか？」とかの問題を解かなきゃいけないわけで、俺が開発者だっったらちょっと諦めようってなるのはわかるけど、AIでもフルスコアとれるまでいってほしかったなー。
だって、こういうブログの文章だって、人間よりさきに検索エンジンのクローラーによって拾われて解析されちゃう時代なんだから、人間が書く文章の評価は先にAIがおこなうようになる時代がくる。AIによって受験問題も客観性、妥当性、信頼性を担保される。
文章を読めるAIがつくれるかではなく、AIが読める文章を書けるかということに重きがおかれるようになる。
AIで読める文章とそうでない文章では、文章が持つ価値が変わる。だって自動翻訳にもかけられないんだぜ？
そんな時代になったら、美しい文章の意味も変わるんだろうね。
参考
ＡＩで東大合格断念 「東ロボくん」偏差値伸びず
www.nikkei.com/article/DGXLASDG14HI5_U6A111C1CR8000/
AI研究者が問う ロボットは文章を読めない では子どもたちは「読めて」いるのか？
bylines.news.yahoo.co.jp/yuasamakoto/20161114-00064079/
衆議院議員 河野太郎公式サイト 研究者の皆様へ
ロボットは東大に入れるか Todai Robot Project
21robot.org/