Quake III ArenaでAIが「人間レベルの成績」を達成

　AIが習得しようとしているゲームはDota 2だけではない。GoogleのDeepMind研究チームは強化学習を使って，AIエージェントにQuake III ArenaのCapture the Flagで，対戦できるだけでなく人間との協力プレイでも「人間レベルの成績」を達成した。

　DeepMindの研究は，天気予報やヘルスケアなどに関する複雑な問題を解けるようなプログラムを作ろうとAI学習の境界を拡大している。そのために，研究チームはゲームをより小さな問題を解決する学習プログラムの「練習場」のように使っており，そしていまや共同作業を教えるようになっている。

　強化学習プログラムの背景となる考え方はOpenAIが機械にDota 2のチームプレイを教える方法に近いが（関連英文記事），DeepMindの焦点はチーム構成と対戦相手の多様性の両方にあった。AIはQuake III ArenaのCapture the Flagを人間や別のAIと対戦プレイすることで学習している。

　「この星には何十億の人々がそれぞれ独自の目標と行動を伴って暮らしています。しかし，それでもチームや組織，社会を通して協働できており，集合知を印象的に示しています」と研究結果を知らせる公式Blogで語っている（参考URL）。「これは我々がマルチエージェント学習と読んでいる設定で，たくさんの個別のエージェントは独立して行動しなくてはならず，さらにほかのエージェントとの連携と協力を学ばなくてはなりません。これは非常に難しい問題です。なぜなら，エージェントが相互に感応することで世界は絶え間なく変化し続けるからです」

　マルチエージェント学習を通じて，DeepMindのAIはQuake III Arenaで40人の人間を含むトーナメントでAIをチームメイトや対戦相手としてランダムマッチングを行い，熟達した人間と同等のレベルまで学習した。最終的にAIは勝率でグループ内の最強の人間を上回った。さらに，Dota 2のAIと同様に，AIはベースキャンピングといった人間に人気の戦略を取り始めたのだ。

　「将来的に，我々は現在の強化学習と人口ベースの強化法を大きく改良していきたいと思っています」と書き込みは結んでいる。「一般的に言って，我々は，マルチエージェント学習で与えられた自然環境を活用し，人間ともチームを組めるような強固なエージェントの開発を進めることで，この研究がマルチエージェント学習が人工知能開発を進化させる可能性を強調するものと考えています」