世界最高レベルを目指す東工大のスパコンTSUBAME3.0、2017年夏に稼働開始へ

　東京工業大学(東工大)学術国際情報センター(GSIC)は7日、日本SGI 株式会社および関連各社と合同で、2017年夏の稼働開始を目標としてクラウド型ビッグデータグリーンスーパーコンピュータ「TSUBAME3.0」の開発を開始したと発表し、記者会見を行なった。政府調達「クラウド型ビッグデータグリーンスーパーコンピューター(TSUBAME3.0)」が実施され、日本SGI株式会社が落札した。今後、東工大、SGI、NVIDIAほか関連各社が開発していく。

　「TSUBAME」とは東工大のクラスター型スーパーコンピューター。2006年から運用されている。名前は「Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment」の略称だ。東工大だけでなく学外の研究機関や民間企業に使われている。

　特徴はCPUによるスカラー演算と、GPUによるベクトル演算を組み合わせた「混合ハイブリッドアーキテクチャ」であること。

　これまでにTSUBAMEシリーズは、TSUBAME1.2のTesla世代、TSUBAME2.0のFermi世代、そして2013年9月から運用されているTSUBAME2.5のKepler世代と、代々、NVIDIA製のGPUを採用してきた。TSUBAME3.0では第4世代目のPascalを搭載し、互換性を確保しながら飛躍的な性能向上を見込む。理論演算性能は倍精度で12.15PFLOPS、単精度で24.3PFLOPS、半精度で47.2PFLOPSと世界最高レベルになる予定。

　計算ノード部にはSGIのICE XAを採用。540台の計算ノードを収容する。各計算ノードはXeon E5-2680 v4を2基、NVIDAのGPU TESLA P100 for NVLINK-Optimized Serversを4基、256GiBの主記憶、ネットワークインターフェイスとしてインテルのOmni-Pathを4ポート搭載する。

　ストレージシステムにはDDNの15.9PBのLustreファイルシステム、各計算ノードにも容量2TBのNVMe対応高速SSDを搭載する。計算ノードとストレージシステムはOmni-Pathでネットワークに接続され、外部とはSINET5を経由して100Gbpsの速度でインターネットに接続される。

TSUBAME3.0システム概要

全体構成

　東工大GSICによればTSUBAME3.0には、以下の2つの特徴がある。

1.   「ビッグデータスパコン」として、AI処理で求められる精度において国内トップクラスの計算性能

2.   「グリーンスパコン」として、冷却設備も含めた超省エネ設計

　TSUBAME3.0は、高性能科学技術計算(HPC)だけではなく、ビッグデータの解析や、人工知能分野でも使いやすいマシンを目指して、これまでの「TSUBAME2.0/2.5」、テストベッドである省電力スパコン「TSUBAME-KFC(Kepler Fluid Cooling)」のシステム運用経験をもとに、設計を行なったと東工大理事・副学長の安藤真氏は語った。

　TSUBAME3.0運用開始後は、学際大規模情報基盤共同利用・共同研究拠点(JHPCN)や、革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI)、GSICが運営する「TSUBAME共同利用制度」を通じて研究者や企業の研究開発に提供される予定だ。

　日本SGI株式会社代表取締役社長の望月学氏は、TSUABME3.0にスケールアウト型のフラッグシップであるSGI ICE XAが採用されることを光栄に思うと挨拶した。

東工大理事・副学長の安藤真氏

日本SGI株式会社代表取締役社長の望月学氏

TSUBAMEのこれまでとTSUBAME3.0概要

東京工業大学学術国際情報センター教授松岡聡氏

　会見ではTSUBMAE3.0の概要・技術的な開発要素が関係者から紹介されたほか、2.5のユーザーから事例紹介と3.0への期待が述べられた。

　開発の中心となっている東京工業大学学術国際情報センター教授の松岡聡氏はまず、大規模なGPU採用によって高性能と低消費電力を両立させたTSUBAME2.0を紹介した。TSUBAME2.0は2011年にゴードンベル賞を「京」コンピュータと同時受賞した。

　2013年には現在運用されているTSUBAME2.5へとアップグレード。4,224台のGPUをFermi世代からKepler世代に交換して、マシンの能力を2-3倍に向上することができたという。単精度17.1PFLOPS、倍精度5.76PFLOPSとなり、「京」と比較すると性能は同等で、運用コストは約50億円/６年と、大幅に低く抑えることができた。

　TSUBAME3.0のための実証実験用テストベッドである「TSUBAME-KFC」は、2013年11月と2014年6月のスパコン省エネランキング「Green500」で世界1位となっている。

　「TSUBAME-KFC」では油を使った液浸冷却と冷却塔を用いた外部冷却施設による大気冷却を組み合わせることで冷却効率を上げることができ、より多くの電力を計算に使用できた。いまのスパコンの性能は電力効率で律速されているので、この成果は非常に重要だという。

　TSUBAME3.0はビッグデータスパコンのプラットフォームとなること、10GFLOPS/W以上の電力性能を持っていること、クラウドサービスと高速性を両立することなどの要件を満たすことを目標としている。

　松岡氏は「非常に高密度高性能。計算だけではだめでデータの処理も求められるためOmni-Pathをリッチに使っている」と強調した。

　特徴はNVIDIAのPASCALを搭載していること。2,160機を採用している。HPCとAIをターゲットにした高性能演算性能、2.5次元積層メモリ、NVLINKによる高速GPU間通信、ハードウェアによるCPUとのメモリ共有によるメモリ制限撤廃などの技術革新が盛り込まれた。

　ただしプロセッサだけではだめで、いかに構成するかが重要になる。ノード内のGPUだけではなく、ノードを超えたGPUの接続も高速にしないと性能が出ない。TSUABME2以降の技術がここに活かされているという。1GPUあたり100Gbpsの通信が確保されており、上位レイヤーではそれらが完全結合している。

　かつ、これらが光テクノロジによって非常にコンパクトに収まっているのが特徴だという。普通のデータセンターだと大きな面積が必要になるが、１ラックあたり36ブレード(144GPU+72CPU)を搭載。1つあたり50〜60kW電力を消費するくらい高密度なスパコンとして実装されている。

　一般的なデータセンターの10倍から20倍に相当し、これはSGIの技術によって達成されたという。

冷却は高温水で

　TSUBAME3.0の計算ノードは32度の高温水で冷却する。水は40度になって自然対流で出ていく。それが外部冷却施設でファンで蒸散されることで冷却される仕組みだ。

　冷却効率が非常に良くなったことで、冷却のオーバーヘッドを示すPUEで見ると、通常のデータセンターはPUEは2から3で、冷却の方が計算よりも電気を食っているが、TSUBAME3.0の計算ノードの年間PUE平均値は1.033となり、世界トップクラスを達成している。

なお「TSUBAME-KFC」は油で冷却していたが、今回の3.0では油での冷却は使っていない。整備上の課題などがあったためだが、次の世代あたりでは使う可能性もあるとのこと。

TSUBAME3.0は32度の水で冷却

冷却効率はトップクラス

共同デザインはタフな作業

Hewlett Packard Enterprise SGI最高技術責任者兼SVPのイン・リム・ゴー氏

　Hewlett Packard Enterprise SGI最高技術責任者兼SVPのイン・リム・ゴー氏は「共同デザインはタフな作業だった」と語った。

　15ラックで構成され、1ラックあたりブレードが36枚収納される。松岡氏の要求は計算能力の高さだけでなく、ノード間、GPU間の接続、温水による冷却などに渡った。

　CPUやGPUは温水によって直接冷却する。他のコンポーネントは間接的に冷却される。空気はラック外に出ることはなく、ラック内の環境も整備される。効率を上げるべく今も調整を行なっているという。温水は建物外の冷却施設で冷却することで効率がよくなっているため、冷却の電力負荷はおよそ3から5％に抑えることができているという。4つの接続ネットワークによって電力性能が非常に高まっていると強調した。

TSUBAME3.0の全体

１ラックあたりブレードが36枚

ブレード。松岡氏の要求が多かったため「松岡ブレード」と呼ばれているそうだ

冷却の図解

　NVIDIA日本代表兼米国本社副社長の大崎真孝氏は「NVIDIAのTeslaが最初に採用されたのはTSUBAME1.2だった」と振り返った。その後開発を進め、「TSUBAME3は最強のAI用コンピューター。NIVIDIAには非常に大きな意味がある」と続け、「世界最強のAI用GPUプロセッサー」とTesla P100を改めて紹介した。

　大崎氏は「今はコンシューマのGPUを研究室のワークステーションに入れて研究を行なっているところが多い。それでは諸外国と日本との間で差が開いていくばかり。追いつくためにはHPCとAIの融合が必須。TSUBAME3.0が今夏リリースされるのはAIの進化に大きく貢献する。NVIDIAも貢献していきたい」と語った。

NVIDIA日本代表兼米国本社副社長の大崎真孝氏

Tesla P100

　株式会社データダイレクト・ネットワークス・ジャパン代表取締役ロベルト・トリンドル氏は「今回は非常にシンプルな設計になっているが拡張的な機能になっている」と構成を紹介した。

　インテル株式会社アジア・パシフィック・ジャパンHPC担当ディレクターの根岸史季氏は「CPUが速いだけではだめ。データを処理する必要がある。それを繋ぐネットワークのバランスやさまざまな技術を束ねることが非常に重要だ」と語り、Omni-Pathを紹介した。

株式会社データダイレクト・ネットワークス・ジャパン代表取締役ロベルト・トリンドル氏

インテル株式会社アジア・パシフィック・ジャパンHPC担当ディレクターの根岸史季氏

Omni-Path

メタゲノム解析、マルチメディア認識、衛星ビジネスに活用

　3人のTSUBAME利用者からも、簡単な紹介があった。

　東京工業大学情報理工学院教授の秋山泰氏は、微生物集団のゲノムを丸ごと調べて微生物と環境の関係を明らかにするメタゲノム解析に「GHOSTZ」という計算技術を用いる例を紹介。

　GPUを使いこなすことで、CPUを使いこなす時よりも1桁高速化が可能で、マルチGPUで計算させると、リニアで性能が上がっていくという。今は歯周病の関連細菌の探索、創薬標的となるタンパク質間相互作用の解析などを行なっている。

東京工業大学情報理工学院教授の秋山泰氏

メタゲノム解析による疾病マーカー探索を行なっている

　東京工業大学情報理工学院助教の井上中順氏は、DNNと隠れマルコフモデルを用いた音声認識、CNNを用いた映像認識技術を紹介した。最初に大規模学習をさせるときにスパコンを活用して高速化しているという。TSUBAME3.0によって、今は全くできていないレベルの従来よりもはるかに大規模なデータやモデルを扱えるようになることが特徴だという。

　株式会社アクセルスペース取締役宇宙ビジネス情報グループ長の宮下直己氏は、超小型衛星を作っているベンチャー企業の立場から利用例を紹介した。

　同社は2015年に19億円の資金調達に成功。「GRUS」という地上分解能2.5mの衛星を使い、「AXCELGLOBE」という50機の衛星を配置して地球上の全陸地の45%をカバーする計画を目指している。

　年間7.7PBにもなる衛星画像に深層学習を行ない、精密農業や物流分野の最適化ビジネスを行なおうとしている。解析よりも事前学習に特に計算力が必要となるため、そのためにTSUBAMEシリーズの活用を狙っている。

東京工業大学情報理工学院助教の井上中順氏

株式会社アクセルスペース取締役宇宙ビジネス情報グループ長の宮下直己氏らは衛星画像解析を行なう

　このほか素材系、ライフサイエンス系に使われていく予定だという。

　松岡氏は、「今の機械学習の主流となっている深層学習の高速化には低精度の演算が効果的。あらゆるクラウドデータセンターに比べても圧倒的。ただ単に計算するだけではなく、演算に転送する高速ネットワークや並列ファイルシステムなど、I/Oやネットワーク性能も重要。これらが今までのGPUスパコンの中でもTSUBAME3.0は圧倒的に性能が高い。

またそれらを活かすソフトウェアに関しては東工大は産総研のAI研究センターと密な関係を築いて活用を模索していく予定になっている。アルゴリズムやソフトウェアの側面でスパコンを使いこなす技術も基軸となる」と語った。

　これまでシミュレーションに多く使われていたスパコンだが、人工知能や画像処理に活用することで、日本にとって非常に重要な領域に活用し、民間も含めた研究開発を加速していきたいと松岡氏は述べた。

　今後、TSUBAMEは3月末までに設備の工事を進め、導入していく。

　非常にざっくり言うと、2.0に比べて5倍、2.5に比べると2〜3倍、機械学習などでは5倍くらいの性能となるとのことだ。

 

Weather app works even when disaster takes out the network

Mobile networks have a hard time handling emergencies that send us all rushing to our phones to get the latest information or reach friends and family. A new Weather Channel app, though, can get the message through even during earthquakes, tornadoes and terrorist attacks when mobile networks can be overwhelmed and may not work.

The Android app, geared specifically for developing countries, uses IBM-developed technology called mesh networking that sends messages directly from one phone to another. The result is that information can propagate even when centralized networks fail.

Using Bluetooth and Wi-Fi networks, the app can send data from phone to phone across distances between 200 to 500 feet, IBM Research staff member Nirmit Desai said. It doesn't add any more battery burden than an ordinary app, and the mesh network can be used without having to reconfigure the phone's network settings.

It's a clever technique that's well suited to regions with subpar networks. But much of the promise of mesh networking remains unfulfilled.

The One Laptop Per Child (OLPC) effort to bring low-cost Linux-powered computers to developing nations tried using it to improve networking. Google Executive Chairman Eric Schmidt hopes mesh networking will help bypass government censorship. The ZigBee standard for home networking uses it, letting network data hop from one device to another across a home, but most folks haven't heard of it. Perhaps coming mesh features in future Bluetooth short-range networking will catch on.

One of the biggest mesh challenges is achieving a critical mass of network nodes -- in this case, people with phones running the app.

"Having mesh as part of one of the most popular apps helps," Desai said. "The app and the mesh technology have great synergy. Each new download of the app results in availability of a new mesh node. And with each new mesh node, the app is able to relay critical information to more users."

And mesh networks can be used for more than broadcasting alerts. "Once we have a viable mesh, it can carry data for multiple applications, including messaging applications," he said.

Mesh networks also open open up a new security concern. IBM's approach uses digital signatures to ensure information sent on the mesh network is from a trusted device and hadn't been modified.

The Weather Channel is launching the app in emerging markets in Asia, Latin America and Africa. It's a very small app by modern standards -- just 3.2MB -- and is geared to work even on slow, older 2G networks still common in much of the world.

 

時速1000kmオーバーの超高速鉄道「ハイパーループ」、27のプロトタイプが走る

高速で地上を移動するための新たな交通手段を確立しようと励む企業はいくつかある。その中でもスペースX社のハイパーループに対するアプローチは興味深い。同社のイーロン・マスクCEOは、同氏が経営するテスラの場合とは異なり、この低圧チューブを利用した超高速輸送システムを自社開発するのではなく、他者の手に委ねて独自のアイデアを膨らませもらおうという姿勢をとっている。

この方針に基づき、スペースX社は29日、世界中からチームを迎えてハイパーループ・ポッド・コンペティションを開催した。スペースX社は、今回の大会で得られた情報も引き続きオープンソース化すると述べている。

2015年夏にスペースX社が発表した第一弾となるポッドのデザイン・コンペには、1,200件を超える応募が寄せられた。多くは大学に籍を置くチームで、そのうちの27チームがカリフォルニア州ホーソーンにあるスペースX社の敷地内に集まり、自らがデザインした試作品をテスト走行させたのだ。

本大会で、実際に作動するポッドのプロトタイプは様々なテストを通して評価される。スペースX社は、人が乗り込むのに十分な広さのポッドを収容できる、1マイル（約1.6km）の真空チューブ状のテスト・トラックを建設している。

参加チームのほとんどは、大学の工学科の学生たちだ。OpenLoop（オープンループ）は、複数の大学による共同チームで、ミシガン大学、ノースウェスタン大学、プリンストン大学、コーネル大学、ハーベイマッド大学、そしてニューファンドランド・メモリアル大学のメンバーで構成されている。これに対し、単独チームのrLoop（アールループ）は面白いことに、大学間の連携がないにもかかわらず、メンバーのうち100名が14カ国から参加。Team Hyperlift（チーム・ハイパーリフト）も注目株で、テキサス州ヒューストンにあるセント・ジョンズ高校の生徒たちのグループだ。

スペースX社が、ハイパーループのチームを自社のテスト・トラックに集めるのは、これで最後というわけではない。この大会に意義を見出している同社は、今夏にも２回目のハイパーループ・ポッド・コンペティションを開催する予定だ。次大会では、どれだけ速度が出せるかが焦点となるはずなので、こちらも見逃せない。

上記ギャラリーでは、大会に参加したポッドの中から注目のデザインをいくつかご紹介しているが、全チームを網羅したリストをご覧になりたい方は、詳細な情報も載っている米国のビジネス情報サイト『Business Insider』がおすすめだ。

 

Ford、Google出身者のAI企業に10億ドル投資、4年で完全自動運転実現へ

　米Ford Motorは2月10日（現地時間）、人工知能（AI）を手掛ける米新興企業Argo AIに向う5年間で10億ドル投資し、完全自動運転技術を共同開発していくと発表した。Fordは2021年までに、米運輸当局のNHTSAが「レベル4」と定める完全自動運転が可能な自動車を量産する計画。

　Argo AIは、米Googleの自動運転事業（現在はAlphabet傘下のWaymo）でハードウェア開発ディレクターを務めたブライアン・セルスキー氏と、米Uberのエンジニアリングのトップだったピート・ランダー氏が2017年に共同創業したAI企業。2人は自動運転の研究で知られる米カーネギーメロン大学（CMU）のNational Robotics Engineering Center出身だ。セルスキー氏がCEOを、ランダー氏はCOO（最高執行責任者）を務める。

　FordはArgo AIの主要株主になり、Argo AIはFordの自動運転車の開発と生産を支援するが、Argo AIは将来的には自社技術をFord以外にもライセンス提供していくとしている。

　Fordは2012年には自動運転の取り組みの青写真を発表しており、その段階では2025年以降に完全自動運転車を発売するとしていた。