TSUBAME 2.0

TSUBAME 2.0は、HPのサーバー機「HP Cluster Platform 3000SL」を使用したPCクラスター型の分散並列型スーパーコンピューターである。

CPU性能もさることながら、比してGPGPU性能を重視した構成になっている。

TSUBAME 2.0には、3種類の計算ノードが存在する。

• Thin(通常計算用)

  ノード数1408台、ノードモデル名HP Proliant SL390s G7

  CPU Intel Xeon 2.93 GHz (6コア&ハイパースレッディング・テクノロジー) × 2

  GPU NVIDIA Tesla M2050 × 3

  メモリー54Giバイト(一部96Giバイト)

  SSD 120Gバイト(一部240Gバイト)

  ネットワーク QDR InfiniBand × 2 (80Gbps)

• Medium (大容量メモリを必要とするジョブ)

  ノード数24台、ノードモデル名HP Proliant DL580 G7

  CPU Intel Xeon 2.0 GHz (8コア&ハイパースレッディング・テクノロジー) × 4

  GPU NVIDIA Tesla S1070

  メモリー128Giバイト

  SSD 480Gバイト

  ネットワーク QDR InfiniBand × 1 (40Gbps)

• Fat (大容量メモリを必要とするジョブ)

  ノード数10台、ノードモデル名HP Proliant DL580 G7

  CPU Intel Xeon 2.0 GHz (8コア&ハイパースレッディング・テクノロジー) × 4

  GPU NVIDIA Tesla S1070

  メモリー256Giバイト/512Giバイト

  SSD 480GBバイト

  ネットワーク QDR InfiniBand × 1 (40Gbps)

全1442ノード中、その殆どは全ての1408ノードがThinと呼ばれるノードである。計34台ある他のノードは、CPUが若干遅い代わりにコア数が多く、メモリーも大容量が搭載されている。

Thinノードの理論ピーク性能は、計算性能が、CPUは2基合計で153GFLOPS、GPUは3基合計で1545GFLOPS(共に倍精度浮動小数点演算性能)であり、メモリーバンド幅はCPU側が2CPU計で64Giバイト/秒、GPU側が3基計で462Giバイト/秒となる。

これは理論値なので、実際のアプリケーションソフトウェアでこの性能を出すことはできないが、それでも、CPU性能よりGPU性能が重視されていることが分かる。

ストレージ領域用にクラスタ化されたNASと、大規模データ処理用の並列ファイルシステムが用意されている。

ストレージ領域用には、NFS、CIFS、iSCSIの各プロトコルで接続されたBlueArc Mercury 100(一部GRIDScalar)が採用されている。

並列ファイルシステム領域には、Lustreプロトコルでファイルサーバーに接続される。

この他、テープドライブによるバックアップが可能。

各ノード・ストレージ間の連結は、フルバイセクションバンド幅の光QDR InfiniBandが採用された。

バイセクションバンド幅(Bisection Bandwidth)とは、通信性能の下限が一定以下に下がらない設計をいう。スパコンは並列機なので、多数の計算ノードはネットワーク接続されるが、各ノードが全力で通信した場合、平均的な実効通信速度はそれだけ下がることになる。「フルバイセクション」ネットワークの場合、いかなる通信をしても下限が一定となるが、構築コストが高いため、スパコンといえども全てで採用されているわけではない。

OSはLinuxであるが、Microsoft Windows HPCも利用できる。