新世代Tensorコアと新データフォーマット採用で演算性能が飛躍的に向上

NVIDIAがオンラインでプライベートカンファレンス「GTC 2020」を開催。次世代「Ampere」アーキテクチャを初めて採用する、データセンター向けGPUの「NVIDIA A100」が発表された。市場想定売価は199,000ドルという。

TSMCの7nmプロセスを採用するGPUで、“Volta”こと前世代「Tesla V100」の2倍以上となる540億ものトランジスタを実装。新しいデータフォーマット（TF32/Tensor Float 32）をサポートした第3世代Tensorコアとのハイブリッド演算により、FP32（単精度浮動小数点数）演算は312TFLOPS、FP64（倍精度浮動小数点数）演算は19.5TFLOPSを実現する。

ちなみに前世代との比較では、FP32演算性能はなんと20倍に向上。ディープラーニング推論性能も大幅に向上しており、Int8（8bit整数演算）は前世代比20倍の1,248TOPSに達している。

Streaming Multiprocessor数は108基で、FP32 CUDAコアは6,912基、FP64 CUDAコアは3,456基。メモリはSamsung製のHBM2 40GBを実装する。ホスト間との接続バスはPCI-Express 4.0 64GB/s、インターコネクトのNVLink帯域は600GB/s。最大消費電力は400Wとされる。

なお今回の基調講演は、当初3月下旬に予定されていたところ、新型コロナウイルスの感染拡大により延期され、オンラインで開催。全世界で“Stay Home”が叫ばれる中、Jensen Huang氏のキッチンで収録される異例の“Kitchen Keynote”となった。

文： エルミタージュ秋葉原編集部 絵踏 一
NVIDIA Corporation： http://www.nvidia.com/