ノート/CUDA/JohanSeland

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

最新の5件

CUDA
訪問者数　5348　　　　　　最終更新　2008-10-26 (日) 16:29:57
　　＞　ＧＰＵ

Johan Seland(johan.seland@sintef.no) の「CUDA Programming」より †

この記述はJohan Seland(johan.seland@sintef.no) の「CUDA Programming」 （http://www.sintef.no/upload/IKT/9011/SimOslo/eVITA/2008/seland.pdf）から 整理したものです。図版等はSelandの物を借りていますのでCopyrightはもとの著者 にあります。記述内容を整理したことによる誤解・表現上の問題の責任は 山内にあります。

スレッド実行モデル（26〜ページを解釈） †

実行の仕組

• GPU（チップのこと？）はN個のMP（マルチプロセッサ）からなる
  　　　　複数のチップ（ボード）を集めてシステムにすることができるが、ここではGPUはチップだろう。
• MPはM個（G80では128個？）のSP（スカラープロセッサ）からなる
  　　　　スカラープロセッサは１つの演算器のイメージ？

この上に（スケジューラが）「スレッド」を割付け

• １つのMPは、「ブロック」を実行する
  　　　　１つのブロックは必ず１つのMPで実行される
• １つのブロックは、X個のワープ（ワープは複数のスレッドからなる）に分割される
• １つのワープが、並列に（ワープ内のスレッドが同時並列に）実行される
  • スケジューラは、ワープからワープへと実行を切り替える
• １つのワープは、（スレッドIDが昇順に連番の）複数（現行32個）のスレッドからなる

実行速度を制限する要因

• Shared Memoryとレジスタは、全リソースが決まっていて、それをブロックに割り付ける。だから、ブロック数が多いとブロック当りの割当量は減る。
  • １つのMP上で、複数ブロックが実行できることに注意
• １つのワープ内では、条件分岐して実行パスが異なると、一方が終わるまで他方は待たされる。

操作にかかるクロック数

• ４クロック
  　　　　浮動小数点の加算、乗算、及びmultiply-add計算
  　　　　整数加算、ビット演算、比較、min、max
• １６クロック
  　　　　除算、平方根の逆数（平方根の逆数を求める方法があり、それに元の数をかけて平方根を求められる）、__log(x)、32ビット整数乗算
• ３２クロック
  　　　　__sin(x)、__cos(x)、__exp(x)　　多分超関数計算ユニットを使う（共有されていないか？）
• ３６クロック
  　　　　浮動小数点除算　（ただし、24ビットバージョンは２０クロック）
• 特にコストが高いのは
  　　　　整数除算、剰余modulo
• 倍精度計算は、（もし機能があれば）２倍の時間がかかる　（２倍の時間でできる？）

メモリモデル †

Johan Seland(johan.seland@sintef.no) "CUDA Programming"(http://www.sintef.no/upload/IKT/9011/SimOslo/eVITA/2008/seland.pdf) page 30

レジスタと共有メモリは、ブロック間で分配される。

山内の理解では、ブロック（やワープ）はＯＳの「プロセス」のようなもので、物理的に（その個数分）存在するわけではなさそうだ。

つまり、レジスタや共有メモリは、物理的には、１つのストリーミングマルチプロセッサ（＝８×スカラープロセッサ）の内部に１組、つまりレジスタは（8K個＝32KB分）あり、共有メモリは（16KB分、但し16バンクに構成されている）ある。これらの数値はCUDAのProgramming GuideのAppendix A1.1 (page 78)を参照。GTX9800の場合はComputing Capability 1.1なので、上記の数字になる。Teslaだと1.3なのでレジスタや共有メモリが２倍になっている。

この容量のメモリを、ロードリストアすることなく、領域を分割割当てして使っている。つまりスレッド切替え（正確にはワープ切替えというかブロック切替えというか）の時には（ＯＳのスレッド切替でやるようには）ロードリストアしない。その分割割当ては、おそらくコンパイル時に確定してしまうのだろう。

上の図で、各スレッドにレジスタがあり、各ブロックに共有メモリがあるように描かれているのは、その（コンパイル時の？）分割割当てが済んだ分量を割り当てた状況なのだろうと思う。だから「レジスタや共有メモリの容量はブロック数に依存する」ことになるのだろうと思う。

この他に、グローバルメモリ、定数メモリ、テクスチャメモリが使えるが、CUDAのプログラミング上、定数メモリやテクスチャメモリをどう使うのか、未確認。

グローバルメモリは非常にアクセスが遅い（400〜600サイクル）のと、かたまりで転送（Coalesced）する必要がある。細かくはProgramming GuideのSection5.1.2.1 (page 52)を参照のこと。