第4章の概要

• 「互換性ができたら、つぎは最適化の番」
• 4.1. 最適化が努力に見合うわけ
• 4.2. プロファイリングの各種方法
• 4.3. 実際の最適化
  • Superblock の構築

たとえば...

そうすると...

最適化までの流れ

1. まずインタプリタで実行、あるいはネイティブに変換して実行。
2. プロファイル情報を収集。
3. 最適化する。
4. 2. へ戻る。

4.1. 最適化が努力に見合うわけ

• プログラムの多くの部分は、実はかなり予測可能な動きをしている。

  // 例: 値 "-1" を検索するコード
        R3 = 100;
  loop: R1 = *R2;
        if (R1 == -1) goto found;  // A
        R2 = R2 + 4;
        R3 = R3 - 1;
        if (R3 != 0) goto loop;    // B
        ...
  found:

  • 問. レジスタ R1, R2, R3 の役割を説明せよ。
  • 問. 値 "-1" がほとんど現れない場合と仮定すると、 A と B はそれぞれ「分岐する」「しない」どちらの可能性が高いか?

分岐の偏り・1

• 多くの分岐は「する」「しない」のどちらかに偏っている。

分岐の偏り・2

• 多くの分岐は、前回の動作と同じ動作をしている。

分岐の偏り・3

• 多くの間接分岐は、ほとんど同じ場所に着地している。

演算結果の偏り

• 多くの演算は、毎回同じ結果になっている。 (定数ってこと??)

4.1. まとめ

• プログラムの多くの部分はかなり予測可能である。
  1. 分岐「する」「しない」の偏り。
  2. 前回と同じ分岐結果が多い。
  3. 間接分岐は、分岐先がいつも同じ。
  4. 演算の結果もわりと同じ。
• 問. プログラムの分岐が完全に予想できたとして、 どうやって実際に速くできるのか?
• 単純に分岐命令の実行時間が省ける。
• パイプライン実行でき効率が上がる。
• 実行結果をキャッシュしておける?

4.2. プロファイリングの各種方法

• プロファイリングとは?
  • プログラムの中の適切な場所に「検知器」を入れる。
  • それがどのように実行されたかを記録し解析する。
• プログラムのふるまいを予測するために使われる。
• コンパイラなどで使われるプロファイリングとは違う。

コンパイラの場合...

• プログラムの全体像は前もってわかっている。
• 十分なデータを集めた後、それを使って本格的に最適化する。

VM の場合...

• プログラムの全体像は前もってわからない。
• プロファイリングは走るのと同時にやる。
• 早く結果がわかればわかるほど有利。

VMプロファイラの種類

• いくつもの方式が存在するが、主なものは2つ:
  1. どの部分がどれだけ実行されたかを測定する。
     (ノード・プロファイル)
  2. 各分岐でどっちをより多く選択したかを測定する。
     (エッジ・プロファイル)
• 他にも特殊な状況を監視するためのプロファイラが存在する。
  (例: 変数がつねに同じ値を保持するかどうか、など)

ノード・プロファイル

• 「各部分が何回実行されたか」を記録する。

エッジ・プロファイル

• 「各分岐を何回通ったか」を記録する。
• ノード・プロファイルより手間がかかるが、 これがあればノード情報もわかる。

どうやって実行を記録するか

1. Instrumentation: 特定の箇所に「カウンタを仕掛ける」
   
   • ソフトウェアの一部を書き換えて実行する。遅いが正確。
2. Sampling: とにかく一定時間 / 命令数ごとに測定
   
   • ハードウェアを使えば速いが、正確さに欠ける。
   

インタプリタにおける測定

• インタプリタなので、のぞき放題。
• 分岐命令の直後に仕掛けることが多い = 「ブロックの開始」
  • ハッシュテーブルを使い、各分岐命令ごとに回数を記録。

  分岐点	した	しない
  0x0040f8be	5	38
  0x00419c58	122	1
  0xdeadbeef	65535	65537
  ...	...	...

ネイティブ変換後の測定

• 変換時に測定用コードを注入できるので、 ハッシュテーブルを使わなくてよい。
• あとで除去しやすいように、 測定用コードは一箇所にまとめることが多い。

プロファイリングの問題

• インタプリタでは全体の 10〜20% 速度低下。
• 最適化後のバイナリでも同様の比率。
  (なぜなら、それ以外のコードも速くなるから)
• 測定用カウンタがオーバーフローする問題。
  → "減衰 (decaying) カウンタ" という考え。

  n = n + 1;
  if (一定時間後) n = n / 2;

4.2. まとめ

• プロファイリングではおもに 2種類の情報を取得:
  1. エッジ プロファイル
  2. ノード プロファイル (推測可)
• プロファイリングにはおもに 2種類の方法がある:
  1. 一定時間ごとの測定
  2. カウンタを仕掛けて測定

4.3. 最適化する

• 最適化 = C.S.E + 局所性を高めること。
  • 空間的局所性 (spatial locality)
    = 実行されるコードが互いに近くにある。
  • 時間的局所性 (temporal locality)
    = ループの時間が短い。
• コードを実行される順にまとめることで、 2つの局所性を同時に高めることができる。

フェッチの効率を上げる

• 以下のコードで、E と F は隣り合わせに並んでいる。

命令キャッシュ E: goto uncond; F: ... F: ... F: ...

フェッチの効率を上げる

• しかし実際には E → F は絶対に実行されない。

命令キャッシュ E: goto uncond; F: ムダ F: ムダ F: ムダ

方法1. レイアウトの変更

• ブロックの順序を変更することで、局所性 (=効率) を改善できる。

→

方法2. インライン化

• よく実行される手続きを複製して埋め込むことで、局所性を改善できる。

→

→

(部分インライン化)

"Trace" を使う方法

• よく実行される手続きを複製して埋め込むことで、局所性を改善できる。
  1. もっともよく実行されるブロックから始める。
  2. 次によく実行されるブロックをつなげる。...
  3. 出口に到達するか、なくなるまで繰り返す。

"Trace" を使う方法

• A → D → E → G
• B → C
• F

"Superblock" を使う方法

• Trace と違って、ブロックを複製してよい。
• 動的に構築できる。
• 現在、もっともメジャーな方法。

Superblock の構築方法

• 以下のステップに分けられる:
  1. 最初のブロックを見つける。
  2. 続きのブロックを見つける。
  3. どこかで止める。

Step 1. 最初のブロックを見つける

• 開始しきい値 (Start threshold) という概念を使う。
• これを超えたら Superblock の構築を始める。

Step 2. 続きのブロックを見つける

• Most Frequently Used:
  1. 継続しきい値 (Continuation threshold) を使う。
  2. しきい値を超えたブロックを Continuation Set とする。
  3. 制御フローに従って Superblock を拡張していく。
  4. 全ブロックをプロファイリングする必要がある。
• Most Recently Used:
  1. 「たまたま通った道を標準だと信じる」方法。
  2. 最初だけ決めたら、あとは進んだ順に Superblock とする。
  3. プロファイリングが少なくてすむが、精度は低下。

Step 3. どこかで止める

• いくつかの基準が存在する:
  1. フローが最初の superblock に到達した。
  2. フローが別の superblock に到達した。
  3. Superblock の長さが (あらかじめ決めた) 最大値になった。
  4. ブロックの候補がなくなった。
  5. 間接分岐または手続き呼び出しに遭遇した。

練習問題

• 以下のブロックから superblock を MFU で構築する:

Superblock の完成形

→

Tree Groups

• Trace / superblock = 分岐がほとんど予測可能であるときに有効。
• Tree group = 分岐が五分五分のときに有効。(?)

Teh End~~