研究の背景

• 「ソースコードからの高水準な意味の自動抽出」
• プログラム理解 (Program comprehension)
• 究極の目標 (夢物語) :
  バイナリを入れると、どんな動きをするか解説してくれる。
• 個人的には「プログラムの意味」に興味がある。
  「アルゴリズムが先か、データが先か?」

Research Question

a = 100;
b = 2;
c = a + b;
d = a * c;
...

例. 1

if (c == 1) {
    b = b - 100;
    a1 = a1 + 1;
} else if (c == 2) {
    b = b - 300;
    a2 = a2 + 1;
} else
...

• Q. 変数 b の役割は何か?

例. 1

if (choice == 1) {
    money = money - 100;
    item1 = item1 + 1;
} else if (choice == 2) {
    money = money - 300;
    item2 = item2 + 1;
} else
...

• money : あらゆる商品と交換が可能。

例. 2

if (x) {
    y = y - 1;
}
if (y == 0) {
    g();
}
...

• Q. 変数 y の役割は何か?

例. 2

if (hit) {
    life = life - 1;
}
if (life == 0) {
    gameover();
}
...

Motral Kombat Wiki

• life : 攻撃を受けるたびに減る。
  ゼロになるとゲームオーバー。

基本的なアイデア

• ソースコードを
  データフローグラフに変換する。

  pow(x, y) {
      z = 1;
      while (0 < y) {
          z *= x;
          y -= 1;
      }
      return z;
  }
  

パターンマッチング

• 大規模コーパスから対応関係を学習する。

  if (c == 1) {
      b = b - 10
      a1 = a1 + 
  } else if (c =
      ...
  

  得られたパターンを対象コードに適用する。

現在までの進捗

1. トップ 1000 (★) の Java プロジェクトを取得。
   (11GB zipped text)
2. JDT で構文解析。
   (480,627 files. 74,088,883 loc.)
3. データフローグラフを蓄積。
   (4,199,301 functions, 42,133,919 nodes)
4. パターンマッチングを実装。

データフローグラフの実装

• コード生成に使う必要はない。
• もとのソースコードの情報をなるべく保存する。
• 考えられる用途:
  • マッチング。
  • クローン検出。
  • taint解析。
• 実行時間: JDT+グラフ構築: 1.5hr (74Mloc)

純粋な関数の場合

• 単一の出力をもつ。

副作用がある関数の場合

• 複数の並列する出力をもつ (アミダくじ的?)。

グラフの構築方法

• 各文を component として逐次的に構築。

  int a, b;
  a = a + 2;
  b = b - a;
  ...
  

条件分岐の表現

• 真・偽両方のグラフを join でまとめる。

  if (x) { A; } else { B; }
  

ループの表現

• ループの終了判定を branch とする。

  while (x) { P; }
  

break/continue/returnの表現

• 各ブロックは Frame をもつ。

  { ... P; return x; ... }
  

try ... catch の表現 (未完)

• try ... catch: Monad として実現。

  try { P; } catch (e) { Q; }
  

パターンマッチングの実装

• 抽出したグラフをデータベースに蓄積する。
  (グラフ+インデックス SQLite 20GB, 3時間)
• 対象となる部分木を検索する。
  (変数名は消されているため、事実上これは T3 のクローン検出に近い)
  1. まず trie を使って絞り込む。
     (約42Mの部分木に対して 〜1秒)
  2. 真面目なマッチング。

部分木のインデックス構築

• ノードではなくエッジをインデックスし、trie を構築する。

クローン検出としての使用例

10000グラフ × 4117786グラフに対してマッチング:

クローン検出: 所見

1. 一致するノード数が増えると (> 10)、同一のコードが多く見つかる。
2. 一致したノードの数によって、コードの「類似度」のようなものが測定できる。
3. データフロー中のノードは必ずしも直感的な構文要素に対応していないため、 結果の中には一見して対応がわかりにくいものもある。
4. 一致する個数が多かったノードには、case文の連続しているものが多かった。

関連研究

• Reychev, et al. Predicting Program Properties from “Big Code”, POPL 2015.
  • 本研究とまさに同じようなことを obfuscated された Javascript コードに対してやっている。
  • 推論には CRF を使用。
• 本研究における違い:
  • より細かい関係、多くの情報を使っている。
  • 単なる名詞以上の抽出をめざしている。