Gauche > Archives > 2010/05/30

2010/05/30 03:41:36 UTCshiro
#
そのコード、ベンチマークにいいかも。公開できるなら RT: @quasicrane gauche util.match を使ったプログラムのコンパイルがあまりに遅いのでマクロ展開してみたら凄まじい行数に展開されている 少しエレガントさを減らしてあんまり巨大にならないように最適化しないと駄目か
2010/05/30 03:49:38 UTCquasicrane@twitter
#
shiro さん、拾っていただき多謝です。ちょっと整理してgithubにのせます。わたしの使い方が間違ってなければいいのですが。gauche vm を secd マシン風に書きたくて書いていたコードです。
2010/05/30 04:06:23 UTCshiro
#
@quasicrane util.matchは重複したテストをなるべく避けるコードを出すのですが、案外その重複チェックがパターンサイズに対してO(n^2)だったりしないかな、と疑ってます。
#
しかしmatchのコード自体がmatchによって展開された後のコードなので該当箇所を探すのが面倒…
#
もし上の予想が当たってて、チェックをhashtableか何かで置き換えられれば劇的に速くなるんではなかろうか、というのが希望
#
関数inかな、重複チェックしてるのは。結構クレバーなことをやってるのでそう単純には置き換えられないか…
2010/05/30 04:11:25 UTCquasicrane@twitter
#
http://bit.ly/9cwCIU に載せました secd という手続きの match が問題の部分です vector のマッチとキーワードとのマッチが入っています
2010/05/30 04:12:50 UTCshiro
#
あれ、パターン自体ha
#
はたいしたことないなあ。
2010/05/30 04:14:58 UTCquasicrane@twitter
#
ああ、説明を書いていませんでしたが (secd '(+ 3 4)) というようにs-式を渡すとコンパイルしてパターンマッチしながら実行するのです コメントアウトしている部分はまだ gauche vm が分かっていないので書けていない部分です
2010/05/30 04:17:34 UTCshiro
#
でも今のコードでも展開が遅いんですよね?
#
あ、ちょっとまてよ。matchの展開自体が遅いのか、展開後のコードが走るのが遅いのか、自分は前者だと思ってたんだけどもしかして後者?
2010/05/30 04:21:10 UTCquasicrane
#
前者の、match の展開自体が遅い、です。
2010/05/30 04:22:05 UTCshiro
#
了解。
#
ふむ。うちの環境だと展開だけで1.3秒かかる。確かに遅い。
2010/05/30 04:32:24 UTCquasicrane
#
コメントアウトしている :BNGT, :CLOSURE, :PRE-CALL を加えると劇的に遅くなり、手元では20秒以上掛かりました パターンマッチ自体はご指摘どおり単純ですし、展開系もキーワードとの比較になっているようなのですが
2010/05/30 04:38:46 UTCshiro
#
なりますね。O(n^2)どころかどっかでexponentialになってるっぽいなあ
#
節を三つ加えただけでgenの呼ばれる回数が28倍になってる。
2010/05/30 04:54:30 UTCshiro
#
@quasicrane わかりました。このパッチを試してみてください。
#
--- libsrc/util/match.scm	(revision 7148)
+++ libsrc/util/match.scm	(working copy)
@@ -670,12 +670,17 @@
        (else (loop (cdr b) (cons (car b) new-b) e))))))
 
 (define (gen x sf plist erract length>= eta)
+
+  (define (gen-rec plist memo)
+  
   (if (null? plist)
     (erract x)
     (let* ((v '())
            (val (lambda (x) (cdr (assq x v))))
            (fail (lambda (sf)
-                   (gen x sf (cdr plist) erract length>= eta)))
+                   (or (hash-table-get memo (cdr plist) #f)
+                       (rlet1 code (gen-rec (cdr plist) memo)
+                         (hash-table-put! memo (cdr plist) code)))))
            (success (lambda (sf)
                       (set-car! (cddddr (car plist)) #t)
                       (let* ((code (cadr (car plist)))
@@ -913,6 +918,8 @@
                (newline)
                (error #f "THIS NEVER HAPPENS")))))))
 
+  (gen-rec plist (make-hash-table 'eq?)))
+
 (define (emit tst sf kf ks)
   (cond
    ((in tst sf) (ks sf))
#
(パッチの大きさを減らすためインデントをわざと揃えていません)
2010/05/30 04:56:24 UTCquasicrane
#
パッチありがとうございます、今から試します。
2010/05/30 05:09:53 UTCquasicrane
#
パッチ確認しました。マクロ展開が1秒程度に相当速くなりました、コンパイルは数秒掛かりますが展開系が大きいのでこれは問題ないと思います。素早い対応ありがとうございました。これでsecdマシンを作れそうです
2010/05/30 05:35:14 UTCshiro
#
むう、まだ1秒かかりますか。もうちょい詰められそうだな。
2010/05/30 05:46:04 UTCshiro
#
exponentialになってるところがもう一ヶ所あった。
2010/05/30 06:57:59 UTCshiro
#
なるほど、展開は速くなったけどコンパイルに時間がかかるのは、結局ツリーの大きさが変わらないからか。(genでメモワイズしたのでgenが返すやつはDAGになってるけど、Gaucheのコンパイラはソースに部分共有があることは想定してない)
#
失敗時に樹状に分岐するんだけど、そのほとんどは同じ処理をしてるはず。lambdaでまとめられればずっとコンパクトになるはずなんだが…
2010/05/30 07:14:42 UTCshiro
#
@quasicrane とりあえずquasicraneさんのコードで、ベクタ中で rest ... を使ってるところを _ ... に置き換えてみてください。restをその後で使ってなくても、util.matchは律儀にベクタの残り要素をリストにかき集めてrestに渡すコードを生成します。
#
_ ... にすれば残り要素を無視して良いことがmatchにもわかるので、劇的に速くなります。
2010/05/30 07:39:05 UTCquasicrane
#
_ ... 試してみてます。手元で、キーワードをあきらめ普通のシンボルにすると
#
ああ切れてしまいました。キーワードをあきらめて普通のシンボルにするとなぜかコンパイルも速いようです。match.scm ちゃんと読めていないのですがキーワードとシンボルで少し扱いが違うのでしょうか。
2010/05/30 07:57:16 UTCshiro
#
はて、キーワードは単なるリテラル比較になるのでquoteしたシンボルと変わらないと思うのですが。
2010/05/30 08:02:52 UTCquasicrane
#
変わらないはずですか。すみませんもうちょっと確認してからレポートしてみます。(キーワードを使っている理由はほとんど何も無いです。CLで使っていたというだけ)
2010/05/30 09:17:27 UTCshiro
#
うーむ、gitを使い慣れるとsubversionでのブランチ管理はなにかと面倒だなあ。
2010/05/30 12:03:26 UTC(び)
#
最近、GaucheやKahuaをいじるのは、もっぱらgit svnで取って来たリポジトリです。手許でいろいろやれてメインストリームとのマージも簡単で便利です。