Gauche > Archives > 2012/05/06

2012/05/06 03:47:54 UTCshiro
#
BSD系でext/tlsのテストがひっかかってたのをちょい工夫してみました。手元のFreeBSD9では通るようになりましたが、BSD系な方、試して頂けたらありがたいです。
2012/05/06 07:47:43 UTC(び)
#
Mac OS X通りました。ぶらぼー
#
FreeBSD 8.2Rも通りました。ぶらぼー
#
いやー、これは本気で嬉しいな。
2012/05/06 07:53:28 UTCmaru
#
ぇ、全部パスします?>Mac OS X
2012/05/06 07:59:40 UTC(び)
#
はい
#
普通のLionです。
2012/05/06 08:01:18 UTCmaru
#
GAUCHE_TEST_RECORD_FILE=../../test.record ../../src/gosh -ftest -I. -I. ./test.scm > test.log
Testing rfc.tls ...                                              failed.
discrepancies found.  Errors are:
test ssltest: expects 0 => got 256
#
むぅ。ちと git pull しなおして出直してきます。
2012/05/06 08:01:40 UTC(び)
#
ところで、Kahuaのバックエンドにしようと思ってGauche-redisってのを作ってるんだけど、他の用途で使いたい人っているかなぁ。
2012/05/06 08:05:12 UTCshiro
#
maruさん、ext/tls/ssltest.logをちょいとどっかに貼り付けてもらえますか。そこのテストはaxTLSのテストプログラムを呼んでるんですが、結構トリッキーなことをやってるので、タイミングの問題等で失敗する可能性はあります。
2012/05/06 08:09:54 UTCmaru
#
ここに貼り付けてみました。https://gist.github.com/2621007
#
古いgoshのインスタンスとか残ってるのを消して、maintiner-cleanから./DIST genして再試行してみます
2012/05/06 08:11:01 UTCshiro
#
ちょいまって、試してもらいたい異が
2012/05/06 08:11:24 UTCmaru
#
わ。cleanしちゃった
2012/05/06 08:12:43 UTCshiro
#
あ、いや、cleanはいいんですが
#
あーでも違うかなあ。一応、このパッチを入れて試してみてもらえますか
#
--- a/ext/tls/system-fix.c
+++ b/ext/tls/system-fix.c
@@ -30,7 +30,7 @@ void safe_system(const char *commands)
                     strerror(errno));
             return;
         }
-        if (status != 0) {
+        if (/*status != 0*/TRUE) {
             fprintf(stdout, "process exit with %d (command: %s)\n",
                     status, commands);
         }
2012/05/06 08:13:57 UTCmaru
#
了解です。ちょっとお待ちを
2012/05/06 08:14:22 UTCshiro
#
あ、ちょいまち。もうひとつ。
#
--- a/ext/tls/system-fix.c
+++ b/ext/tls/system-fix.c
@@ -30,10 +30,11 @@ void safe_system(const char *commands)
                     strerror(errno));
             return;
         }
-        if (status != 0) {
+        if (/*status != 0*/TRUE) {
             fprintf(stdout, "process exit with %d (command: %s)\n",
                     status, commands);
         }
+        sleep(1);
     }
 #else  /*WIN32*/
     fprintf(stdout, "system: executing (%s)\n", commands);
#
こっちでお願い。失敗してるテストは、opensslでサーバを立ててそこにaxTLSライブラリからアクセスに行ってるんですが、opensslのサーバが完全に立ち上がる前にアクセスにいっちゃってるんじゃないか疑惑。sleep(1)でそれが回避できるかも。
#
確認が取れたら、実際は0.2秒くらいの待ちにするつもりですが。
2012/05/06 08:17:00 UTCmaru
#
了解です。いまビルドしてます。
#
axTLS/ssl/test/ssltest.mod.c:2301:28: error: use of undeclared identifier 'TRUE'
        if (/*status != 0*/TRUE) {
                           ^
1 warning and 1 error generated.
#
TRUEってどこで定義されてましたっけ
2012/05/06 08:21:22 UTCshiro
#
あ、そうか。ssltest.cはgauche.h使ってないんだった。1とかにしといてください。
2012/05/06 08:21:32 UTCmaru
#
了解
2012/05/06 08:30:38 UTCmaru
#
現象変わらずです
#
diff --git a/ext/tls/system-fix.c b/ext/tls/system-fix.c
index ebc5b7b..591f6f2 100644
--- a/ext/tls/system-fix.c
+++ b/ext/tls/system-fix.c
@@ -30,10 +30,11 @@ void safe_system(const char *commands)
                     strerror(errno));
             return;
         }
-        if (status != 0) {
+        if (/*status != 0*/1) {
             fprintf(stdout, "process exit with %d (command: %s)\n",
                     status, commands);
         }
+       sleep(1);
     }
 #else  /*WIN32*/
     fprintf(stdout, "system: executing (%s)\n", commands);
#
diffはこれです
#
Testing utility scripts ...                                      passed.
Total: 12745 tests, 12744 passed,     1 failed,     0 aborted.
#
おしい。
2012/05/06 08:31:37 UTCshiro
#
むー残念。ssltest.logの方はちょっと変わってると思うんですがどうですか (単に"process exit with 0 ..."のメッセージが増えてるだけのはず)
2012/05/06 08:34:18 UTCmaru
#
gistに貼り付けたのってdiff取れないのかしら。目視で確認中です...
2012/05/06 08:36:02 UTCshiro
#
opensslのバージョンってわかります? コマンドラインからのとり方はわからないけど、opensslオプションなしで起動してversionと打つと出ます。
2012/05/06 08:36:15 UTCmaru
#
### starting client tests 以降の出力行が増えてますね
#
OpenSSL> version
OpenSSL 1.0.1a 19 Apr 2012
#
です
2012/05/06 08:37:53 UTCshiro
#
新しいか。じゃあそっちのせいではないですね。
#
あ、待てよ、タイミングの問題だとするとここのsleepじゃだめかも。
#
ああ、ssltest.cの方には既に待ちが入ってるのかあ。一応これも試してもらえますか(前のパッチはrevertしてください)。ext/tls以下でmake clean; make; make -s checkするだけでいいです。
#
--- a/ext/tls/axTLS/ssl/test/ssltest.c
+++ b/ext/tls/axTLS/ssl/test/ssltest.c
@@ -1367,7 +1367,7 @@ static int SSL_client_test(
 #endif
     }
     
-    usleep(200000);           /* allow server to start */
+    usleep(1000000);           /* allow server to start */
 
     if (*ssl_ctx == NULL)
     {
2012/05/06 08:42:45 UTCmaru
#
了解。しばしお待ちを
2012/05/06 08:49:13 UTCmaru
#
ぁぁ、部分的にビルド&チェックできるのか。トップディレクトリからmake cleanしちゃった
2012/05/06 08:50:15 UTC_enami@twitter
#
NetBSD 6.99.5 x86_64 通りました。 ssltest.log は 129 行。
2012/05/06 08:52:18 UTCmaru
#
状況変わらずです。差分は
#
diff --git a/ext/tls/axTLS/ssl/test/ssltest.c b/ext/tls/axTLS/ssl/test/ssltest.c
index c096aef..5b9106d 100644
--- a/ext/tls/axTLS/ssl/test/ssltest.c
+++ b/ext/tls/axTLS/ssl/test/ssltest.c
@@ -1367,7 +1367,7 @@ static int SSL_client_test(
 #endif
     }
     
-    usleep(200000);           /* allow server to start */
+    usleep(1000000);           /* allow server to start */
 
     if (*ssl_ctx == NULL)
     {
2012/05/06 08:52:39 UTCshiro
#
ぐぬぬぬぬぬ
2012/05/06 08:53:48 UTCmaru
#
19002番で本当に誰かがlistenしてたりして... 確認してみよっと
2012/05/06 08:54:01 UTCayatoy
#
自分とのところ(MacOSX10.6.8)はsleep(1);のパッチ当てた段階で通りましたよ。
#
s/との/の/
2012/05/06 08:54:35 UTCmaru
#
ポートの衝突はないですね
2012/05/06 08:54:38 UTCshiro
#
sleep(1)を当てる前は通らなかったってことですね >ayatoy
2012/05/06 08:54:47 UTCayatoy
#
はい
2012/05/06 08:55:12 UTCmaru
#
timing issue ですかね...
2012/05/06 08:55:31 UTCayatoy
#
maruさんと全く同じssltest.logでした>当てる前
2012/05/06 08:56:29 UTCmaru
#
(び)さんのOSXてバージョンいくつですか? ぼくのとこは 10.7.3 なのですが関係するでしょうか
2012/05/06 08:56:49 UTCshiro
#
あとはこれかなあ。ssltestはstderrを/dev/nullにつっこんじゃってるんで、これを当ててもらえるとmake checkでエラーがコンソールに出ます。それで何か手がかりが得られるかも
#
--- a/ext/tls/axTLS/ssl/test/ssltest.c
+++ b/ext/tls/axTLS/ssl/test/ssltest.c
@@ -2136,9 +2136,9 @@ int main(int argc, char *argv[])
     fd = _open("test_result.txt", O_WRONLY|O_TEMPORARY|O_CREAT, _S_IWRITE);
     dup2(fd, 2);                        /* write stderr to this file */
 #else
-    fd = open("/dev/null", O_WRONLY);   /* write stderr to /dev/null */
+    /* fd = open("/dev/null", O_WRONLY); */  /* write stderr to /dev/null */
     signal(SIGPIPE, SIG_IGN);           /* ignore pipe errors */
-    dup2(fd, 2);
+    /*    dup2(fd, 2); */
 #endif
 
     /*<SK>*/
#
(なお、「わざとエラーを発生させる」というテストもあるので、エラーメッセージが出ること自体は正常です。でも中に手がかりが混じってるかもしれない)
2012/05/06 08:59:34 UTCmaru
#
lolouila:maru% make -s check                                                                              [~/github/Gauche/ext/tls]
Testing rfc.tls ...                                              awk: can't open file ../ssl/openssl.pid
 source line number 1
awk: can't open file ../ssl/openssl.pid
 source line number 1
socket: Connection refused
kill: 46831: No such process
failed.
discrepancies found.  Errors are:
test ssltest: expects 0 => got 256
#
コンソールにこんな出力が
2012/05/06 09:01:58 UTCshiro
#
can't open fileは正常です。むー、これだけだと特におかしいことはなさそうな。
2012/05/06 09:10:03 UTCshiro
#
opensslがちゃんと立ち上がってるかどうかだなあ。usleep()の行を30秒 (30000000)とかにして、テスト実行中に別シェルからpsでopensslを探してみる、というの、お願いできますか?
2012/05/06 09:11:00 UTCmaru
#
了解しました。
#
47002 s001  S+     0:00.14 ./ssltest --exttest
47013 s001  S+     0:00.02 openssl s_server -tls1 -accept 19002 -quiet -cert ../.././axTLS/ssl/test/axTLS.x509_512.pem -key ../../.
#
居ますね
#
47002 s001  S+     0:00.15 ./ssltest --exttest
47013 s001  S+     0:00.02 openssl s_server -tls1 -accept 19002 -quiet -cert ../.././axTLS/ssl/test/axTLS.x509_512.pem -key ../../.
47020 s001  S+     0:00.01 openssl s_server -tls1 -accept 19003 -quiet -cert ../.././axTLS/ssl/test/axTLS.x509_1024.pem -key ../../
47025 s001  S+     0:00.01 openssl s_server -tls1 -accept 19004 -quiet -cert ../.././axTLS/ssl/test/axTLS.x509_2048.pem -key ../../
#
増えてく...
2012/05/06 09:16:39 UTCshiro
#
ふーむー。これで、127.0.0.1:19002にconnectしにいって繋げない、って状況は何だろう。あ、増えてくのは次々起動してるから正常です。最後にまとめてkillされるはず。
2012/05/06 09:19:46 UTCmaru
#
待ち時間ふやしたら出力変わりました:
#
lolouila:maru% make -s check                                                                              [~/github/Gauche/ext/tls]
Testing rfc.tls ...                                              awk: can't open file ../ssl/openssl.pid
 source line number 1
awk: can't open file ../ssl/openssl.pid
 source line number 1
verify depth is 1
depth=1 O = axTLS Project Dodgy Certificate Authority
verify return:1
depth=0 O = axTLS Project, CN = 127.0.0.1
verify return:1
ERROR
140735267961276:error:14094412:SSL routines:SSL3_READ_BYTES:sslv3 alert bad certificate:s3_pkt.c:1251:SSL alert number 42
verify depth is 1
kill: 47054: No such process
kill: 47057: No such process
kill: 47060: No such process
kill: 47063: No such process
kill: 47066: No such process
kill: 47069: No such process
kill: 47073: No such process
kill: 47076: No such process
kill: 47079: No such process
kill: 47082: No such process
kill: 47085: No such process
kill: 47088: No such process
kill: 47091: No such process
kill: 47094: No such process
kill: 47097: No such process
kill: 47100: No such process
kill: 47103: No such process
kill: 47106: No such process
kill: 47109: No such process
kill: 47112: No such process
kill: 47115: No such process
kill: 47118: No such process
kill: 47121: No such process
kill: 47124: No such process
kill: 47127: No such process
kill: 47130: No such process
kill: 47133: No such process
passed.
#
これは通ったんですよねきっと。
2012/05/06 09:21:57 UTCshiro
#
ああ、通ってるっぽい。ssltest.logの最後の方にALL TESTS PASSEDって出てませんか
2012/05/06 09:22:45 UTCmaru
#
出力されてます。ここまで引っ張ると通るのか...
2012/05/06 09:22:58 UTCshiro
#
するとusleepのタイミングかあ。2秒くらいではどうですか。テスト時間かかっちゃうけど。
2012/05/06 09:23:27 UTCmaru
#
お待ちください
2012/05/06 09:23:55 UTCshiro
#
connect失敗したら少し待ってリトライするようにすれば、速い環境では時間食わずにすむかな。
2012/05/06 09:26:07 UTCmaru
#
diff --git a/ext/tls/axTLS/ssl/test/ssltest.c b/ext/tls/axTLS/ssl/test/ssltest.c
index c096aef..ad4d307 100644
--- a/ext/tls/axTLS/ssl/test/ssltest.c
+++ b/ext/tls/axTLS/ssl/test/ssltest.c
@@ -1367,7 +1367,7 @@ static int SSL_client_test(
 #endif
     }
     
-    usleep(200000);           /* allow server to start */
+    usleep(2000000);           /* allow server to start */
 
     if (*ssl_ctx == NULL)
     {
#
これで通りますね
#
後ろでVMぶんぶん回ってるせいかなぁ
2012/05/06 09:26:58 UTCshiro
#
ありがとうございます。原因はわかったと思うので、fix考えます。
2012/05/06 09:27:31 UTCmaru
#
了解しました。
2012/05/06 10:01:05 UTCshiro
#
返事遅れたけど、redisバインディングはあれば使ってみることがあるかも> (び)
2012/05/06 10:38:18 UTC(び)
#
dbmってサポートしといた方が便利ですかね。とりあえず生のAPIはサポートしたんですが、その上にどういう層を載せると便利か、考えているところです。
#
いずれにせよ、連休が終わったところで公開しちゃいます。
2012/05/06 10:46:15 UTCshiro
#
key-valueストアという抽象化が一番簡単な使い方でしょうから、dbmインタフェースはあれば便利だと思います。
2012/05/06 10:52:17 UTC(び)
#
了解です。dbm.redis足してみます。
2012/05/06 11:12:32 UTCshiro
#
ext/tlsのテスト改良してみました。どうかな。
2012/05/06 11:32:19 UTCayatoy
#
Total: 12704 tests, 12704 passed, 0 failed, 0 aborted.
2012/05/06 12:00:28 UTCshiro
#
まはろー>ayatoy
2012/05/06 12:05:53 UTCshiro
#
あーマルチスレッドでのparameterの問題がまだ未解決だったな…どうしようかな。滑り込みで入れるように頑張ってみるか。
2012/05/06 14:56:54 UTC(び)
#
https://github.com/bizenn/Gauche-redis
#
最低限ですが公開しました。dbmはこれから足します。
#
遊んでやってくださいまし
2012/05/06 16:49:42 UTCmaru
#
むむ。ayatoyさんとこはこのdiffで通るのか。
#
diff --git a/ext/tls/axTLS/ssl/test/ssltest.c b/ext/tls/axTLS/ssl/test/ssltest.c
index c096aef..3a50f0a 100644
--- a/ext/tls/axTLS/ssl/test/ssltest.c
+++ b/ext/tls/axTLS/ssl/test/ssltest.c
@@ -766,9 +766,15 @@ static int client_socket_init(uint16_t port)
     client_fd = socket(AF_INET, SOCK_STREAM, 0);
     if (connect(client_fd, (struct sockaddr *)&address, sizeof(address)) < 0)
     {
-        perror("socket");
-        SOCKET_CLOSE(client_fd);
-        client_fd = -1;
+        /*<SK> If the machine is heavily loaded, the first attempt may fail
+          because the server isn't ready yet.  We give the server some more
+          time and the retry. */
+        usleep(2000000);
+        if (connect(client_fd, (struct sockaddr *)&address, sizeof(address)) < 0)        {
+            perror("socket");
+            SOCKET_CLOSE(client_fd);
+            client_fd = -1;
+        }
     }
 
     return client_fd;
#
子供の寝かしつけですっかり出遅れた感があるのでまた後日調べます。しつこくfailし続けるです。
#
Testing rfc.tls ...                                              failed.
discrepancies found.  Errors are:
test ssltest: expects 0 => got 256
#
一応 10db485ca61e02e06a3ff0851ca1cff27958f5c0 です。VM全部サスペンドしても変わらないってのは何なんだろか...
2012/05/06 20:26:31 UTCshiro
#
あれー。ssltest.logの方は同じですか? ("could not start socket on 10092" が出てる?)
#
ああ、https://gist.github.com/2621007 に貼ってあるやつか。やっぱり同じですね。
2012/05/06 22:40:24 UTCshiro
#
うーむ、1376行目のusleepを2秒にしたら通って、こっちの変更では通らない、という謎がまだわからない。1376行目をusleep(2000000)にするとまた通ります? > maru
2012/05/06 23:01:17 UTC_enami@twitter
#
usleep にそんなに大きな値を渡したらエラーになっていませんか?少なくとも NetBSD の実装はエラーにします。
2012/05/06 23:23:14 UTCshiro
#
ああそうか。そっちの方の問題かも。この単位ならsleepでいいはずだなあ。それじゃclient_socket_init()の中のusleepをsleep(2)にしてみてください>maru