Gauche > Archives > 2009/06/16

2009/06/16 01:53:38 UTCえんどう
#
もともとDVDオーディオを聞きたくて購入>ヤマハ5.1chアンプ
#
http://www.amazon.co.jp/dp/B00005S7GM/
#
高騰している
#
アナログ5.1ch入力つきのアンプってヤマハぐらいしかないんだよね.
#
(むちゃくちゃ高いのならあるかも)
2009/06/16 02:05:56 UTCenami
#
on memory の ring buffer に debug print するという手もありますね。止まった時点、あるいはあるイベントを契機にlogを止めて調べる。例えば、netbsdのuvmhist (vm subsystem 用のlog機構).
2009/06/16 02:38:32 UTCshiro
#
なるほど。そういうのをひとつ作っておくと便利かも>on memoryのring buffer
#
そうえばdmesgもリングになってるよね、確か
2009/06/16 03:00:37 UTC(び)
#
リングバッファって便利なんだけど、どばっとログが吐かれるような状況になると、最初の方が消えてしまって困ることがあって、サイズに悩むんですよね
2009/06/16 03:01:46 UTCshiro
#
重要度とオーバヘッドのトレードオフですね。
2009/06/16 03:02:05 UTC(び)
#
リングバッファじゃないけど、multilogでログを書いてKahuaを運用していて、何かで落ちる→daemontoolsが再起動→kahua UNIXドメインソケットが残ってて起動に失敗→daemontoolsが起動→(以下無限ループ)となって
#
肝心の、最初に落ちた時のエラーログがexpireして消されてしまって悲しかったことがある
2009/06/16 03:02:39 UTCenami
#
kernel msgbufもリングですね。でもなぜかbsd系のdmesgには-c optionがない
2009/06/16 03:03:14 UTC(び)
#
-c って何ですか?
2009/06/16 03:03:38 UTCenami
#
msg bufferのクリア
2009/06/16 03:03:58 UTC(び)
#
使ったことなかった
2009/06/16 03:06:56 UTCenami
#
uvmhistは複数作れるから、粒度を変えて、とかもできるけど、でも実際にデバッグするときには、try & error の果てしない繰り返しになるから…
#
ちなみに、実際に記録しているのはfmt stringと引数五つか六つなので、static でない object の中まではあとからはしらべられない。>uvmhist
#
でもgcあれば…
2009/06/16 05:12:58 UTC(び)
#
questionnaireがあるのか...
#
enqueteってずっと使ってたけど、今後はこっちを使った方がいいのかなぁ
#
ちょっと文字数が多いか
2009/06/16 05:16:45 UTCshiro
#
enqueteは使われてるの見ないなあ。questionnaireはたまに使うと思うけど、質問紙とか質問項目のような具体的なものを指す。
#
日本語で「アンケートです」みたいに使うのに一番近いのはsurveyだと思う。
#
surveyそのものの意味は広いけど。
2009/06/16 05:22:38 UTC(び)
#
アンケート用紙、みたいな意味の時は、Questionnaireと書いておけばいいんでしょうか
#
surveyかぁ、なるほど
2009/06/16 05:23:24 UTCshiro
#
「明日までにアンケート用紙用意しといてね」みたいな時はquestionnaireでいい気がする。
#
「昨日もらったアンケート用紙どこやったっけ」とか。
#
あと、
#
「あのアンケートの項目だけどさー、偏ってるよね」とか、具体的に紙や項目が思い浮かぶ時。
2009/06/16 05:24:45 UTC(び)
#
なるほど
2009/06/16 05:24:54 UTCshiro
#
そこまで具体的じゃないなら全部surveyで大丈夫だと思う。
#
アンケート用紙に「○○についてのアンケート」みたいにタイトルを付す場合は"survey"だと思うな。
2009/06/16 05:26:42 UTC(び)
#
そういえば見たことあるかも
2009/06/16 05:46:51 UTCshiro
#
すげー、facebookのchatって10億メッセージ/日だって http://www.facebook.com/note.php?note_id=91351698919
#
Erlang使ってるらしい
2009/06/16 05:51:10 UTC(び)
#
ピークだと秒当たりどのくらいになるんだろう
2009/06/16 05:52:38 UTCshiro
#
均等に割ったって1万メッセージ/秒以上だからなあ
2009/06/16 06:24:29 UTC(び)
#
200台で分散処理して50msg/秒
#
でも、アベレージだからなぁ
#
ピークだとすごいことになりそう
#
分散のアルゴリズムをどうしてんのかなぁ、まさか均等にばらまいてるわけじゃあるまい...
2009/06/16 06:26:44 UTCshiro
#
Erlangってメッセージは必ず1 to 1なんだっけ?
#
Lindaみたいなモデルなら、複数consumerを待たせといてメッセージを投げたら暇な奴が掴むってできるけど
#
それはそれでそこんとこがボトルネックになりそうだな
2009/06/16 06:29:18 UTC(び)
#
宛先は1つだったと思うんですが、斜め読みで終わってるので違うのかも
2009/06/16 06:55:06 UTCえんどう
#
Android Marketで相場を調べようと思ったが、US or UK以外からは価格が表示されない orz
2009/06/16 06:56:10 UTC(び)
#
Programming Clojure出荷通知キター(from Amazon.co.jp)
#
売れるんだろうなぁ
#
局所的には(笑)
2009/06/16 07:43:45 UTC(び)
#
あれ、Gauche trunk、threadのテストがfailするな...(on NetBSD 5.0STABLE)
2009/06/16 07:44:16 UTCshiro
#
げ、たった今コミットしたやつかな
#
今っていうかさっきだけど。
2009/06/16 07:45:06 UTC(び)
#
r6686
#
Mac OS X 10.5.7は無問題
2009/06/16 07:45:33 UTCshiro
#
うん、6686
2009/06/16 07:45:36 UTC(び)
#
<basic thread API>-------------------------------------------------------------
test current-thread, expects #t ==> ok
test thread?, expects (#t #f) ==> ok
test make-thread, expects #t ==> ok
test thread-name, expects foo ==> ok
test thread-specific, expects "hello" ==> ok
test thread-start!, expects "hello" ==> ok
test thread-join!, expects 1346269 ==> ok
test thread-status, expects new ==> ok
test thread-status, expects runnable ==> ok
test thread-status, expects stopped ==> ok
test thread-status, expects runnable ==> ok
test thread-status, expects terminated ==> ERROR: GOT runnable
#
最後のやつがこけてる
2009/06/16 07:45:51 UTCshiro
#
あーなるほど。タイミングの問題かも。
2009/06/16 07:45:54 UTC(び)
#
単なるタイミングの問題かしら
#
かぶった
2009/06/16 07:46:30 UTCshiro
#
ちょっとテスト直すからまってて
2009/06/16 07:46:49 UTC(び)
#
らじゃ
2009/06/16 07:49:36 UTCshiro
#
これでどうだ。r6687
2009/06/16 07:54:45 UTC(び)
#
返ってこない...
#
Testing threads ===============================================================
testing bindings in #<module gauche.threads> ... ok
<basic thread API>-------------------------------------------------------------
test current-thread, expects #t ==> ok
test thread?, expects (#t #f) ==> ok
test make-thread, expects #t ==> ok
test thread-name, expects foo ==> ok
test thread-specific, expects "hello" ==> ok
test thread-start!, expects "hello" ==> ok
test thread-join!, expects 1346269 ==> ok
test thread-status, expects new ==> ok
test thread-status, expects runnable ==> ok
test thread-status, expects stopped ==> ok
test thread-status, expects stopped ==> ok
test thread-status, expects runnable ==> ok
test thread-status, expects terminated ==>
2009/06/16 07:55:07 UTCshiro
#
あれ、そもそもthread-terminate!がNetBSDでは効いてないのか?
2009/06/16 07:55:17 UTC(び)
#
エラーが起こってた場所でブロックしてる気がする
#
あれどうだろう
2009/06/16 07:56:11 UTCshiro
#
pthread_cancel呼んでるんだけどな
2009/06/16 07:57:21 UTC(び)
#
Kahuaの中でthread-terminate!を使っていたと思うので
#
たぶん機能してたと思うのだけど
#
自信がなくなってきた
2009/06/16 07:58:21 UTCshiro
#
もしくは、pthread_cancelは効いてるんだけどpthread_cleanupによる後始末がちゃんと動いてないとかかな
#
ext/threads/threads.cにstatic void thread_cleanup()って関数があるんだけど
#
その入り口近く (ScmObj excの宣言のあとくらい) にprintf仕込んだらどうなるかな。
2009/06/16 08:06:38 UTC(び)
#
呼ばれてはいますね
#
thread_cleanup()
2009/06/16 08:07:40 UTCshiro
#
あ、pthread_cancel()のあとに呼ばれてるってのは確か? 普通に終了した時もそこは通るんで…
2009/06/16 08:07:56 UTC(び)
#
ちょっと待って
2009/06/16 08:08:05 UTCshiro
#
vm->cancellerの値を表示してもらえばいいか。NULLでなければthread-terminate!経由
2009/06/16 08:10:19 UTC(び)
#
あれ、thread_cleanup()に入った直後のvm->cancellerでいいんですか?
2009/06/16 08:10:32 UTCshiro
#
はい。
#
thread-terminate!経由なら、thread-terminate!がそこをセットしてるはず
2009/06/16 08:11:05 UTC(び)
#
なるほど
#
Testing threads ...                                              Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 005c6c80
#
ちょいと長くて失礼
#
最後のを出力して止まってますね
2009/06/16 08:13:16 UTCshiro
#
あ、ちゃんとthread-terminate!でやってるなあ。
2009/06/16 08:13:23 UTC(び)
#
Scm_Printf(SCM_CURERR, "Info: thread_cleanup() called: vm->canceller: %08x\n", vm->canceller);
#
これを ScmObj exc; の直後に挿入しました
2009/06/16 08:15:27 UTCshiro
#
ちなみにそれをちょっと下の、pthread_mutex_unlock(&vm->vmlock)の下に置いても同じになる?
2009/06/16 08:15:57 UTC(び)
#
if ブロックの中のやつですか?
#
あ、違う勘違い
2009/06/16 08:16:18 UTCshiro
#
いえ、thread_cleanup()の最後ってことです。
2009/06/16 08:16:22 UTC(び)
#
最後のやつですね
#
試してみます。
2009/06/16 08:16:39 UTCshiro
#
念のため、cleanupは確実に済んでいるという確認
2009/06/16 08:18:22 UTC(び)
#
[前略]Info: thread_cleanup() exit: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() exit: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 00000000
Info: thread_cleanup() exit: vm->canceller: 00000000
Info: thread_cleanup() called: vm->canceller: 005c6c80
#
最後まで到達してないっぽい
2009/06/16 08:19:19 UTCshiro
#
Scm_MakeThreadExceptionあたりで妙なエラー投げちゃってるのかな
2009/06/16 08:20:07 UTC(び)
#
excの中身を表示してみる?
2009/06/16 08:20:51 UTCshiro
#
いや、とりあえずScm_MakeThreadExceptionの次の行にprintfして到達してるかどうか見るとか
2009/06/16 08:21:13 UTC(び)
#
ふむ
#
順繰りに追っていきますか
2009/06/16 08:23:43 UTCshiro
#
むー、Scm_MakeThreadExceptionの中にはエラーを投げる要素は無いなあ。
2009/06/16 08:25:08 UTC(び)
#
冒頭のpthread_mutex_lock()でブロックしている疑惑
#
あーでもこれって、Scm_Printf使ってるから?
#
Scm_Printfでブロックしちゃったとか
2009/06/16 08:26:22 UTCshiro
#
あっそうか。printfでやらないとわからないね。
2009/06/16 08:32:58 UTC(び)
#
fprintfで書き直してみましたが、やはり
#
if (pthread_mutex_lock(&vm->vmlock) == EDEADLK) {
        Scm_Panic("dead lock in vm_cleanup.");
    }
#
この直後には到達しないですね
2009/06/16 08:33:24 UTCshiro
#
ということは誰かがvmlockを掴んでるんだな
#
自分自身ではないから、thread-join!してるほうか? でもpthread_cond_waitでロックはリリースしてるはずだが…
#
ちょっと試しに、ext/threads/test.scmの方で、
#
(let1 t1 (make-thread (lambda () (while #t (sys-nanosleep #e5e8))))
  (test* "thread-status" 'new (thread-state t1))
  (thread-start! t1)
  (test* "thread-status" 'runnable (thread-state t1))
  (thread-stop! t1)
  (test* "thread-status" 'stopped (thread-state t1))
  (thread-stop! t1) ; duplicate stop test
  (test* "thread-status" 'stopped (thread-state t1))
  (thread-cont! t1)
  (test* "thread-status" 'runnable (thread-state t1))
  (thread-terminate! t1)
  (test* "thread-status" 'terminated 
         (guard (e [(<terminated-thread-exception> e)
                    (thread-state t1)])
           (thread-join! t1))))
#
ここの、最初の
#
thread-stop!からthread-cont!までをコメントアウトして実行するとどうなる?
2009/06/16 08:42:56 UTC(び)
#
(let1 t1 (make-thread (lambda () (while #t (sys-nanosleep #e5e8))))
  (test* "thread-status" 'new (thread-state t1))
  (thread-start! t1)
  (test* "thread-status" 'runnable (thread-state t1))
;  (thread-stop! t1)
;  (test* "thread-status" 'stopped (thread-state t1))
;  (thread-stop! t1) ; duplicate stop test
;  (test* "thread-status" 'stopped (thread-state t1))
;  (thread-cont! t1)
;  (test* "thread-status" 'runnable (thread-state t1))
  (thread-terminate! t1)
  (test* "thread-status" 'terminated 
         (guard (e [(<terminated-thread-exception> e)
                    (thread-state t1)])
           (thread-join! t1))))
#
これでやってみたんですが
#
[前略]
#
Info: thread_cleanup() -->: vm->canceller: 00000000
Info: thread_cleanup() #0: vm->canceller: 00000000
Info: thread_cleanup() #1: vm->canceller: 00000000
Info: thread_cleanup() #2: vm->canceller: 00000000
Info: thread_cleanup() <--: vm->canceller: 00000000
#
で、テストログは同じ
#
Testing threads ===============================================================
testing bindings in #<module gauche.threads> ... ok
<basic thread API>-------------------------------------------------------------
test current-thread, expects #t ==> ok
test thread?, expects (#t #f) ==> ok
test make-thread, expects #t ==> ok
test thread-name, expects foo ==> ok
test thread-specific, expects "hello" ==> ok
test thread-start!, expects "hello" ==> ok
test thread-join!, expects 1346269 ==> ok
test thread-status, expects new ==> ok
test thread-status, expects runnable ==> ok
test thread-status, expects terminated ==>
2009/06/16 08:44:22 UTCshiro
#
ふむ。いや、新しく追加したthread-stop!やthread-cont!が悪さしてないかどうかの確認。
#
どうやらthread-terminate!の方みたいだねもんだいは。
2009/06/16 08:45:08 UTC(び)
#
printfの出力具合が変わってるんですよ
#
コメントアウトしてない時は、
#
Info: thread_cleanup() -->: vm->canceller: 00000000
Info: thread_cleanup() #0: vm->canceller: 00000000
Info: thread_cleanup() #1: vm->canceller: 00000000
Info: thread_cleanup() #2: vm->canceller: 00000000
Info: thread_cleanup() <--: vm->canceller: 00000000
Info: thread_cleanup() -->: vm->canceller: 005c6c80
2009/06/16 08:46:35 UTCshiro
#
あれれ、ほんとだ。
#
うーむ、ちょっと本腰入れてみないとわからないかも。
2009/06/16 08:48:02 UTC(び)
#
どうしましょ
#
これ、わたしの自宅サーバなんですが
#
何だったらアカウント作りますけど
2009/06/16 08:48:24 UTCshiro
#
こっちでVMWareにNetBSD入れるのがいいかな
#
ちょっと環境整えるのに時間かかるけど
2009/06/16 08:49:34 UTC(び)
#
nene.kahua.org(www.kahua.org)にある公開鍵を置いておけばいいですか?
2009/06/16 08:49:50 UTCshiro
#
あ、はい、入れるようにしてもらえるなら。
#
メールください。IPとか
2009/06/16 08:51:05 UTC(び)
#
了解です
#
シェルはbashでいいですか?
2009/06/16 08:51:43 UTCshiro
#
はい。
2009/06/16 09:12:39 UTC(び)
#
メールしました
2009/06/16 09:15:51 UTCshiro
#
mahalo
2009/06/16 10:11:08 UTCenami
#
上のテストで、thread-cont!の後に自分がthread-sleep!を呼んでtargetに起きる機会を与える、sys-nanosleepの後に(sys-close -1)を呼ぶ、と先に進みますね。netbsdのbugかなあ?
#
nanosleepちゃんとcancelation pointになってないのかしらん。
#
(というところで、時間切れ。afk)
2009/06/16 10:13:17 UTCshiro
#
いや、cancelationの問題かとも思ったんだけれど、thread_cleanupが呼ばれてるのでpthread_cancelはちゃんと届いてるんじゃないかと。
2009/06/16 10:25:03 UTCshiro
#
あれ、netbsdのgdbってスレッドデバッグどうやるんだろ
#
$ gdb --version
GNU gdb 6.5
#
複数スレッド走ってるはずなのにinfo threadsで何も出てこない
2009/06/16 10:32:39 UTCshiro
#
うーむ。join側でpthread_cond()でmutexを開放してるのに、cleanup側のpthread_mutex_lockでブロックするなあ。なぜだ?
2009/06/16 10:46:34 UTC(び)
#
ひょっとすると、最新のnetbsd-5枝先端じゃないからなのかもしれない(つまりNetBSDのバグ含み)
#
ビルドはしてあるんだけど、まだインストール/再起動はしてない
2009/06/16 11:07:06 UTCshiro
#
うーむ。でもenamiさんも再現できてるもたいだしな
#
s/もたい/みたい/
#
netbsdのバグとしても、かなり特殊な条件で出るものじゃないかな。でないと既に問題になってるでしょう。
2009/06/16 11:25:02 UTCshiro
#
とりあえず小手先の調査ではわからない、というところまでわかりました。
2009/06/16 11:58:15 UTCshiro
#
お、確率は低いがLinuxでも再現するぞ。
2009/06/16 12:19:10 UTCshiro
#
だめだ再現確率が低すぎる。
#
少し寝かせてみよう。なんか思いつくかもしれぬ。
2009/06/16 12:31:58 UTC(び)
#
ostrich(自宅サーバ)に残っているshiroさん権限のgoshプロセスは殺しちゃってもいいですか?
2009/06/16 12:32:14 UTCshiro
#
あ、ごめんなさい。残ってました?
2009/06/16 12:32:18 UTC(び)
#
OSをアップデートします(再起動も)
2009/06/16 12:32:22 UTCshiro
#
はい、killしちゃってください。
2009/06/16 12:32:27 UTC(び)
#
2つ残ってますので
#
了解です。
#
make world開始
2009/06/16 14:00:01 UTCiriyak
#
こんばんわ。(び) さんと類似する件か分からないのですが FreeBSD 5.4 上で 0.8.14 で test lock and unlock - blocking (simple spin-lock) の出力をずっと待ち続けているようです。0.8.13 でも起きました。今はこのテスト項目をコメントアウトしてそのほかの試験項目をパスしたのを確認して make install して運用しています。
#
(threads つながりで思いついたから書いたまでなのですが、100% 再現しますのでお役に立てることがありましたら何なりとお知らせくださいませ)
2009/06/16 14:02:04 UTCenami
#
self->pt_sleepobj = cond;
        pthread__spinunlock(self, &cond->ptc_lock);

        do {
                self->pt_willpark = 1;
                pthread_mutex_unlock(mutex);
                self->pt_willpark = 0;
                self->pt_blocking++;
                retval = _lwp_park(abstime, self->pt_unpark,
                    __UNVOLATILE(&mutex->ptm_waiters),
                    __UNVOLATILE(&mutex->ptm_waiters));
                self->pt_unpark = 0;
                self->pt_blocking--;
                membar_sync();
                pthread_mutex_lock(mutex);

                /*
                 * If we have cancelled then exit.  POSIX dictates that
                 * the mutex must be held when we action the cancellation.
                 *
                 * If we absorbed a pthread_cond_signal() and cannot take
                 * the wakeup, we must ensure that another thread does.
                 *
                 * If awoke early, we may still be on the sleep queue and
                 * must remove ourself.
                 */
                if (__predict_false(retval != 0)) {
                        switch (errno) {
                        case EINTR:
                        case EALREADY:
                                retval = 0;
                                break;
                        default:
                                retval = errno;
                                break;
                        }
                }
                if (__predict_false(self->pt_cancel | retval)) {
                        pthread_cond_signal(cond);
                        if (self->pt_cancel) {
                                pthread__cancelled();
                        }
                        break;
                }
        } while (self->pt_sleepobj != NULL);

        return retval;
}
#
netbsd-5 の pthread_cond_timedwait() の後半ですが、pthread__cancelled()が最終的にcleanupを呼ぶので、
#
そこでmutexをロックしたらdeadlockしますかね。
#
pthread__cancelled()のほかの呼び出しではそんなロックはしていないので、ここでもunlockすべきだと思います。
#
あと、nanosleep()ですが、pthread_cancelstub.c rev.1.3まではこのファイルにあってcancelされたかどうかテストしていんですが、1.4にoptimizeしたときに忘れられてそのままっぽいです。
2009/06/16 14:25:32 UTCenami
#
EDEADKにならないのはなんでかな、というのはちょっと疑問
2009/06/16 14:32:06 UTCkiyoka
#
先日、kahuaのログが2GByteに達したところで、リクエストにうんともすんとも言わなくなる問題に遭遇しました。
#
プラットフォームは、
#
[bash.genkan.]$ uname -a
Linux genkan.sumibi.org 2.6.8-2-k7 #1 Tue Aug 16 14:00:15 UTC 2005 i686 GNU/Linux
#
です。
2009/06/16 14:35:59 UTCiriyak
#
私のプラットフォーム情報もお知らせしまーす。
#
zebra[Tue]$ uname -a
FreeBSD zebra.adam.ne.jp 5.4-RELEASE-p4 FreeBSD 5.4-RELEASE-p4 #0: Wed Jul 20 15:29:36 JST 2005
2009/06/16 14:45:07 UTCkiyoka
#
kahuaのバージョンは、Kahua-1.0.7.1です。
#
最近のバージョンではなおっているのかな。
#
OldTypeの場合でも1年くらいで2GByte行ったみたいなので、もっとアクセスされるサイトだと寿命は短いかもしれません。
2009/06/16 15:08:58 UTC(び)
#
ファイルシステムはext3ですか? >kiyoka
#
たぶん最新のstable(1.0.7.3)でも変わらないはずです
#
ext3の1ファイルサイズの上限って、ext2の頃と変わらんのかしら
#
いずれにしても、ログライターがエラーを返した時のチェックはしてないと記憶しているので
#
そこで死んでいる可能性が高いかなぁ
#
ちなみにわたしが運用しているサイトのKahuaは、普通のログはnewsyslogで、stderrへの出力はmultilogでローテートしているので遭遇する機会がなかったと思われます
2009/06/16 15:13:11 UTCkiyoka
#
ファイルシステムは ext2 ですね。
2009/06/16 15:13:26 UTC(び)
#
そうすると1ファイルのサイズ上限は2GBですね
2009/06/16 15:13:37 UTCkiyoka
#
ちゃんとログローテートしとけということですね。(笑)
2009/06/16 15:14:11 UTC(び)
#
まぁそうなんだけど、それならそれで派手に悲鳴を上げて死んでくれた方がまだ状況が把握しやすいかなぁ、と
2009/06/16 15:14:18 UTCkiyoka
#
なるほど。
2009/06/16 15:14:26 UTC(び)
#
だんまりになるのはよろしくないので
#
ディスクフルでも同じ現象が起きるな、きっと
2009/06/16 15:14:47 UTCkiyoka
#
そうですね。だんまりになるので、原因を見つけるまでなかなか時間がかかりました。
2009/06/16 15:15:28 UTC(び)
#
でもなぁ、stderrに悲鳴を吐くとしても、そいつをmultilogでディスクに書いてたらディスクフルには対応できない
2009/06/16 15:15:30 UTCkiyoka
#
Apacheとかどうなるんだろ。
#
syslogdとか。
2009/06/16 15:16:13 UTC(び)
#
syslogdは死んでくれそうな気がする
2009/06/16 15:16:22 UTCkiyoka
#
apacheとかは多分Disk fullとかでも、無視してリクエストは処理するんでしょうね。
2009/06/16 15:17:21 UTC(び)
#
うん
#
ログライターのエラーは警告だけ出して処理を続行するのが正しいかな
2009/06/16 15:18:04 UTCkiyoka
#
Kahuaとかは1つのサーバマシンで複数立ち上げるので、ログローテション設定するのとかめんどくさいんですよね。
2009/06/16 15:18:24 UTC(び)
#
自前でやった方がいい?
#
でも、重くなるのがいやなんだよなぁ
2009/06/16 15:18:44 UTCkiyoka
#
そんなにアクセスないんだったら、syslogに飛ばす設定でもいいかも。個人サイトレベルだったら。
2009/06/16 15:19:00 UTC(び)
#
なるほど
2009/06/16 15:19:04 UTCkiyoka
#
自前でやるのは、あまり好きではないです。
2009/06/16 15:19:17 UTC(び)
#
私も好きじゃないです
2009/06/16 15:19:21 UTCkiyoka
#
log4jとか。
#
Javaはなんでも自前でやりすぎ。
#
あんまり好きではないです。
2009/06/16 15:19:45 UTC(び)
#
Lispも本来はそういう文化ですが(笑)
2009/06/16 15:19:53 UTCkiyoka
#
まあまあまあ。
#
Emacs大好き(笑)
2009/06/16 15:21:16 UTC(び)
#
Kahuaのサイトバンドルごとにログローテートの設定を手で行うのは、確かに馬鹿っぽい
2009/06/16 15:21:16 UTCkiyoka
#
昔、携帯アプリサイトの仕事をやったとき、pound(ロードバランサ)の設定で、ログの送出先をsyslogにしていたんですよ。
2009/06/16 15:21:26 UTC(び)
#
うは
#
取りこぼしそうだなぁ
2009/06/16 15:21:37 UTCkiyoka
#
大量にアクセスが来て...
2009/06/16 15:21:38 UTC(び)
#
UDPで飛ばしてると
#
負荷もでかいし
2009/06/16 15:21:51 UTCkiyoka
#
問題は取りこぼしではなくてですね。
#
LinuxのUDPのバッファが64Kとかしかないみて
#
みたいで。
2009/06/16 15:23:01 UTC(び)
#
なるほど
2009/06/16 15:23:04 UTCkiyoka
#
Webサーバの不可分散してたのに、poundでボトルネックになるという、ポカをやったことがあります。
2009/06/16 15:23:44 UTC(び)
#
高負荷環境ではsyslogdは使わないのが定石ですね
2009/06/16 15:24:03 UTCkiyoka
#
それまでUDPで送っ
2009/06/16 15:24:16 UTC(び)
#
各マシンでログを書くならmultilog、集約するならsocklogかなぁ
2009/06/16 15:24:29 UTCkiyoka
#
送っておけば無尽蔵にsyslogdが書いてくれると思っていたのでした。
#
最近はsyslogもtcp接続できるものも多いんですよね。
2009/06/16 15:25:07 UTC(び)
#
ありますね
#
そういうオプション
#
使ったことないけど
2009/06/16 15:25:29 UTCkiyoka
#
それなら多分、UDPバッファ問題は起きなさそうですが...
2009/06/16 15:26:07 UTC(び)
#
ログ書きマシンに一番強力なマシンをあてがうハメに(笑)
2009/06/16 15:26:21 UTCkiyoka
#
UDPはパケットロスを心配する人がいますが、LANだとそんなに心配しなくてもいいんじゃないかと思いますけど。
2009/06/16 15:26:58 UTC(び)
#
LANでもWANでも、受け取る側の負荷が高ければ取りこぼしますよ
2009/06/16 15:27:44 UTCkiyoka
#
あーそうか。ブロッキングになるのはlocalhostの場合だけか...
#
そういうことだったのかな。今poundの問題を理解した。
2009/06/16 15:28:56 UTC(び)
#
だから、大量のログを集中管理する場合、ログを集約するマシンがクリティカルポイントになることがあるわけです
2009/06/16 15:29:06 UTCkiyoka
#
なるほど。
2009/06/16 15:29:44 UTC(び)
#
わたしは割とそれがいやで、各マシンにログを吐いて、定時処理でどこかに集約するとかって仕組みにすることが多かったです
2009/06/16 15:30:19 UTCkiyoka
#
ログって難しいですね。とくにパフォーマンス計測用ログとか。元の処理に影響を与えてしまう。
2009/06/16 15:30:32 UTC(び)
#
そうなんですよね
#
ロギングそのものがI/Oという重い処理をともなうので
#
観測対象に与える影響が無視できなくて
#
ちゃんと考え始めるとけっこう難しい
#
最近はあんまり考えないですけど(ぉぃ)
2009/06/16 15:32:37 UTCkiyoka
#
そうですね。バグが出てからとかパフォーマンス問題が出てから、やっと本気で考え始める。
#
SSDとかだと書き込み負荷が軽減できたりするんでしょうかね。
2009/06/16 15:33:50 UTC(び)
#
ちゃんと調べてないんですが、SSDって「一瞬固まる」問題があるらしいので
2009/06/16 15:34:01 UTCkiyoka
#
SSD上にリングバッファ的に直近1日分くらい出力しておいて、夜間だけDISKに出すとか。
2009/06/16 15:34:07 UTC(び)
#
用途によってはそれがマズい場合もあるかなぁ
2009/06/16 15:34:13 UTCkiyoka
#
やっぱりそうなんですか。
#
じゃあやっぱりでかいRAMですか。
#
TokyoCabinetとTokyoTridentだったっけ。
2009/06/16 15:34:56 UTC(び)
#
それならRAMディスクに書いて定期的にディスクに吐くとかでもいいかも
2009/06/16 15:35:01 UTCkiyoka
#
そんな組み合わせですか。あまり詳しくないですけど。
2009/06/16 15:35:18 UTC(び)
#
TokyoCabinetってdbmだよね?
2009/06/16 15:35:19 UTCkiyoka
#
そうですね。
2009/06/16 15:35:25 UTC(び)
#
qdbmの後継
#
さすがに追記一辺倒の用途だったらプレーンテキストでぶつ切りにした方がよさげ
#
TokyoTridentは知らないや
2009/06/16 15:36:54 UTCkiyoka
#
TokyoTylantだった。
2009/06/16 15:37:25 UTC(び)
#
tyrant?
#
暴君
2009/06/16 15:37:59 UTCkiyoka
#
TokyoTyrantか
2009/06/16 15:38:08 UTC(び)
#
凶暴そうだ(笑)
2009/06/16 15:38:23 UTCkiyoka
#
暴君ハバネロみたい。
#
ネタで東京暴君というDBサーバ作って暴君ハバネロのパッケージみたいなトップページにするとよい。
#
エイプリルフールネタですね。これ。
2009/06/16 15:42:02 UTC(び)
#
眠い... さすがに限界
#
おやすみなさい
2009/06/16 15:42:30 UTCkiyoka
#
おやすみなさい。
2009/06/16 22:16:12 UTCenami
#
PTHREAD_MUTEX_NORMALだったらEDEADLKにはならないか。
2009/06/16 22:48:45 UTCenami
#
NetBSDでの動作は、NetBSDのbug二つで説明つきそう
2009/06/16 22:49:26 UTCshiro
#
ふーむ。これはpthread_cond_waitにcancellationが絡むというケースだから?
2009/06/16 22:49:57 UTCenami
#
さらにcleanupが絡んででるbugですね
2009/06/16 22:50:26 UTCshiro
#
cancellationがなければ、thread.cのmutexとcondition variableの使い方は教科書的であってまだバグが残ってるとは考えにくいので
#
ああなるほど。cleanupもか。
2009/06/16 22:54:39 UTCenami
#
pthread_cond_waitの中でcancelされたとき、渡されたmutexをlockしたままcleanup handler呼んじゃってます(bug-1)
#
(thread-cont!の後にthread-sleep!するなどして)pthread_cond_waitの外でcancelされると、nanosleepが正しくcancelation pointになっていないので、cancelできない(but-2)
2009/06/16 22:59:30 UTCshiro
#
(1) bug-1は、cancellation typeがDEFERREDでも出ますか? async cancelaltionはもともと危険な操作なので推奨されてない(からバグも見つかってなかった)のかも。
#
(2) bug-2は、async cancellationでもcancelできないってことですか。
2009/06/16 23:04:54 UTCenami
#
(2)はyes, (1)はsource読まないとわからないけど、ちょっとafkするので、後で。