#でもエントロピーの数ビットって結構大きいんじゃないですかね? たとえばランチに本当はカツ丼を食べたのにカレーライスを食べましたと言ったところで、1 ビットも寄与しないですよね。
#あれ、そんなことないかな。
#たとえばぼくがすでに日本語を母語として男で都内に住んで働いているということが既に分かっている時、同じように都内の日本語話者の男性全体で何パーセントの人がカツ丼やカレーライスを食べたかが分かればエントロピーが計算できるかな。いやでもネットユーザの全員がランチの記録を公にしている訳ではないから、もうちょっと複雑かな?
#不完全情報と不完全情報の突合せだからどう計算したらいいかわからないけれど、「×月×日のランチに都内でカツ丼を食べた男性」というのがわかって、さらにPOSデータとかから一部の店舗について同日にカツ丼を食べた人の割合が得られると、何らかの条件付き確率は出せそうな気がします。極めて不明確だから情報量としてごくわずかだろうけれど、他に判明している情報と突き合わせてゆけば「塵も積もれば山」になる可能性はある、って議論じゃないかな。そこで、「実はカツ丼は嘘かもしれない」となると、塵を積み上げた山を大きく崩す効果があるっていうことかなと思いました。