나름 경쟁이 치열했던 초등학교 때부터 따진다면, 매 학기 크고 작은 시험을 치면서 지내온 게 10년 가량이 된다. 정말 다양한 시험을 쳤었고 그것 때문에 힘들어했던 기억들이 많이 떠오른다. 이제 매 학기 이렇게 고생하는 것도 2, 3년정도면 끝난다는 게 우습기도 하다. 내일은 미국에 와서 치는 두 번째 시험- 벌써 몇십번째 치는 중간고사이지만 시험 전날의 초조함은 여전하다. 결과가 어떻게 나올 지 전혀 알 수 없기 때문에 불안불안하다. 꽤 오래 전부터 현재 나의 상태와 시험 결과는 독립이라고 생각했었다- 잘 알고 있는 것 같은데 완전 아래로 갔던 경우도 있었고, 잘 모르고 있는 것 같은데 예상 밖으로 좋은 결과가 나온 적도 있었다.
초조함에 대한 나의 반응은 간단하다. 시험공부보다 덜 귀찮은 다른 무언가를 찾아서 한다. 이를테면 이런거..
문제 : 현재 상태로는 결과가 어떻게 나올 지 전혀 알 수 없다고 가정할 때, 현재 상태와 시험결과가 독립임을 보여라
풀이 :
현재 상태를 X, 시혐 결과를 Y라고 하면 X가 주어졌을 때 X, Y의 mutual information이 0, 즉 I(Y;X)=0이므로,
∬p(x,y)log(p(x,y)/p(x)p(y))dxdy = 0
한편,
∬p(x,y)log(p(x,y)/p(x)p(y))dxdy = 1/ln(2)∬p(x,y)ln(p(x,y)/p(x)p(y))dxdy ≥ -1/ln(2)∬p(x,y)(p(x)p(y)/p(x,y)-1)dxdy
= -1/ln(2) (∫p(x)dx ∫p(y)dy - 1) = 0
이고 부등식의 등호가 성립하기 위해선 모든 x, y에 대해 p(x)p(y)/p(x,y)=1 이어야 한다. 즉 p(x,y)=p(x)p(y), 따라서 X와 Y는 독립.
