[DL] Figure KL Divergence

그림 1. p와 q간의 density 차이를 contour로 뿌림

그림 2.역으로 p와 q_rev간의 분포를 출력한 그림

KL Divergence는 distribution간의 차이를 표현해주는 information? 0에 가까우면, 그만큼 두 distribution의 차이는 거의 없다. KL Divergence는 항상 양수의 값을 가지며, 역에 대한 식은 같지 않다.

위의 그림은 true distribution(p)이 있을 때, 임의의 distribution(q)이 잘 쫓아가는지를 확인하려고 변화하는 경향을 animation으로 표현한 것이다. 구현코드는 참고!