[Data] Fixed Length Encoding

지난번 포스트에서 Encoding에 대해서 소개를 했었다. 소개한 내용중에 아주 간단히 나온 내용이 Fixed Length Encoding 이라는 것인데 이걸 조금더 다뤄보고자 한다.

그때도 언급했던 것처럼 정보를 표현하는데 있어서 표현량의 크기가 정해진 케이스가 Fixed length encoding인데, 보통 정보가 고르게 분산된 경우, 즉 모든 케이스가 동일하게 나오는 경우에는 주로 쓰는 기법이다.(Equally Likely) 지난번에 만약 이 length가 entropy보다 작은 경우에 정보의 손실이 발생할 수도 있다고 했었는데, 기본적으로는 Entropy 값이 넘는 걸로 length를 정하게 된다. 

이와 같이 ABCD를 표현하는데 있어서도 A,B, C, D가는 나오는 확률이 동일하기 때문에 fixed length encoding을 적용해서 표현한다. 그런데 컴퓨터쪽을 공부해본 사람은 알겠지만 이 경우의 표현이 모두 0, 1 이진법의 형식으로 정의된다. 그래서 굳이 entropy 공식을 쓰지 않더라도 fixed length encoding에 필요한 표현량을 구하는데는 단순히 log2의 정보량으로만으로 계산할 수 있다. 예를 들어서 BCD(binary-Coded Decimal) 표현법으로 0에서 9까지의 값을 표현하는데 필요한 표현량은 log2(10)이 되고, ASCII코드로 단순한 문자를 표현하는데 필요한 량은 log2(94)가 된다. 그런데 이 값들을 계산해보면 소수점으로 나오게 되는데, 이전에도 말했던 것처럼 정보가 손실되지 않게 하기 위해서 length를 크게 해버리는게 대부분이므로 약간 효율성 측면에서 문제가 발생하곤 한다. 

출처 : 6.004.1x Computation Structures - Part 1: Digital Circuits