Encoding이란 말 그대로 정보를 특정 패턴과 mapping을 하는 과정이다. 이전 포스트에서도 이야기했다시피 정보는 거기에 포함된 불확실성을 줄이는데 의미가 있는 것이고, 이렇게 encoding과정을 거치게 되면 그런 목적을 어느정도 달성할 수 있다. 말이 조금 어려운 것일수도 있는데, 실제로 우리가 어떤 정보에 대한 규칙을 정의하고, 여기에 해당하는 정보가 들어왔을 때 그대로 해석하는 것으로 이해하면 좋을거 같다. 예를 들어서 사전에 A는 00, B는 01, C는 10, D는 11이라는 2bit information의 규칙이 정의되어 있다고 가정을 하자. 만약 ABBA라는 정보를 얻고 싶으면 어떤 입력이 들어와야 할까? 당연히 00 01 01 00 이라는 8bit information으로 전달하면..
이전 포스트에서 다뤘던 것처럼 Information을 전달하는데 있어서는 그만큼 적절한 정보량으로도 전달하는게 중요하다. 이게 잘못되면 원하는 정보를 정확히 전달할 수 없을 수도 있고, 혹은 너무 비효율적으로 전달할 수도 있는 것이다. 이런 걸 수치적으로 평가하는 척도를 Entropy라고 한다. 보통 Entropy라는 말자체는 이런 컴퓨터 용어보다는 화학쪽에서 엔트로피의 법칙이라고 하면서 많이 들어봤던거 같은데.. 아무튼 사전적인 정의는 다음과 같다. 간단히 요약하자면 주어진 정보의 평균량 정도가 되겠다. 지난번에 제시한 예시처럼 카드뽑기를 하는 경우에는 물론 카드 하나만 뽑는 케이스도 있겠지만, 혹은 여러개를 뽑는 조건도 있을 것이고, 그 하나하나를 뽑는 조건이 다 다를 수도 있다. 이 모든 것을 전에..
정보를 얻는다의 의미는 무엇일까?해석이야 다양하게 할 수 있겠지만 일반적으로는 각각의 가능성을 가진 사실 중에서 사용자에게 유용한 것을 뽑는 것이 정보를 얻는 것이다. 이 말은 즉, 아주 확정적인 사실(P=1)로부터 정보를 얻을 수도 있고, 혹은 사실이 아닌 것(P=0)으로부터 불확실한 정보를 얻어올 수 있다. 물론 이 경우는 정보라고 하기는 그럴 수도 있겠지만... 사전적으로 정보는 다음과 같이 정의되어 있다. 결과적으로는 어느정도의 불확실성을 해소하기 위해서 주고 받는 데이터를 의미한다. 예를 들어서 트럼프가 있다고 가정을 했는데 여기서 하나 뽑은 카드에 대한 Data로, " 그 카드는 하트모양을 띈다" 라는 것을 받았으면 어떨까? 그 카드는 하트 1일수도 있고, 하트 K일수도 있다. 이렇게 총 나열..
- Total
- Today
- Yesterday
- End-To-End
- 딥러닝
- 파이썬
- dynamic programming
- reward
- 한빛미디어
- 강화학습
- Kinect
- Kinect SDK
- Distribution
- Python
- Variance
- Kinect for windows
- Windows Phone 7
- Pipeline
- Offline RL
- RL
- Off-policy
- Gan
- TensorFlow Lite
- Expression Blend 4
- PowerPoint
- Policy Gradient
- processing
- ColorStream
- bias
- arduino
- windows 8
- DepthStream
- SketchFlow
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |