자신에 대한 고찰

지난번 nominal control에 대한 포스트 이후에, Pavel Christof로부터 메일을 받았었는데, 내용은 만약 Stochastic Gradient Descent를 Adam 으로 바꾼다면 Policy Gradient가 더 잘 동작한다는 것이었다. 실제로 내가 구현해보니까, 그가 말한 말이 맞았다. 한번 지난 Jupyter notebook과 함께 포스트 내용을 살펴보자. 우선 다른 딥러닝 패키지간의 dependency를 제거하기 위해서 adam을 순수 python으로 구현했다.( python으로 4줄로 구현했다.) 두번째로 지난번 코드에서 구현한 random search 부분에서 부적절하게 탐색방향을 잡는 것에 대한 버그를 수정했다. 이제 다시 median performance를 살펴보면 아래와..

나는 머신러닝으로 문제를 푸는데 있어 "Linearization Principle"이라고 부르는 기조를 유지한다. 이 원칙에는 많은 다양성들이 존재하지만, 간단하게 말하자면, "만얀 머신러닝 알고리즘이 실제 선형모델로 제한된 상태에서 예상치 못한 소위 미친 짓을 한다면, 복잡한 비선형 모델에서도 마찬가지로 미친 짓을 할 것이다"라는 것이다. 이 Linearization Principle은 머신러닝상에서의 복잡한 문제를 다루기 쉽고 간단한 문제로 분해시켜주고 해결할 간편한 방법을 제공한다. 물론 머신 러닝을 이해하는 있어 선형 모델을 활용한 문제가 충분하다고는 생각하지 않지만, 그래도 널리 활용할 수 있는 방법이라는 데에는 논의할 필요가 있다고 생각한다. 같은 방법으로 2-SAT 문제를 해결하는 것이 P=..