자신에 대한 고찰

(해당 포스트에서 소개하고 있는 "제대로 배우는 수학적 최적화" 책은 한빛미디어로부터 제공받았음을 알려드립니다.) 제대로 배우는 수학적 최적화 국내 유일의 수학적 최적화 기본 지식을 안내하는 입문서 hanbit.co.kr 아마 중학교 때부터 사람들이 방정식이라는 것을 접하고, 수학이라는 게 참 어려운 것이 답, 혹은 해를 찾는 것이라는 것을 깨닫는다. 물론 이차방정식, 삼차방정식은 해를 풀 수 있는 기법들이 제공되어 쉽게 풀 수 있다고는 하지만, 이런 식들을 다른 식들과 연계되면 그 해를 구하는 과정이 조금 더 복잡해진다. 재미있는 것은 대학교를 졸업하고, 취업을 해도 이 해를 구하는 과정은 계속된다는 것이다. 오히려 학생때 접했던 것처럼 명확한 수학 공식이 아니라, 글로 표현된 현상을 이해하고, 이에 ..

보통 딥러닝에서 Model의 size를 줄이거나 동작 속도를 향상시키기 위해서 수행하는 Optimization 기법으로 크게 3가지 방법을 드는데, accuracy 측면에서 약간 손해보면서 Model Size를 줄이는 Quantization, training시 필요한 metadata나 Operation을 안쓰게끔 하는 Freezing, 그리고 Layer의 복잡성을 줄이기 위해서 여러 Operation을 하나의 Operation으로 바꾸는 Fusion 등이 있다. Quantization Quantization은 Model을 구성하는 weight이나 bias들이 과연 몇 bit으로 표현하느냐와 연관된 내용이다. 물론 정확성 측면에서는 각 weight와 bias들이 소수점 자리까지 정확히 update하고 계산..

이전 포스트에서도 계속 언급했다시피, 딥러닝 모델을 모바일이나 임베디드 환경에서 그대로 돌리기 어려운 이유는 일반 PC와 달리 메모리나 성능, 저장공간 등의 제한이 있기 때문이다. 이 때문에 해당 모델을 어떻게 최적화(Optimization)하느냐가 임베디드 환경상에서도 최적의 성능을 낼지 여부를 결정하는 요소가 된다. Tensorflow Lite도 결국은 Model deploy시 이 최적화를 해주는 기능이 포함되어 있는 것인데, 이 때 Quantization이 적용된다.치ㅑ Quantization은 간단히 말해서 Neural Network의 내부 구성이나 표현되는 형식을 줄이는 과정을 말한다. 예를 들어서 현재 구성된 Neural Network의 weight이나 activation output이 32b..

보통 Deep Learning을 생각하면, 엄청 복잡한 모델, 예를 들면 Image Classification을 할 때 CNN으로 구성한다던지, 뭔가 예측을 할때 LSTM같은 특정 기능을 하는 모델을 생각할 것이다. 이런 것들을 실제 폰이나 전자 제품에 올라가있는 Microcontroller 같은데에서도 동작할까? 기본적으로 Deep Learning 모델을 학습시키는 PC를 생각하면, 일반적으로 x86 cpu를 쓰고 별도로 GPU같은 가속기를 달기도 하며, 모델을 읽어오거나 저장할 공간이 충분하고, Windows나 Linux같은 OS가 올라가 있겠지만, 폰에는 ARM cpu가 들어있고, PC에 비해서는 상대적으로 저성능이고, 심지어 Microcontroller에는 OS도 없는 환경이 대부분일 것이다. 이..