KL Divergence는 distribution간의 차이를 표현해주는 information? 0에 가까우면, 그만큼 두 distribution의 차이는 거의 없다. KL Divergence는 항상 양수의 값을 가지며, 역에 대한 식은 같지 않다. 위의 그림은 true distribution(p)이 있을 때, 임의의 distribution(q)이 잘 쫓아가는지를 확인하려고 변화하는 경향을 animation으로 표현한 것이다. 구현코드는 참고!
coral dev board에서 수행한 Semantic Segmentation. Pascal VOC 2012에서 pretrain된 모델을 활용해서 inference해봤다. inference는 대략 2~3초 정도 소요된거 같다. 사실 이걸 원하는게 아니라 내가 가진 데이터셋으로 다시 학습을 시켜서 그 데이터셋에 대한 레이블링을 딸 수 있어야 할 것 같은데.. 문제는 구글에서 재학습을 위한 코드를 공개하지 않았다. 좀 많이 찾아봐야할 듯..
아는 사람이 있을지는 모르겠지만, 구글에서 experiments with google 이란 프로젝트를 통해서 상업화하기는 어렵지만, 뭔가 신기한 프로젝트를 진행하는 게 있다. 최근에는 제목과 같이 TF Microcontroller Challenge라는 대회를 개최하고 있다. The TensorFlow Microcontroller Challenge - Experiments with Google Since 2009, coders have created thousands of amazing experiments using Chrome, Android, AI, WebVR, AR and more. We're showcasing projects here, along with helpful tools and reso..
요새 듣고 있는 강의 중 하나가 MIT에서 강의하는 "Machine Learning for Healthcare"라는 것인데, 이 강의에서는 다양한 의학데이터(텍스트, 영상 등)을 활용해서 머신러닝/딥러닝 모델을 만드는 것을 다루고 있다. 단순히 모델을 만드는 코딩 스킬보다도 의학 데이터에 내재된 어려움과 이를 해결하기 위한 전처리 기법, 생각해볼만한 통계적 기법 등을 다루고 있어서, 재미있게 듣고 있다. 사실 의학쪽으로 domain expert가 아닌 이상에야 해당 데이터를 다룰 일은 없겠지만, 내가 잘 알지 못하는 분야에서 어떻게 활용되는지를 배우고 나면, 또다른 새로운 분야에 접목시킬 때는 어떻게 고민해봐야 할지 감이 올 것 같아서 듣는 이유가 있다. Machine Learning for Health..
아마 강화학습을 공부하는 사람이라면 Introduction to Reinforcement Learning이란 책은 거의 다 접해봤을 것이다. (무료로 제공되기도 하고, 참고로 번역본도 있어서 워낙 읽기가 쉬워졌다.) 사실 요새 유행하는 심층 강화학습을 이해하기 위해서는 기본적인 강화학습 이론에 대한 이해가 선행되어야 하고, 그 관점에서 보면 해당 책은 이론의 전개나 증명이 자세하게 다뤄진 거의 유일한 강화학습 책이 아닐까 싶다. 그런데 그렇다고 뭔가 강화학습 이론을 실제로 적용해보고자 하는 사람은 이 책에서 언급된 SARSA나 Q-learning 이론을 구현해볼려고 딱 보면 난감하게 느낄 수 있다. 그도 그럴 것이 이 책은 프로그래밍 책이 아닌 엄연한 강화학습 이론서이기 때문에 자세한 알고리즘은 pseu..
MIT openlearninglibrary에서 perceptron 관련 좋은 내용이 있어 공유해본다. 참고로 이전에도 한번 perceptron 관련 내용을 다룬 적이 있다. [Machine Learning] Perceptron Learning Algorithm (PLA) *잘못된 내용을 전달할 수도 있으므로 참고하시기 바랍니다. 가령 대출을 심사하는 은행원이라고 가정을 해보자. 이때 최종 목적은 돈을 잘 갚을 거 같은 사람한테 돈을 빌려주고, 그에 대한 이 talkingaboutme.tistory.com Linear separability \(x\)와 \(y\)로 이뤄진 어떤 dataset \(\mathcal{D}_n\)이 있는 상태에서 해당 dataset 전부를 통틀어 아래의 수식을 만족하는 param..
이전에 Linux에서 mujoco-py를 돌릴 때 발생할 수 있는 그래픽 라이브러리 관련 오류를 해결하는 방법에 대해서 공유한 적이 있다. 사실 그것도 그러려니와 Linux에서 할 수 있는게 많아, 집에서도 Windows 10이랑 Linux랑 듀얼부팅으로 설치해서 사용하고 있다. 그런데 아무래도 Windows 10에서 Linux로 넘어가려면 재부팅도 해야되고, 신경쓸게 많아져 Windows 10에서 할 수 있는 방법이 있지 않을까 찾아보다가, 마침 이와 관련된 글이 있어서 직접해보고 공유해보고자 한다. Install OpenAI Gym with Box2D and Mujoco in Windows 10 How to install OpenAI Gym[all] with Box2D v2.3.1 and Mujoco..
(해당 포스트는 Coursera의 Prediction and Control with Function Approximation의 강의 요약본입니다) - 관련된 책 내용 : 9.4 - Linear Methods : 9.5.3 - Coarse Coding : 9.5.4 - Tile Coding : 9.7 - Non-linear Function Approximation : ANN 이전 포스트에서 설명한 Linear Function Approximation은 일반적으로 표로 표현된 value function을 어느 유사한 function으로 근사함으로써 효율성을 가져오자는 취지에서 나온 것이고, 보통 이 function을 조절하는데 weight vector \(\mathbb{w}\)를 사용한다. 그래서 이에 대한..
linux상에서 매번 apt을 통해서 upgrade를 수행했었는데, 어느 순간부터 한글이 깨지는 현상이 나타났다. 이상하게 VS code가 아닌 다른 환경에서는 한글입력이 문제없이 잘되었다. 이와 관련해서 검색한 결과로는 Text Editor의 Font Family 중에서 "Droid Sans Fallback" 라는 것을 빼라는 내용이 많이 나왔다. 그런데 나같은 경우에는 오히려 빼니까 VS Code에 내장된 terminal의 폰트가 깨지기 시작했다. 이때문에 앞에서 말한 "Droid Sans Fallback" Font를 뭔가로 대체해야 하는데, "DejaVu Sans Mono" 로 대체했다. 인터넷에 소개된 대부분의 해결책이 해당 폰트를 제거하라고만 되어 있는데, 그걸로 해결안된 상황이라면 다른 폰트로..
회사에서 실험을 하다보니까, terminal로 출력되는 결과를 계속 확인해야 하는 경우가 생겼다. 물론 항상은 아니지만, 가끔씩이라도 확인하면서 정상적으로 동작하고 있는지 여부를 확인하고자 했다. 보통 이때 많이 사용하는게 screen이라는 것이다. screen은 일종의 terminal multiplexer로 일종의 가상 터미널과 같은 것이다. 보통 원격으로든 로컬로든 한 터미널에 한 유저만 할당받아서 사용하는 형식으로 되어 있다. 그래서 일반적으로는 터미널이 종료될때 유저도 로그아웃이 되는 것으로 간주되어 해당 유저가 실행한 프로세스나 어플리케이션도 동시에 종료된다. 물론 이런 것을 막기 위해서 & 연산자를 사용해서 background로 process가 돌게 할 수도 있겠지만 이때도 앞에서 말했던 것처..
Probability mass functions Make a PMF Plot a PMF Cumulative distribution functions Make a CDF Compute IQR Plot a CDF Comparing distribution Extract education levels Plot income CDFs Modeling distributions Distribution of income Comparing CDFs Probability mass functions import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from empiricaldist import Pmf, Cdf ..
Categorical Plot Types¶ In [1]: import pandas as pd import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline stripplot() and swarmplot()¶ In [2]: df = pd.read_csv('./dataset/schoolimprovement2010grants.csv') In [3]: sns.stripplot(data=df, x='Award_Amount', y='Model Selected', jitter=True) Out[3]: In [4]: # Create and display a swarmplot with hue set to the..
1. The most Nobel of Prizes¶ The Nobel Prize is perhaps the world's most well known scientific award. Except for the honor, prestige and substantial prize money the recipient also gets a gold medal showing Alfred Nobel (1833 - 1896) who established the prize. Every year it's given to scientists and scholars in the categories chemistry, literature, physics, physiology or medicine, economics, and ..
보통 딥러닝에서 Model의 size를 줄이거나 동작 속도를 향상시키기 위해서 수행하는 Optimization 기법으로 크게 3가지 방법을 드는데, accuracy 측면에서 약간 손해보면서 Model Size를 줄이는 Quantization, training시 필요한 metadata나 Operation을 안쓰게끔 하는 Freezing, 그리고 Layer의 복잡성을 줄이기 위해서 여러 Operation을 하나의 Operation으로 바꾸는 Fusion 등이 있다. Quantization Quantization은 Model을 구성하는 weight이나 bias들이 과연 몇 bit으로 표현하느냐와 연관된 내용이다. 물론 정확성 측면에서는 각 weight와 bias들이 소수점 자리까지 정확히 update하고 계산..
개인 기록 유지 차원에서 정리해봄 Slack은 협업하는 Task내에서 의사소통으로 많이 쓰이는 수단이다. 단순히 유저별 message만 주고 받을 수 있는게 아니라, file upload같은 것도 되고, 더 좋은 것은 Custom Application을 channel내에 설치함으로써 업무내에서 확장할 수 있는 영역이 넓다는 것이다. 실제 사례로 이렇게 사용할 수 있다. git으로 file upload시 CI내에서 자동으로 전체 소스를 다운받아 빌드후 테스트 결과를 channel에 알려주는 용도 업무용 calendar 및 알림 Event API를 활용한 자동화 구현 일단 내가 사용하려던 용도는 실험이 원격으로 진행되는지라, 원격에서 data를 수집한 후, 수집된 data의 summary를 slack에 올려..
- Total
- Today
- Yesterday
- 한빛미디어
- windows 8
- Gan
- reward
- processing
- Kinect SDK
- Off-policy
- SketchFlow
- dynamic programming
- Variance
- bias
- Distribution
- Expression Blend 4
- Kinect
- Policy Gradient
- PowerPoint
- 파이썬
- DepthStream
- Offline RL
- Kinect for windows
- ColorStream
- RL
- End-To-End
- TensorFlow Lite
- 딥러닝
- Windows Phone 7
- Python
- arduino
- Pipeline
- 강화학습
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |