자신에 대한 고찰

(해당 포스트에서 소개하고 있는 "10가지 프로젝트로 끝내는 트랜스포머 활용 가이드 with 파이토치" 책은 루비페이퍼 출판사로부터 제공받았음을 알려드립니다.) 트랜스포머는 Vaswani가 Attention is all you need 란 눈문을 통해서 소개한 신경망 구조이다. 기존에 나왔던 MLP나 CNN과 같은 기존의 신경망 구조에서 벗어나 내부적으로 해당 도메인의 메커니즘을 학습할 수 있는 구조로 되어 있어서, 초기에 제안되었던 NLP 분야 외에도 영상이나 강화학습에도 확장한 사례가 많이 제시되어 있으며, 요근래 나온 생성형 AI의 거대 모델의 기본 구조가 대부분 트랜스포머로 되어 있다. 물론 학습하는데 필요한 리소스가 많이 필요하다는 점이 일종의 제약일 수 있겠지만, 적어도 기존의 신경망 구조를 ..

(해당 포스트에서 소개하고 있는 "트랜스포머를 활용한 자연어 처리" 책은 한빛 미디어로부터 제공받았음을 알려드립니다.) 트랜스포머를 활용한 자연어 처리 자연어 처리 분야에 있어 표준이 된 트랜스포머 모델을 사용해 실용적인 애플리케이션을 만들고 최적화하는 방법을 안내한다. 실습 위주로 구성되어 예제 코드를 직접 실행하면서 자신만의 실 hanbit.co.kr 아는 사람은 알겠지만 transformer 아키텍처는 2017년 google이 "Attention is all you need"이란 논문을 통해서 소개했다. 사실 이전의 NLP나 signal processing에는 LSTM이나 GRU로 대변되는 RNN 계열의 신경망으로 처리하는 방식에 비하여, 이 transformer 구조는 시퀀스 데이터에서 어떠한 패..