[Book] 10가지 프로젝트로 끝내는 트랜스포머 활용 가이드 with 파이토치

(해당 포스트에서 소개하고 있는 "10가지 프로젝트로 끝내는 트랜스포머 활용 가이드 with 파이토치" 책은 루비페이퍼 출판사로부터 제공받았음을 알려드립니다.)

 트랜스포머는 Vaswani가 Attention is all you need 란 눈문을 통해서 소개한 신경망 구조이다. 기존에 나왔던 MLP나 CNN과 같은 기존의 신경망 구조에서 벗어나 내부적으로 해당 도메인의 메커니즘을 학습할 수 있는 구조로 되어 있어서, 초기에 제안되었던 NLP 분야 외에도 영상이나 강화학습에도 확장한 사례가 많이 제시되어 있으며, 요근래 나온 생성형 AI의 거대 모델의 기본 구조가 대부분 트랜스포머로 되어 있다. 물론 학습하는데 필요한 리소스가 많이 필요하다는 점이 일종의 제약일 수 있겠지만, 적어도 기존의 신경망 구조를 크게 개선한 형태로 현재까지도 연구가 계속 이뤄지고 있는 주제이기도 하다. 특히 최근에는 huggingface를 통해서 범용적으로 활용할 수 있는 트랜스포머 패키지가 공개/배포되고 있어서 많은 사용자들이 쉽게 사용할 수 있는 형태로 되어 있다. 그래서 시중에도 트랜스포머에 대해서 소개한 책들이 많이 출간되어 있고, 최근에 출간된 책 하나를 소개해보고자 한다.

트랜스포머 활용 가이드

사실 이 책은 트랜스포머의 동작 원리나 구현체에 대해서 설명을 해주는 이론서라기 보다는 책 제목에도 표현되어 있는 것처럼 다양한 분야에 활용할 수 있는 예시들을 10개 제공한다. 그리고 이 활용 예제는 huggingface에서 제공되는 transformers 패키지와 pytorch를 통해서 실습해보는 예제이다. 다른 것보다도 많이 활용되는 NLP 뿐만 아니라 영상쪽으로도 실습할 수 있는 예제들이 제공되어 관련 부분으로 활용해보고자 하는 사람에게는 좋은 예시를 제공하고 있다. 어떻게 보면 시중에 출간된 트랜스포머를 다룬 책들과 구별할 수 있는 차별점이 되겠다. 구체적으로 책에서 다루는 트랜스포머 관련 활용 예제는 다음과 같다. 

• BERT-base-uncased 모델 파인튜닝을 통한 classifier 학습
• 셰익스피어가 쓴 작품같은 텍스트 생성
• 의학 데이터를 활용한 AI 클리닉 QA 챗봇 학습
• 안과 이미지 데이터를 통한 안과분야의 AI 의사 구현
• Object detection 을 위한 프로그램 제작
• 다이어트 계산기 구현
• Whisper를 활용한 Speech-to-text 변환
• SpeechT5을 활용한 text-to-speech 변환
• Noise 제거로 오디오 품질 개선
• 파이토치 관련 기법 들

다만 트랜스포머란 주제가 다루는 깊이에 비해 책의 분량이 생각보다 얇게 느껴질 수 있다. 원서도 사실 비슷한 분량이기도 하고, 각 절로 나눠져 있는데 있어서 절별로 다루는 내용이 조금 짧다고 느껴진다. 특히, 후반부에 다루는 강화학습 관련 주제에서는 특이하게 Decision Transformer나 Trajectory Transformer를 설명하고 있긴 하지만, 책의 예시에서 해당 내용을 다루지는 않는다. 그리고 각 코드별로 주석이 대체적으로 상세하게 달려있기는 하나, 후반부에는 코드 설명은 생략하고, 실행 방법이나 간단한 설명 위주로 넘어가는게 느껴졌다. 물론 이론서가 아닌 활용가이드이기에 그 목적에는 충분한 서적이라 볼 수 있겠지만, 해당 책에 조금 더 나은 것을 바란다면 각 예시에서 다루는 이론적인 부분에 조금 더 설명이 보충되었으면 좋겠다는 생각이 들었다.

사실 트랜스포머가 등장하는 시점에서 조금 관심을 가지고 봐왔던 터라, 관련 서적도 많이 찾아보고 최근에도 타 출판사를 통해서 출판된 서적("마스터링 트랜스포머")이 있어 본의아니게 좀 비교가 된 부분도 있겠지만, 그래도 huggingface transformers 패키지를 활용해서 실제 활용할 수 있는 예시를 제공하는 부분에 있어서 해당 분야에 관심이 많은 독자들의 관심을 많이 끌 것이다. 아 참고로 원서의 소스코드 외적으로 역자분이 기타 오류 부분을 추가로 수정하고 동작 확인을 일일이 확인하신 것으로 보인다. 책의 관련 코드를 활용해보려는 독자 입장에서는 도움이 많이 되리라 생각한다.