자신에 대한 고찰

(해당 포스트에서 소개되는 책은 비제이퍼블릭으로부터 제공받았음을 알려드립니다.)2017년 구글의 "Attention is All you need" 이라는 논문을 통해서 처음 소개된 transformer는 언어 데이터를 처리할 때 단어 간의 관계를 효율적으로 파악하는 Attention 메카니즘을 통해서 좋은 성능을 보여준다. 그리고 최근에 GPT를 필두로 인기를 끌고 있는 생성형 AI 분야에서도 번역이나 챗봇, 텍스트 요약, 감정 분석 등에 많이 활용되고 있다. 물론 이런 자연어처리 뿐만 아니라 이미지 생성이나 연속 의사 결정 과정에서도 transformer 구조는 다른 신경망 구조에 비해서 좋은 성능을 보여주고 있다.  사실 이 구조가 개발자들 사이에서 널리 활용되게 된 기반에는 허깅페이스의 역할이 크다..