Transformer 간단하게 코드와 함께 살펴보기

본 글을 통해 오랜만에 다시 한번 Transformer 구조를 이해해보고, 코딩으로 봤을 때 어떻게 보면 좋을 지를 정리해보고자 한다.아키텍처 일단 기본적인 Encoder-Decoder 아키텍처를 보면 다음과 같다. 기존 논문에서는 기계 번역 모델로 사용하였습니다. 아래처럼 영어 문장을 프랑스어 문장으로 번역하도록 하였습니다.간단하게 인코더와 디코더의 역할을 보면 다음과 같습니다.인코더입력 문장에서 특징을 추출디코더특징을 사용하여 출력 문장을 생성Encoder여러 개의 Encoder 블록으로 구성됩니다. 입력 문장은 Encoder 블록을 거치며 마지막 인코더 블록의 출력이 디코더의 입력 특징이 됩니다.간단하게 코드를 가져오면 다음과 같다. EncoderLayer를 n개 만큼 만들고, 같은 값을 계속 상속..

2023.06.09