2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 A Time Series is Worth 64 Words: Long-term Forecasting with Transformers. ICLR2023 해당 논문은 Are..

본 글을 통해 오랜만에 다시 한번 Transformer 구조를 이해해보고, 코딩으로 봤을 때 어떻게 보면 좋을 지를 정리해보고자 한다.아키텍처 일단 기본적인 Encoder-Decoder 아키텍처를 보면 다음과 같다. 기존 논문에서는 기계 번역 모델로 사용하였습니다. 아래처럼 영어 문장을 프랑스어 문장으로 번역하도록 하였습니다.간단하게 인코더와 디코더의 역할을 보면 다음과 같습니다.인코더입력 문장에서 특징을 추출디코더특징을 사용하여 출력 문장을 생성Encoder여러 개의 Encoder 블록으로 구성됩니다. 입력 문장은 Encoder 블록을 거치며 마지막 인코더 블록의 출력이 디코더의 입력 특징이 됩니다.간단하게 코드를 가져오면 다음과 같다. EncoderLayer를 n개 만큼 만들고, 같은 값을 계속 상속..

트랜스포머에 강화학습 적용하는 것 관련 논문인 듯 확인할 리스트에 추가 Abstract 시퀀스 모델링 문제로 강화 학습(RL)을 추상화하는 프레임워크를 소개. 트랜스포머 아키텍처의 단순성과 확장성, 그리고 GPT-x 및 BERT와 같은 언어 모델링의 관련 발전을 이용 가능. 특히, 우리는 RL의 문제를 조건부 시퀀스 모델링으로 캐스팅하는 아키텍처인 decision transformer를 제시 value function을 fit 또는 policy gradient를 계산하는 RL에 대한 이전 접근법과 달리, decision transformer는 인과적으로 마스크된 transforemr를 활용하여 최적의 동작을 출력 가능 원하는 수익(보상), 과거 상태 및 조치에 대한 자기 회귀 모델(autoregressi..