Paper) Self-Attention Between Datapoints: Going Beyond Individual Input-Output Pairs in Deep Learning 확인해보기

21년 6월 4일날 올라온 것으로 아직 억셉은 안됬지만,,, 우연히 찾게 되어 남겨 놓는다. 

 

본 제안은 기존에 모델이 매개 변수와 단일 입력의 특징에 따라서만 예측을 한다는, 지도학습의 가장 기초가 되는 일반적인 가정에 도전한다고 한다.

이를 위해, 우리는 한 번에 하나의 데이터 지점을 처리하는 대신 전체 데이터 세트를 입력하는 범용 딥 러닝 아키텍처를 도입을 저자는 주장했다. 

 

저자는 데이터 포인트간에 명시적으로 관계를 알 수 있게 self attention을 도입했다고 하고, 특히 본 논문에서는 tabular data에서 성능을 보여줬다고 한다. 

 

 

 

일단 저자도 좀 확인해보고, 가정 자체에 도전을 하는 것도 신기해서 기록해둔다...

 

 

paperwithcode	https://paperswithcode.com/paper/self-attention-between-datapoints-going
paper	https://arxiv.org/abs/2106.02584
code	https://github.com/OATML/Non-Parametric-Transformers