구글에서 일반화되는 에이전트라는 주제로 낸 논문이다. 저자들은 일반화된 이러한 방식을 쓰면, 새롭게 들어온다기보다는 out of distribution에 있는 부분에 대해서도 잘할 것이라고 한다. 즉 완전히 새로운 것보다는 기존에 하던 것 중에서 조금 범위가 넘어가는 것에 대해서 잘할 수 있다고 하는 것 같다. 개인적으로 궁금했던 부분은 인풋과 아웃풋 그리고 손실 함수의 구성 방식이라서 이 부분을 주로 간단하게 보기로 했다. 인풋 기본적으로 인풋 같은 경우 continuous 한 것들을 discrete하게 만들거나 VIT 같은 방식을 도입해서 패치하는 식을 이용했다고 한다. 아직 그래프까지는 커버하는 아키텍처는 아닌 것 같다. continuous 1024개의 uniform unit (여기서는 값 자체보다..

정리 추천 모델에서 오프라인 설정에서 평가가 어려움 글로벌 타임 라인을 반영하지 않으면 data leakage 가 발생함. 예측 시간에 따라 교호 작용에서 학습할 수 있게 됨. 모든 모델이 data leakage를 통해 실제 영향을 주는 것을 확인하였음. 모델 BPR, NeuMF, SASRec, LightGCN 사용 데이터 MovieLens-25M, Yelp, Amazon-music, Amazon-eletronic 사용 평가 Leav Last Out 데이터 전략 채택 오프라인 모델 평가에서 타임 라인 방식을 제안 정리하자면... 핵심은 data leakage를 방지하기 위해선 time context를 반영하는 data split 전략을 해야 한다. 그렇지 않으면, 모델의 성능에 많은 영향을 줄 수 있고,..

논문 제목 A Critical Study on Data Leakage in Recommender System Offline Evaluation 추천 시스템에서는 데이터 분리 전략에 대해서 다소 난해한 점이 있는 것 같아. 특정 논문을 리뷰하고자 한다. 결론적으로는 알고리즘에 따라 데이터 분리 전략에 따라 성능은 차이가 날 수 있고, 실제 가장 현실적인 전략은 temporal global splitting이라 할 수 있다고 한다. 서론 분할 전략에 따라서 추천 시스템의 Rank에 큰 영향을 미칠 수 있다는 것을 주장하는 논문이다. 추천 시스템(RecSys)은 대규모 데이터셋 내에서 사용자가 구매하거나 소비하고 싶은 관심 품목을 가장 효과적으로 찾는 방법을 조사하는 광범위한 연구의 대상이 되어 왔다. 추천은..

Anomaly Detection에 관심이 있는 분이라면 한 번 읽어보시길 추천드린다. https://arxiv.org/abs/2007.02500 Deep Learning for Anomaly Detection: A Review Anomaly detection, a.k.a. outlier detection or novelty detection, has been a lasting yet active research area in various research communities for several decades. There are still some unique problem complexities and challenges that require advanced approac arxiv.org 아직 다..

기존의 randomforest 같은 경우 데이터의 주요 변동 요인을 포착하는 데 도움이 되는 내부 표현을 효율적으로 학습하는 메커니즘이 부족하다. 본 연구에서는 의사결정 트리의 divide and conquer 원칙을 통해 심층 아키텍처에서 representation learning에서 매력적인 속성을 통합하는 새로운 접근 방식인 Deep Neural Decision Forests을 제시함. 이 논문에서 우리는 (심층) 컨볼루션 네트워크에서 end to end 학습을 위한 대체 분류기로 사용할 수 있는 확률적이고 차별화 가능한 의사 결정 트리를 모델링하고 훈련하는 방법을 보여주었다. 기존의 의사 결정 트리 훈련에 대한 일반적인 접근방식은 일반적으로 탐욕스럽고 국지적인 방식(local manner)으로 작..

https://arxiv.org/abs/1802.04240 해당 논문을 인용한 논문들 https://scholar.google.com/scholar?as_ylo=2021&hl=en&as_sdt=2005&sciodt=0,5&cites=7637833782499120275&scipsc= Google Scholar EG Talbi - ACM Computing Surveys (CSUR), 2021 - dl.acm.org During the past few years, research in applying machine learning (ML) to design efficient, effective, and robust metaheuristics has become increasingly popular. Many ..

목차 Abstract 50년 동안 nonstationarity, poor predictive bahaviour, weak historical coupling과 같은 금융 시장의 행동 방식을 모델링하는 것에 대해 과학계에서는 관심을 끌었고, 지속적인 노력을 하고 있다. 전통적으로 신호 처리(signal processing) 및 제어 이론(Contro Theory)의 맥락에서 dynamic system의 수학적 공식은 금융 엔지니어링의 핵심이였다. 보다 최근에는 강화 학습 개념을 통해 순차적 의사결정의 진보는 순차적 포트폴리오 최적화 전략의 핵심 요소인 다단계 확률적 최적화(multistage stochastic optimization)의 개발에 있어 중요한 역할을 해왔다. 본 논문에서는 전통적인 시스템 인..

다른 분과 논의 중에, 내가 고민하고 있는 것을 다른 관점에서 풀어내고 있는 논문이 있다고 하셔서 보게 된 논문(감사합니다 :)) Title journal 출간 년도 2018년도 그룹 Abstract 딥러닝이 트레인은 잘되지만, 약간 다른 테스트에서는 부정확하지만 확신 있는 예측을 제공함. distribution shifts, outliers, and adversarial examples. Manifod Mixup을 제시함 신경 네트워크가 hidden representation의 interpolations(보간버)에 대해 덜 자신 있게 예측하도록 장려하는 간단한 규칙화 장치 → semantic interpolations을 추가 데이터로 사용하여, 여러 표현 수준에서 보다 부드러운 decision boun..

21년 6월 4일날 올라온 것으로 아직 억셉은 안됬지만,,, 우연히 찾게 되어 남겨 놓는다. 본 제안은 기존에 모델이 매개 변수와 단일 입력의 특징에 따라서만 예측을 한다는, 지도학습의 가장 기초가 되는 일반적인 가정에 도전한다고 한다. 이를 위해, 우리는 한 번에 하나의 데이터 지점을 처리하는 대신 전체 데이터 세트를 입력하는 범용 딥 러닝 아키텍처를 도입을 저자는 주장했다. 저자는 데이터 포인트간에 명시적으로 관계를 알 수 있게 self attention을 도입했다고 하고, 특히 본 논문에서는 tabular data에서 성능을 보여줬다고 한다. 일단 저자도 좀 확인해보고, 가정 자체에 도전을 하는 것도 신기해서 기록해둔다... paperwithcode https://paperswithcode.com/..

트랜스포머에 강화학습 적용하는 것 관련 논문인 듯 확인할 리스트에 추가 Abstract 시퀀스 모델링 문제로 강화 학습(RL)을 추상화하는 프레임워크를 소개. 트랜스포머 아키텍처의 단순성과 확장성, 그리고 GPT-x 및 BERT와 같은 언어 모델링의 관련 발전을 이용 가능. 특히, 우리는 RL의 문제를 조건부 시퀀스 모델링으로 캐스팅하는 아키텍처인 decision transformer를 제시 value function을 fit 또는 policy gradient를 계산하는 RL에 대한 이전 접근법과 달리, decision transformer는 인과적으로 마스크된 transforemr를 활용하여 최적의 동작을 출력 가능 원하는 수익(보상), 과거 상태 및 조치에 대한 자기 회귀 모델(autoregressi..

기존의 Double DQN이라는 것이 있었는데, 이 논문에선 advantage function을 도입하여 성능을 더 향상한 논문이라 할 수 있습니다. 가장 큰 특징 Dueling DQN 알고리즘은 Q-VALUE을 값 함수 V (s)와 이점 함수 A (s, a)의 두 부분으로 나눕니다. 여기서는 advatange function과 value function이 동시에 존재한다해서 dueling이라고 한다고 합니다. 직관적으로, dueling 아키텍처는 각 state에 대한 각 작업의 효과를 학습할 필요 없이 어떤 상태가 가치 있는지(또는 가치가 없는지를) 학습할 수 있습니다. 이는 특히 해당 action이 environment에 관련되는 어떤 방식으로도 영향을 미치지 않는 상태에서 유용합니다. 배경 논문의 ..

deepmind 에서 낸 논문인 것 같다. deepmind에서 낸 논문이라서 흥미있었지만, 내가 많은 유명한 학자들은 모르지만, David Silver, Richard S.Sutton 두 사람이 있는 것으로 보고, 꼭 봐야할 필요성을 느꼈다. 21/05/31 기준으로 아직 논문을 무료로 다운로드 할 수는 없는 상황이다. 그래도 david silver나 특정 분이 설명을 해주는 영상이 있어 공유를 한다. 아직 잘 모르겠지만, 큰 의미는 각각의 전문화된 에이전트를 구성하지 않아도 충분히 일반화된 에이전트를 구할 수 있다?... 이런 느낌인 것 같다. https://www.youtube.com/watch?v=_MduRkr6r6c https://www.youtube.com/watch?v=dmH1ZpcROMk