AI(5)
-
논문 리뷰) A Generalist Agent (GATO)
구글에서 일반화되는 에이전트라는 주제로 낸 논문이다. 저자들은 일반화된 이러한 방식을 쓰면, 새롭게 들어온다기보다는 out of distribution에 있는 부분에 대해서도 잘할 것이라고 한다. 즉 완전히 새로운 것보다는 기존에 하던 것 중에서 조금 범위가 넘어가는 것에 대해서 잘할 수 있다고 하는 것 같다. 개인적으로 궁금했던 부분은 인풋과 아웃풋 그리고 손실 함수의 구성 방식이라서 이 부분을 주로 간단하게 보기로 했다. 인풋 기본적으로 인풋 같은 경우 continuous 한 것들을 discrete하게 만들거나 VIT 같은 방식을 도입해서 패치하는 식을 이용했다고 한다. 아직 그래프까지는 커버하는 아키텍처는 아닌 것 같다. continuous 1024개의 uniform unit (여기서는 값 자체보다..
2022.05.25 -
Paper) A Critical Study on Data Leakage in Recommender System Offline Evaluation 리뷰
정리 추천 모델에서 오프라인 설정에서 평가가 어려움 글로벌 타임 라인을 반영하지 않으면 data leakage 가 발생함. 예측 시간에 따라 교호 작용에서 학습할 수 있게 됨. 모든 모델이 data leakage를 통해 실제 영향을 주는 것을 확인하였음. 모델 BPR, NeuMF, SASRec, LightGCN 사용 데이터 MovieLens-25M, Yelp, Amazon-music, Amazon-eletronic 사용 평가 Leav Last Out 데이터 전략 채택 오프라인 모델 평가에서 타임 라인 방식을 제안 정리하자면... 핵심은 data leakage를 방지하기 위해선 time context를 반영하는 data split 전략을 해야 한다. 그렇지 않으면, 모델의 성능에 많은 영향을 줄 수 있고,..
2022.03.26 -
Paper) 추천 알고리즘들의 Data Split 전략에 대한 논문 리뷰
논문 제목 A Critical Study on Data Leakage in Recommender System Offline Evaluation 추천 시스템에서는 데이터 분리 전략에 대해서 다소 난해한 점이 있는 것 같아. 특정 논문을 리뷰하고자 한다. 결론적으로는 알고리즘에 따라 데이터 분리 전략에 따라 성능은 차이가 날 수 있고, 실제 가장 현실적인 전략은 temporal global splitting이라 할 수 있다고 한다. 서론 분할 전략에 따라서 추천 시스템의 Rank에 큰 영향을 미칠 수 있다는 것을 주장하는 논문이다. 추천 시스템(RecSys)은 대규모 데이터셋 내에서 사용자가 구매하거나 소비하고 싶은 관심 품목을 가장 효과적으로 찾는 방법을 조사하는 광범위한 연구의 대상이 되어 왔다. 추천은..
2022.03.24 -
Andrew NG 인터뷰 내용
이전에 영상 말고 또 좋은 인터뷰 내용이 있는 것 같아서 공유한다. Q. 중소기업들이 AI를 상업적으로 사용할 수 있도록 하려면 어떤 실현 가능한 문제에 초점을 맞춰야 하나? 오늘날 구축된 AI 시스템은 여전히 손이 많이 간다. 몇몇 뛰어난 머신러닝 엔지니어와 데이터 과학자는 컴퓨터로 일을 처리한 후 실제 생산 공정에 전달한다. 생산 과정에는 수작업 단계가 많이 있다. 그래서 AI 시스템을 보다 체계적으로 구축하고 배포하는 프로세스를 만드는 MLops(머신러닝 운영)에 관심이 많다. 또한 마케팅에서 인사에 이르기까지 일반적인 비즈니스 문제를 살펴보면 자동화 및 효율성 향상을 위한 여지가 많다. 또 AI 커뮤니티가 기후 변화, 노숙자, 빈곤퇴치 등 중요한 사회적 문제들을 위해 무엇을 할 수 있는지 살펴보길..
2021.04.05 -
ML 프로젝트시 폴더 구조화 하는 방법 관련 글
실제로 프로젝트를 하다보면, 급하게 하다 보니 폴더간에 구조화가 되지 않아서 항상 찾으려면 고생을 한 기억이 있습니다. 이러한 것에 문제를 느껴서 구조화 하는 것에 대해 알아보다 좋은 글이 있어서 공유합니다 본 글에서는 좋은 구조적 레이아웃의 이점에 대해 자세히 설명하고 각 디렉터리를 채울 수 있는 항목에 대한 자세한 설명이 포함된 템플릿 구조 레이아웃을 제공합니다. 하지만 이것도 그냥 하나의 예시일 뿐이니, 장 좋은 조치는 선호도 및 프로젝트 요구 사항을 충족하는 관행을 선택하고 채택하는 것입니다. 왜 구조에 대해서 신경을 써야할까요? 어떤 시점에서 우리의 작업을 재생산을 하고 싶을 때가 있습니다. 예측 모델을 만든다고 했을 때, 강력한 예측 모델을 구축할 수 있는 통찰력을 얻는데 훨씬 더 관심이 있습..
2020.10.08