최근에 LLAMA3에 이어서 아주 핫한 Phi-3에 대해서 마이크로소프트가 작성한 논문이 있어 공유드립니다. 최근 인공지능 연구의 한계를 극복하고자 전 세계적으로 큰 규모의 언어 모델을 개발하는 노력이 지속되고 있습니다. 이러한 대형 모델은 놀라운 성능을 보여주지만, 그 크기 때문에 일반 사용자가 접근하기에는 많은 제약이 따릅니다. 하지만, Microsoft의 최신 연구에서 소개된 Phi-3-Mini 모델은 이러한 상황에 변화를 가져오고 있습니다. 이 논문은 이 모델이 어떻게 일상의 스마트폰에 적용될 수 있는지 에 대한 기술 내용을 정리한 보고서입니다. 1. Phi-3-Mini 모델 소개Phi-3-Mini는 3.8억 개의 파라미터를 가진 언어 모델로, 3.3조 토큰으로 훈련되었습니다. 이 모델은 GPT-..

CLIP에서 사용하는 아이디어가 좋아 보여서, 그 부분만 살펴보기로 한다. 최첨단 컴퓨터 비전 시스템은 미리 결정된 객체 범주의 고정된 세트를 예측하도록 훈련된다. 이러한 제한된 형태의 감독(Supervision)은 다른 시각적 개념을 명시하기 위해 추가적인 라벨링 데이터가 필요하기 때문에 일반성(Generality)과 유용성(Usability)을 제한한다 이미지에 대한 원시(raw) 텍스트에서 직접 학습하는 것은 훨씬 광범위한 감독 소스를 활용하는 적절한 대안이다. 우리는 어떤 자막이 어떤 이미지와 함께 가는지 예측하는 간단한 사전 교육(pretraining) 작업이 인터넷에서 수집된 4억 개의 (이미지, 텍스트) 쌍 데이터 세트에서 SOTA 이미지 표현을 처음부터 학습하는 효율적이고 확장 가능한 방법..

해당 논문을 보고자 하는 이유는 transformer를 사용하고, hierarchical 한 구조를 제시하고, 다양한 task에 적용 가능한 아키텍처인 것 같아 보려고 한다. 아래 DSBA에서 설명해주시는 영상을 보면 잘 설명해주기 때문에 참고하시면 될 것 같다. 이 논문은 컴퓨터 비전의 범용 백본 역할을 할 수 있는 Swin Transformer라는 새로운 비전 트랜스포머를 제시한다. 언어에서 비전으로 트랜스포머를 적응시키는 데 있어 어려움은 시각적 엔티티의 스케일의 큰 차이와 텍스트의 단어에 비해 이미지의 픽셀의 높은 해상도와 같은 두 도메인 간의 차이에서 발생한다. 물체의 크기(the scale of visual entities) 해상도(high resolution of pixels in image..

구글에서 일반화되는 에이전트라는 주제로 낸 논문이다. 저자들은 일반화된 이러한 방식을 쓰면, 새롭게 들어온다기보다는 out of distribution에 있는 부분에 대해서도 잘할 것이라고 한다. 즉 완전히 새로운 것보다는 기존에 하던 것 중에서 조금 범위가 넘어가는 것에 대해서 잘할 수 있다고 하는 것 같다. 개인적으로 궁금했던 부분은 인풋과 아웃풋 그리고 손실 함수의 구성 방식이라서 이 부분을 주로 간단하게 보기로 했다. 인풋 기본적으로 인풋 같은 경우 continuous 한 것들을 discrete하게 만들거나 VIT 같은 방식을 도입해서 패치하는 식을 이용했다고 한다. 아직 그래프까지는 커버하는 아키텍처는 아닌 것 같다. continuous 1024개의 uniform unit (여기서는 값 자체보다..

https://arxiv.org/abs/2103.08107#:~:text=Reinforcement%20learning%20has%20been%20shown,defining%20an%20intrinsic%20reward%20function. Mutual Information State Intrinsic Control Reinforcement learning has been shown to be highly successful at many challenging tasks. However, success heavily relies on well-shaped rewards. Intrinsically motivated RL attempts to remove this constraint by defining an..

Anomaly Detection에 관심이 있는 분이라면 한 번 읽어보시길 추천드린다. https://arxiv.org/abs/2007.02500 Deep Learning for Anomaly Detection: A Review Anomaly detection, a.k.a. outlier detection or novelty detection, has been a lasting yet active research area in various research communities for several decades. There are still some unique problem complexities and challenges that require advanced approac arxiv.org 아직 다..