목차 Concept drift can appear in different ways Sudden drift 새로운 개념이 단기간에 발생합니다 (예: 2020년 3월 COVID-19 시작, 주가 급변). 전자 상거래, 의료, 금융, 보험 등과 같은 여러 부문에 영향을 미친 COVID-19 전염병과 같은 예기치 않은 상황으로 인해 개념 드리프트가 갑자기 발생하는 경우. 이러한 급격한 변화는 짧게는 몇 주 안에 일어날 수 있습니다. 이러한 종류의 드리프트는 일반적으로 외부 이벤트에 의해 발생합니다. 데이터의 드리프트를 감지하는 활성 모니터링 시스템이 없는 경우 주요 이벤트 후에 개념 드리프트의 존재에 대한 빠른 평가를 수행하는 것이 당연합니다. Gradual drift 새로운 개념이 오랜 기간에 걸쳐 점진적으로..

목차 Definition 모델은 생성된 시간때의 변수와 매개 변수를 기반으로 최적화되기 때문에 이는 기계 학습 모델에 문제를 제기합니다. 기계 학습 모델을 개발하는 동안 이루어진 공통적이고 때로는 부정확한 가정은 각 데이터 지점이 독립적이고 동일한 분포(i.i.d) 랜덤 변수라는 것입니다. 어려운 말로 표현하면, 환경의 변화로 인해 모형의 예측 검정력이 저하되어 변수 간의 관계가 저하되는 것을 말합니다. 위의 예를 참조하면 스팸 전자 메일의 표시 변경으로 인해 몇 년 전에 생성된 부정 탐지 모델이 저하될 수 있습니다. 즉, 시간이 지남에 따라서 기계 학습 모델의 정확도의 상실은 모델 드리프트(model drifit)로 정의됩니다. 크게 2가지 광범위한 범주류 분류할 수 있다고 합니다. Concept Dr..

다른 분과 논의 중에, 내가 고민하고 있는 것을 다른 관점에서 풀어내고 있는 논문이 있다고 하셔서 보게 된 논문(감사합니다 :)) Title journal 출간 년도 2018년도 그룹 Abstract 딥러닝이 트레인은 잘되지만, 약간 다른 테스트에서는 부정확하지만 확신 있는 예측을 제공함. distribution shifts, outliers, and adversarial examples. Manifod Mixup을 제시함 신경 네트워크가 hidden representation의 interpolations(보간버)에 대해 덜 자신 있게 예측하도록 장려하는 간단한 규칙화 장치 → semantic interpolations을 추가 데이터로 사용하여, 여러 표현 수준에서 보다 부드러운 decision boun..

21년 6월 4일날 올라온 것으로 아직 억셉은 안됬지만,,, 우연히 찾게 되어 남겨 놓는다. 본 제안은 기존에 모델이 매개 변수와 단일 입력의 특징에 따라서만 예측을 한다는, 지도학습의 가장 기초가 되는 일반적인 가정에 도전한다고 한다. 이를 위해, 우리는 한 번에 하나의 데이터 지점을 처리하는 대신 전체 데이터 세트를 입력하는 범용 딥 러닝 아키텍처를 도입을 저자는 주장했다. 저자는 데이터 포인트간에 명시적으로 관계를 알 수 있게 self attention을 도입했다고 하고, 특히 본 논문에서는 tabular data에서 성능을 보여줬다고 한다. 일단 저자도 좀 확인해보고, 가정 자체에 도전을 하는 것도 신기해서 기록해둔다... paperwithcode https://paperswithcode.com/..

좋은 자료로 추후 정리해보기 https://link.medium.com/SMCl0Sdb5fbAn all-MLP Architecture for VisionAs the history of computer vision demonstrates, the availability of larger datasets coupled with increased computational capacity often…medium.com https://m.youtube.com/watch?v=KQmZlxdnnuY&feature=youtu.be https://www.slideshare.net/JinwonLee9/pr317-mlpmixer-an-allmlp-architecture-for-visionPR-317: MLP-Mixer: An..

https://link.medium.com/gGrhTcYayeb

What is Attention Mechanism & Why is RFA better than Softmax? 이 글에서는 Attention Mechanism은 무엇이며, softmax보다 저자가 주장한 RFA가 더 나은지 알아보는 글입니다. RANDOM FEATURE ATTENTION paper openreview.net/pdf?id=QtTKTdVrFBB 구글은 최근 새로운 방법을 출시했습니다.(Random Feature Attention) RFA란 기존보다 유사하거나 더 나은 성능을 달성하기 위해 transformer의 softmax주의 메커니즘을 시간 및 공간 복잡성의 상당한 개선한 것입니다. 이 블로그 글에서는, transformer의 배경을 알아보고, attention mechanism이 무엇인..

첫 번째 에폭부터 트레이닝 로스는 감소하지만, 검증 로스는 올라가는 경우 어떻게 해야 할 까? 보통 이런 경우에는 일반화가 되지 않는 경우를 크게 2가지로 나눌 수 있다고 함. Aleatory Uncertainty 흔히 알고 있는 오버 피팅이라고 불리는 것은 aleatory uncertanity라는 현상이다. 즉, 노이즈 데이터로부터 발생되는 오버 피팅이다. 기존 생성 프로세스에다가 랜덤을 다음과 같이 추가할 수 있다. $$\tilde y = y+n$$ n은 noise 값으로 임의적인 확률분포를 따른다고 가정한다. 분명 실제 데이터에서는 랜덤 성이 발생하는 메커니즘은 더 복잡할 것이다. 오버 피팅의 영향을 설명하기 위해서, 기존에 생성 프로세스보다 더 고차원의 polynomial로 적합할 것이다. 여기서..

자주 까먹기 때문에 글을 남겨둠. Convolution - Batch Normalization - Activation - Dropout - Pooling 자세한 내용은 아래 블로그 확인! gaussian37.github.io/dl-concept-order_of_regularization_term/BatchNormalization, Dropout, Pooling 적용 순서gaussian37's bloggaussian37.github.io

아직은 잘 모르지만, 핫한 토픽인 것 같아 자료를 모아 보려고 한다. DeepMind published a research paper that proposes using an old statistical technique known as Causal Bayesian Networks(CBN) to build more fairer machine learning systems. (link) www.degeneratestate.org/posts/2018/Jul/10/causal-inference-with-python-part-2-causal-graphical-models/ Causal Inference With Python Part 2 - Causal Graphical Models Copyright © 2015..

learning rate 같은 경우에 우리가 뉴럴 네트워크를 학습시킬 때 알고 싶어 하는 중요한 파라미터 중에 하나이다. learning rate 를 어떻게 하냐에 따라서 weight 업데이트의 크기가 달라지기 때문이다. 그래서 실제로 관련된 논문을 찾게 되었고, 마침 코드도 있어서 공유한다. Find optimal starting learning rate 아래 그럼 처럼 너무 작게도 크게도 안 좋은 것을 알 수 있다. 보편화된 최적 learning rate 라는 것은 없다고 할 수 있다. 그래서 보통은 손실 함수에서 유의미한 감소를 줄 수 있는 learning rate를 찾고자 한다. 이러한 learning rate를 찾기위한 체계적인 접근 방식은 학습률이 다른 손실 변화의 크기를 관찰하는 것입니다. ..

SuperTML: Two-Dimensional Word Embedding for the Precognition on Structured Tabular Data "Super Characters: A Conversion from Sentiment Classification to Image Classification"를 모티브로 한 논문이다. 해당 논문은 글자를 이미지를 이용해서 분류하는 방법론을 정형데이터도 이미지로 만들어서 적용하였다. 실제로 이러한 방법론이 됬으면 좋겠다고 생각은 하고 있었으나, 필자는 그 숫자 값을 3차원으로 표현해서 시도를 했었고, 이 저자는 숫자들을 이미지화해서 하니 잘된 것을 보였다. 그래서 정형 데이터에 이러한 시도를 한 것이 너무나 반갑다. 제안된 SuperTML 방법은 숫자 ..