2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 일단 시작 전에 많은 Transformer 기반의 Time Series Forecast를 하는 논문들이 나오고 있다. 1. Informer (AAAI 2021) 2. ..

앙상블 학습 방법 사용의 장점 앙상블 기법을 솔로 모델과 비교하면 앙상블 방법이 더 큰 예측 정확도를 제공한다. 편중(bias)과 분산(variance)은 앙상블을 통해 줄일 수 있다. 대부분의 경우 모델의 과적합 또는 과소적합이 방지됩니다. 앙상블 모델은 더 안정적이고 노이즈가 적다. 앙상블 테크닉 정리 1. Bagging - 단일 데이터세트를 인스턴스별로 하위 집합으로 나눕니다(병렬로 작동) 2. Boosting - 단일 데이터세트를 인스턴스별로 하위 집합으로 나눕니다(순차적으로 작동). 3. Stacking - 다른 분류기 사용 Bagging 배깅의 목표는 많은 모델의 출력을 통합하여 보다 정확한 결과를 제공하는 것이다. 그러나 문제는 모든 모델을 동일한 데이터 집합을 사용하여 만든 다음 결과를 집..

pytorch에서 keras처럼 summary를 정리해주는 함수가 있어서 공유한다. 찾다 보면 좋은 툴이 많은 것 같다(굳굳) Keras처럼 파라미터 개수랑 용량을 제공해준다! import torch from torch import nn from torchsummary import summary as summary_ from torch.nn import functional as F class MnistModel(nn.Module): def __init__(self): super(MnistModel, self).__init__() # input is 28x28 # padding=2 for same padding self.conv1 = nn.Conv2d(1, 32, 5, padding=2) # feature..

이 논문에서는 GAN에서 겪는 문제점들에 대해서 언급하고 이제까지 나온 논문들을 모든 것은 아니지만, 핵심적인 것들에 대해서 정리해주는 것 같아서 읽어보면서 재정리해보고자 한다. 이 논문에서는 크게 architecture, loss , regularization, divergence를 기반으로 특정 사용 사례에 대한 후보 GAN을 식별하기위한 새로운 프레임 워크를 제안한다고 함. https://arxiv.org/abs/2002.08641 GAN에서 크게 이슈가 제기되는 점은 다음과 같다. mode collapse vanishing gradient unstable training non-convergence GANs game theory : a two-player minimax game discrimina..

Neural Network Ensemble 정리 자료 by 이성령 on Scribd