2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 해당 논문은 구글 클라우드 AI Research 팀에서 작성을 한 것이라, 믿고 보는 논문이라 생각하고 논문을 읽어보고자 한다. 현재 기준(2023.10.07) 기준으..

2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 A Time Series is Worth 64 Words: Long-term Forecasting with Transformers. ICLR2023 해당 논문은 Are..

2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 Are Transformers Effective for Time Series Forecasting? long-term time series forecasting (LT..

2023.07.05 - [ML(머신러닝)/Time Series] - Transformer 기반 Time Series Forecast 논문 알아보기 2023.07.06 - [ML(머신러닝)/Time Series] - TimeSeries Forecast) Transformer보다 좋다는 LSTF-Linear 알아보기 2023.07.12 - [ML(머신러닝)/Time Series] - TimeSeries) PatchTST 논문과 코드 살펴보기 2023.10.13 - [분류 전체보기] - TimeSeries) TSMixer 논문 및 구현 살펴보기 일단 시작 전에 많은 Transformer 기반의 Time Series Forecast를 하는 논문들이 나오고 있다. 1. Informer (AAAI 2021) 2. ..

본 글을 통해 오랜만에 다시 한번 Transformer 구조를 이해해보고, 코딩으로 봤을 때 어떻게 보면 좋을 지를 정리해보고자 한다.아키텍처 일단 기본적인 Encoder-Decoder 아키텍처를 보면 다음과 같다. 기존 논문에서는 기계 번역 모델로 사용하였습니다. 아래처럼 영어 문장을 프랑스어 문장으로 번역하도록 하였습니다.간단하게 인코더와 디코더의 역할을 보면 다음과 같습니다.인코더입력 문장에서 특징을 추출디코더특징을 사용하여 출력 문장을 생성Encoder여러 개의 Encoder 블록으로 구성됩니다. 입력 문장은 Encoder 블록을 거치며 마지막 인코더 블록의 출력이 디코더의 입력 특징이 됩니다.간단하게 코드를 가져오면 다음과 같다. EncoderLayer를 n개 만큼 만들고, 같은 값을 계속 상속..

VAR 모형을 모델링할 때 정상성을 만족하기 위해서 차분을 하게 되는데, 이러한 과정에서 역변환하는 것에 대해서 헷갈리는 점이 있어서 이 코드를 짜보게 됐다, chatgpt에 여러 번 코드 짜는 것을 요청했지만, prompt가 문제가 있어서 그런 지 몰라도 잘 못해줘서, 구현을 다시 해봤다. 오히려 chatgpt를 믿고 코딩을 해보다 보니, 실패가 나오고, 실패로 인해서 코드를 분석하는 그 과정이 오히려 내가 이해를 하는데 있어서, 더 어렵게 한 점이 있었다 ㅠㅠ 일단 차분에 대해서이해를 해보면 다음과 같다. 공식은 아래와 같다. 그러면 여기서 차분되기 전으로 돌아가려면 다음과 같이 하면 될 것이다. 그럼 여기서 알아야 하는 규칙이 차분 후의 결과의 기존 차분되기 전에 이전 시점의 데이터가 필요하다는 것..

현재 다루고자 하는 데이터의 성격이 중도절단된 형태의 데이터이고, 생존 분석의 성격을 가지고 있는 것 같아, 내용들에 대해서 정리해보려고 한다. 생존 분석(Survival Analysis)은 관심 있는 사건이 발생할 때까지 예상되는 기간을 조사하는 데, 널리 사용되는 통계적 방법입니다. 의학 환자의 생존 시간 분석 공학 신뢰성 분석 고장 시간 분석 경제 지속 시간 분석 HR 직원의 참여, 유지 및 만족도를 이해하고 통찰력을 제공 성취자의 직원 참여 및 유지 보고서에 따르면 2021년에 새로운 일자리를 찾을 계획인 근로자의 52%와 31개국 3만 명 이상의 근로자가 참여한 최근 설문조사에 따르면 직원의 40%가 직장을 그만둘 생각을 하고 있는 것으로 나타났다고 합니다.. Forbes는 이러한 추세를 "Tu..

자동 라이브러리 패키지 목록들 정리해보기 2023년 2월 8일 기준 PyCaret H2O AutoML TPOT Auto-sklearn FLAML EvalML AutoKeras Auto-ViML AutoGluon MLBox 참고 https://moez-62905.medium.com/top-automl-python-libraries-in-2022-2d306cf7acf0 Top AutoML Python libraries in 2022 A List of Python AutoML libraries moez-62905.medium.com https://www.analyticsinsight.net/top-10-automl-libraries-for-implementing-in-your-machine-learning-p..

In [1]: from IPython.core.display import display, HTML display(HTML("")) /tmp/ipykernel_2227596/3510566465.py:1: DeprecationWarning: Importing display from IPython.core.display is deprecated since IPython 7.14, please import from IPython display from IPython.core.display import display, HTML In [2]: import shap # train XGBoost model X,y = shap.datasets.adult() In [5]: import pandas as pd import ..

앙상블 학습 방법 사용의 장점 앙상블 기법을 솔로 모델과 비교하면 앙상블 방법이 더 큰 예측 정확도를 제공한다. 편중(bias)과 분산(variance)은 앙상블을 통해 줄일 수 있다. 대부분의 경우 모델의 과적합 또는 과소적합이 방지됩니다. 앙상블 모델은 더 안정적이고 노이즈가 적다. 앙상블 테크닉 정리 1. Bagging - 단일 데이터세트를 인스턴스별로 하위 집합으로 나눕니다(병렬로 작동) 2. Boosting - 단일 데이터세트를 인스턴스별로 하위 집합으로 나눕니다(순차적으로 작동). 3. Stacking - 다른 분류기 사용 Bagging 배깅의 목표는 많은 모델의 출력을 통합하여 보다 정확한 결과를 제공하는 것이다. 그러나 문제는 모든 모델을 동일한 데이터 집합을 사용하여 만든 다음 결과를 집..

개인 공부를 하려는 글로써, 분명히 틀린 부분이 있을 수 있습니다. 혹시 보시는 분이 있다면, 가볍게 봐주시고, 느낌만 알고 싶어서 하는 것이니 틀린 부분이 어디가 틀렸는지 댓글로 알려주시면 정말 감사하겠습니다. :) 이 부분에 대해서 글을 남기고 싶었던 이유는 항상 여기에 대해서 궁금하였는데, 잘 모르게 됐다가, 어느 글을 보고 대충 감이라도 얻게 되어서 정리를 하고 싶어서 남기게 되었다. Measure Space algebra 일종의 규칙을 담아 놓은 집합 예시) 위상수학에서의 Topology는 모든 열린 집합들의 집합 A (σ-algebra) or σ-field 모든 가측집합들의 집합 1. 어떤 것이 집합에 있다면, 그것의 여집합도 집합에 있어야 한다. 2. 공집합과 전체집합이 있어야 함 3. 마지..

installation pip install kmodes Implemented are: k-modes [HUANG97] [HUANG98] k-modes with initialization based on density [CAO09] k-prototypes [HUANG97] 클러스트 $l$ 에서 발생하는 $c_j$ 값이 나오는 확률값을 의미한다. 어떤 클러스트 l에서 $c_j$가 나올 확률이 낮게 나올 수록 loss가 커진다는 의미인 것 같은데, 왜 이게 loss로 가는 지 아직은 잘 이해가 안된다... 추후에 좀 더 알아보도록 하자!! 예제 import numpy as np from sklearn import datasets from kmodes.kprototypes import KPrototypes i..