새로운 모델 구조 만들어보기 해당 시도는 Multi Head Self Attention을 이용하면, 각 Head 마다 고유한 특징을 잡는 것을 이용하여 예측하는 코드와 분석을 통해서, gradient 실제로 다르게 가는 지를 확인하고자 함. Load Library import numpy as np import torch import matplotlib.pyplot as plt import torch.optim as optim from IPython.display import clear_output 데이터 정의 이번 블로그에서는 타깃 3개를 예측하는 것을 정의해서 예측하고자 함. # 예제 데이터 생성 t = np.linspace(0, 100, 1000) # 0에서 100까지 1000개의 점 y1 = np...

Pytorch에서 multioutput regression을 구현해보고자 한다. 구현하게 된 이유는 sckit-learn에서 RegressorChain이라는 것을 보고 도움이 될 것 같아서 해보려고 한다. 실제 구현된 코드를 보니 다음과 같이 구현이 되어 있었다. 구현된 방식은 Chain인 경우에 X에다가 y 예측값을 붙이고, 또 그것을 사용해서 다시 y를 예측하는 방식이었다. 이 부분을 참고해서 딥러닝이다 보니 약간은 다르게 구현을 해봤다. class _BaseChain(BaseEstimator, metaclass=ABCMeta): def __init__(self, base_estimator, *, order=None, cv=None, random_state=None): self.base_estimat..

pyro.ai/examples/bayesian_regression.html Bayesian Regression - Introduction (Part 1) — Pyro Tutorials 1.4.0 documentation Model In order to make our linear regression Bayesian, we need to put priors on the parameters \(w\) and \(b\). These are distributions that represent our prior belief about reasonable values for \(w\) and \(b\) (before observing any data). Making a Bayesi pyro.ai pytorch에서 ..

알고리즘 설정하기 import h2o h2o.init() from h2o.estimators import H2ORandomForestEstimator # Import the cars dataset into H2O: cars = h2o.import_file("https://s3.amazonaws.com/h2o-public-test-data/smalldata/junit/cars_20mpg.csv") ## 타겟 변수 (classfication) cars["economy_20mpg"] = cars["economy_20mpg"].asfactor() ## 타겟 변수 (regression) cars["economy"] = cars["economy"].asnumeric() predictors = ["displaceme..

지도 학습에 목적 함수로는 크게 2개로 나눌 수가 있다. Regression Classification Objective Functions for Regression keras에서는 많은 Regression에 대한 목적 함수를 제공하고 있다. Regression 문제는 아래와 같이 D차원 공간 $R^D$의 독립 변수인 $x$와 종속 변수인 $y$ 사이에 선형 관계를 설정해야 한다. 2가지 관점에서 볼 수 있다. Ordinary Least Squares (uses Mean Squared Error, see above) Maximum Likelihood Estimation. $$y_i(x_i,w)=w_0+w_1x_{i1}+w_2x_{i2}+...+w_Dx_{iD}+\epsilon_i, \text{ i=1,2..

이번에는 여러 가지 Regression 모델을 비교하는 모델을 코드를 만들어봤다. Pipeline을 쓸 기회가 없어서 잘 몰랐는데, 참 편리한 것 같다! from sklearn.linear_model import LinearRegression, Ridge, Lasso, ElasticNet from sklearn.linear_model import LassoCV , ElasticNetCV , RidgeCV from sklearn.preprocessing import PolynomialFeatures from sklearn.decomposition import PCA from sklearn.metrics import mean_squared_error as mse from sklearn.metrics impo..