ML(머신러닝)(52)
-
[Unity] Windows 10에서 설치해보기 (Free 버전)
Unity에 관심이 생겨서 설치부터 시작해서 강화 학습으로 실제 적용하는 것까지 공부를 해보려고 한다. 아마 그냥 일반적인 다운로드하는 것과 동일하지만, 일단 시도를 해보려고 한다! 일단 설치한 것 부터 공유한다. 설치는 2020년 11월 26일에 진행했으니 날짜를 참고해주시길 바란다. 일단 아이디는 있다는 가정하에 진행한다. 아이디 같은 경우 구글 아이디로도 가능하다. 일단 사이트에 들어가면 다음과 같은 화면이 나온다. (store.unity.com/kr) 여기서 개인을 누르고, 학생이면 학생을, 아니면 Persornal에 있는 시작하기를 누른다. 그러면 아래와 같이 HubSetup이 다운로드가 된다. 그리고 저걸 눌러주면 이제 다운로드가 시작된다. 원래 설치를 이미 했엇는데, 다시 설치를 해보려고 한..
2020.11.26 -
[Pyro] Bayesian Regression 해보기
pyro.ai/examples/bayesian_regression.html Bayesian Regression - Introduction (Part 1) — Pyro Tutorials 1.4.0 documentation Model In order to make our linear regression Bayesian, we need to put priors on the parameters \(w\) and \(b\). These are distributions that represent our prior belief about reasonable values for \(w\) and \(b\) (before observing any data). Making a Bayesi pyro.ai pytorch에서 ..
2020.09.29 -
[Python] pycaret 패키지
업데이트도 됬다고 하고, 한번 써보면 좋을 것 같아서 일단 글에 남겨둠 Scikitl-Learn 보다는 high level 로 제공하고 있다, 그러나 알고리즘도 더 다양한 것을 제공하고 gpu도 사용 가능해보인다. 쉽게 여러가지의 알고리즘을 한꺼번에 돌리거나 비교할 때 유용하다고 생각됨. link.medium.com/tsdJBkJJm9
2020.08.30 -
BLiTZ — A Bayesian Neural Network LSTM 으로 주가 예측 해보기
광고 한 번씩 눌러주세요! 블로그 운영에 큰 힘이 됩니다 :) 이번엔 BLiTZ 개발자가 LSTM을 베이지안 뉴럴 네트워크로 구현해줬다. 요즘 LSTM 쪽을 공부하고 있는데, 또 하나의 선택지로 고민해볼 만한 것 같아서 해보기로 했다. BLiTZ 개발자는 종가 데이터만을 넣고 하루 뒤 종가를 예측하는 것을 예제로 보여줬고, 필자는 'Open', 'High', 'Low', 'Close', 'Volume' 총 5가지 input을 주고 하루 뒤 Close를 예측하는 것을 해봤다. 우리가 알고 있는 LSTM의 형태이다. 여기서 W,Bias를 determinstic 하게 사용하지 않고 분포에서 샘플링으로 하는 것이 이 패키지의 베이지안 방법이다. ## Data Normalizing scaler = Standard..
2020.04.19 -
BLiTZ — A Bayesian Neural Network 해보기
광고 한 번씩 눌러주세요! 블로그 운영에 큰 힘이 됩니다 :) 현재 일반적인 딥러닝 모델들엔 결과들은 결과에 대한 불확실성을 측정할 수가 없다. 개인적으로 리스크 관리나 결과에 대한 신뢰도 측면에서 이점은 굉장히 중요하다 생각을 하고 있다. 하지만 베이지안과 뉴럴 네트워크를 결합하는 순간 굉장히 코드가 어려워지는 것을 느낀다. 그래도 평소에 베이지안 뉴럴 네트워크에 대해 관심을 가지고 있어서, 쉽게 할 수 있는 것이 있으면 해 보려고 노력하고 있다. 그러던 와중에 해당 패키지를 알게 됐다. 파이토치로 만든 패키지이다. 베이지안 딥러닝은 determinstic 가중치를 가지지 않고, 가중치의 정규 분포로부터 가중치를 샘플링하는 방법론을 사용한다. 일반적인 determinstic한 것은 다음과 같다. 여기서..
2020.04.11 -
(개인 공부) Markov Chain 정의 도박사 파산의 예시 및 다른 예시
상태 공간을 다음과 같이 정의하여 transition probability matrix를 구함 참고 문헌 Bayesian Methods for Finance and Economics 최병선 지음
2020.03.29 -
지도 학습에서 사용하는 목적 함수 정리하기
지도 학습에 목적 함수로는 크게 2개로 나눌 수가 있다. Regression Classification Objective Functions for Regression keras에서는 많은 Regression에 대한 목적 함수를 제공하고 있다. Regression 문제는 아래와 같이 D차원 공간 $R^D$의 독립 변수인 $x$와 종속 변수인 $y$ 사이에 선형 관계를 설정해야 한다. 2가지 관점에서 볼 수 있다. Ordinary Least Squares (uses Mean Squared Error, see above) Maximum Likelihood Estimation. $$y_i(x_i,w)=w_0+w_1x_{i1}+w_2x_{i2}+...+w_Dx_{iD}+\epsilon_i, \text{ i=1,2..
2020.03.12 -
Differentiable Convex Optimization Layers
https://locuslab.github.io/2019-10-28-cvxpylayers/?fbclid=IwAR3wDcPysj0W-LGdRyVRT_X0CT3b_Ymy3BcV_ztTegcB8h2t0QOwjkJEQxM Differentiable Convex Optimization Layers CVXPY creates powerful new PyTorch and TensorFlow layers locuslab.github.io
2019.11.17 -
Optuna: A Next-generation Hyperparameter Optimization Framework
https://arxiv.org/abs/1907.10902?fbclid=IwAR3I44Xha4ULqLpBOVpd5nx4ddLONLqT6M_BnE4SUXJ1ec_wCTWiCDjQAls Optuna: A Next-generation Hyperparameter Optimization Framework The purpose of this study is to introduce new design-criteria for next-generation hyperparameter optimization software. The criteria we propose include (1) define-by-run API that allows users to construct the parameter search space ..
2019.11.17 -
Credible Interval(신용구간) , Confidence Interval(신뢰구간) 차이
도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 아래 미디엄에 처음에 저 Credible Interval이 신뢰구간인 줄 알고 오랜만에 복습할 겸 읽어봤는데,... 아니었다... 베이지안에서 사용하는 Credible interval이었고, 베이안에 관심이 있기 때문에 읽어보기 시작했다. https://towardsdatascience.com/do-you-know-credible-interval-e5b833adf399 Do You Know Credible Interval Don’t Mess up Your Next Data Science/Analyst/PM Interview towardsdatascience.com “Here is a confidence interval from..
2019.11.11 -
MISSFOREST 알고리즘 설명
missing data는 통계적인 방법의 실재적 적용에 꽤 흔하다. 그리고 imputation은 완전하지 않은 데이터셋의 분석에서 쓰는 일반적인 통계적 기법이다. 2012년에 Stekhoven and Bühlmann 은 missing data를 처리하기 위해 iterative method라고 하는 missforest를 제안했다. 이 글에서는 missforest에 대해서 간단한 설명을 써보려고 한다. 흔히 MISSING에서는 3가지 메커니즘이 있다고 한다. MCAR과 MAR 같은 경우에는 수많은 방법으로 대체가 가능하다 (mean / mode imputation, conditional mean imputation (regression imputation), stochastic regression imput..
2019.10.01 -
[ Python ] Neural Network의 적당한 구조와 hyperparameter 찾는 방법
hyperparameter를 찾는 우리의 옵션은 몇 가지가 있다. 1. Hand Tuning or Manual Search 하나씩 시도해서 올바른 구조를 찾는 것은 굉장히 고된 일이다. 그러나 약간의 경험과 초기 결과에 대한 섬세한 분석은 도움이 될 수 있다. 2. Grid Search 최적화를 하기 위해서 원하는 각각의 범위를 정해서 통과시킨다. 그러나 이러한 방법은 다 해보기 때문에, 보고자 하는 파라미터가 많아질수록 시간이 많이 걸릴 것이다. 3. Random Search 모든 가능한 조합에서 랜덤하게 선택하는 방법으로 결국 Grid Search의 subset이 된다. 4. Bayesian Optimization/Other probabilistic optimizations 나도 개인적으로 제대로 최..
2019.09.08