In [1]: from IPython.core.display import display, HTML display(HTML("")) /tmp/ipykernel_2227596/3510566465.py:1: DeprecationWarning: Importing display from IPython.core.display is deprecated since IPython 7.14, please import from IPython display from IPython.core.display import display, HTML In [2]: import shap # train XGBoost model X,y = shap.datasets.adult() In [5]: import pandas as pd import ..

1편 https://data-newbie.tistory.com/manage/newpost/131?type=post&returnURL=https%3A%2F%2Fdata-newbie.tistory.com%2Fmanage%2Fposts TISTORY 나를 표현하는 블로그를 만들어보세요. www.tistory.com 2편입니다. 4 Prediction shift and ordered boosting 4.1 Prediction shift 왜 Gradient Boosting에 Prediction Shift가 발생하는지 설명하는 장입니다. Prediction shift는 특별한 종류의 target leakage에 의해서 발생합니다. Our solution is called ordered boosting and res..

논문 및 Document https://arxiv.org/abs/1706.09516 https://catboost.ai/docs/concepts/python-reference_catboostclassifier_fit.html 현재 Xgboost , lightgbm , gbm 계열인 Gradient Boosting 은 weak learner를 loss function 상에서 Gradient Desecnet를 최적화 기법으로 기울기가 가장 큰 방향으로 tree들을 결합하는 방법입니다. 논문에선 catboost를 새로운 Gradient Descent 방법이라 합니다. catboost는 다른 gbm알고리즘보다 더 좋은 성능을 낼 수 있는 것은 ordering-principle 개념을 대입하여 기존의 Data 누..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 결정 트리 1. 분류 / 2. 회귀모델 결정에 다다를 때까지 예/아니오 질문 이어가면서 학습 구분 예제는 예/아니오 연속적인 데이터에 적용한 테스트는 " 특성 i는 값 a 보다 큰가? " 계측적으로 영역을 분할해가는 알고리즘 ## 복잡도 제어하기 모든 leaf node 가 순수 노드가 될 때까지 진행하면 -> 과대적합 발생 (훈련 세트 100% 정확하게) -> 이상치에 너무 민감 과대 적합 막는 전략 크게 2가지 1) 사전 가지치기 -> 일찍 중단하는 전략 2) 데이터 포인트가 적은 노드를 삭제하거나 병합하는 전략(사후 가지치기) 1) 사전 가지치기 방법 트리의 최대 깊이나 리프의 최대 개수를 제한하거나 또는 노드를 분할하기 ..