광고 한번만 눌러주세요 ㅎㅎ 블로그 운영에 큰 힘이 됩니다. 실제 분석 시에 정형 데이터의 범주형 데이터 처리가 골치가 아픕니다. 범주형 데이터는 보통 one-hot을 통해, 데이터를 굉장히 희소하게(sparse)하게 만들기 때문입니다. 보통 이렇게 차원이 커지게 되면, 차원의 저주에 빠질 수 있으면서, 학습도 굉장히 잘 안됩니다. 그래서 저는 보통 차원이 커질 경우 보통 embedding을 시키거나, 아니면 요즘은 catboost encoder나, target encoder 같은 방법을 써보려고 합니다. 이번에는 좀 더 변수 선택 차원으로 이야기해보고자 Chi-square 독립 검정을 통해 변수 선택을 하는 것을 보게 되어, 해보면서 공유합니다. Chi-Square Test of Independence..

광고 한번만 눌러주세요 ㅎㅎ 블로그 운영에 큰 힘이 됩니다. Xverse는 X Universe를 줄인 말로, 특징 변환과 특징 선택을 통해 데이터 과학자를 지원하기 위한 기계 학습을 위한 Python 패키지입니다. 일단 필요성에 대해서 말하고자 한다고 합니다. Background 대부분의 데이터 분석가는 80%는 분석 전처리에 쓰고 있다고 한다. Earlier works for this package https://medium.com/@sundarstyles89/weight-of-evidence-and-information-value-using-python-6f05072e83eb Weight of evidence and Information Value using Python Weight of eviden..

sklearn.feature_selection.mutual_info_classif Mutual Information은 두 random variable들이 얼마나 mutual dependence 한 지를 measure 하는 방법을 의미한다. Mutual information - Wikipedia In probability theory and information theory, the mutual information (MI) of two random variables is a measure of the mutual dependence between the two variables. More specifically, it quantifies the "amount of information" (in units..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다. https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectFromModel.html sklearn.feature_selection.SelectFromModel — scikit-learn 0.22 documentation scikit-learn.org 우연히 다른 걸 찾아보다가 알게 되었다. 원래는 threshold를 자동으로 찾아주는 것이 있나 싶어서 찾다가 더 오히려 알고 싶었던 것이 나왔다. 보통 만약에 scikit-learn 패키지 자체를 이용해서 하려면 transform을 사용해서 축약된 feature를 가져오면 되고, 만약 다른 것에..