early stopping을 tune에서 제공하고 있지만, 실제로 사용하려고 하니 뭔가 잘 사용되지 않아서 테스트를 해보고 있다. 일단 기존 문서에 나와있는 training_iteration 단위가 내가 생각하는 epoch이라는 개념과는 조금 다른 것 같다. training_iteration (int): The index of this training iteration, e.g. call to train(). This is incremented after step() is called. 위와 같이 정의되어 있는데, 즉 이말은 step을 호출할 때마 하는 것이지 내부에서 학습 중간에 멈추는 것이랑은 별개인 것 같아서 아래와 같이 실험해봤다. training_iteration은 알아서 내부적으로 생성되는 p..

import ray ray.init(log_to_driver=False)

ray-project 중에서 tune-sklearn 패키지가 있는 것을 확인했다. 이 패키지는 scikit-learn 모델들을 ray를 사용해서 병렬 처리를 하게 해 준다. ray를 잘 쓰고 싶은 사람이기 때문에 테스트를 해봤다. 이번 글에서는 scikit-learn에서 제공하는 변수 선택법을 회귀 모델에 적용해서, 가장 최적의 변수를 찾기 위한 작업을 GridSearchCV로 진행해 본 것을 공유한다. 패키지 설치 방법 pip install tune-sklearn ray[tune] from sklearn.feature_selection import ( VarianceThreshold , SelectFromModel, SelectKBest,GenericUnivariateSelect,SelectPercen..

광고 한 번씩 눌러주세요 블로그 운영에 큰 힘이 됩니다. : ) 파이썬 실력은 부족하지만, 빠르게 돌리기 위해서 병렬 처리에 대해서 관심이 있다. 기존에는 주로 multiprocessing을 많이 해결했는데, 웬만한 거는 쉽게 할 수 있어서 좋았지만, 모델링을 하였을 때, 일단 데이터를 각 프로세스마다 복제해서 커지는 것도 문제고, 데이터의 크기가 크면 안 된다라는 단점을 확인했다. 그러던 중에 ray라는 존재에 대해서는 알게 되었지만, 이러한 문제를 해결해줄 수 있을 것 같아서(추측) 읽어보기로 한다. 개인적으로 쭉 읽고 나서 기존 multiprocessing 보다 많은 장점이 있는 것을 확인하였고, 익숙해지기 위해 노력해야겠다 파이썬 라이브러리 중에서 multiprocessing 가 많은 영역에서 사..