유용하니까 사용하자. 몇 번 사용하였을 때 여러 장점이 있지만, pipereqs를 설치했지만 이 설치한 항목에 대해서는 requirements.txt 에 보이지가 않는다. 설치 pip install pipreqs 실행 경로를 설정하면 특정 경로에 패키지가 설치가 된다. 여기서는 예를 들어 /home/project/location/requirements.txt 로 있을 것이다. pipreqs /home/project/location 이거 말고 poetry도 있는 것 같기는 한데, 그것은 파이썬 버전까지 해서 관리할 수 있는 것 같은데 절차가 좀 있어서 간단하게 할 때는 이게 좋아보인다. 옵션 해보다보면, 리눅스에서는 잘 되는데, 윈도우에 잘 안되는 경우가 있다. 내가 겪은 문제는 인코딩이 문제였고, 다음과..

기존에 패키지 requirements를 만들 때 다음과 같이 만드는 것을 다들 알고있을 것이다. pip freeze > ./requirments.txt 필자도 보통 위와 같이 만드는데, 만들고 나면 꼭 이상한 목록들이 몇개 생긴다. pkg @asdasdasdasd 이런식으로 패키지명하고 뒤에 @를 하고 적혀있는 것이 있다. 그래서 저러다보니 나중에 install을 할 경우 중간에 멈추는 경우가 발생한다. pip install -r ./requirements.txt # 에러 발생! 그래서 패키지 버전이 다 잘나오게 하는 것을 찾다보니, 아래와 같은 코드가 있어서 공유한다. pip list --format=freeze > ./requirements.txt 사실 아직 설치 테스트는 안한 상태라서 잘 될지는 모..

가끔 gif로 표현해야 하는 것들이 있다. 이때 보통 사진을 저장해서 gif로 만들었는데, 해당 패키지는 array를 저장해서 array를 이용해서 gif를 만들어준다. 아주 좋은 패키지인 것 같아 공유한다. 설치 방법 pip install array2gif 예제 코드 import numpy as np from array2gif import write_gif dataset = [ np.array([ [[255, 0, 0], [255, 0, 0]], # red intensities [[0, 255, 0], [0, 255, 0]], # green intensities [[0, 0, 255], [0, 0, 255]] # blue intensities ]), np.array([ [[0, 0, 255], [0, ..

파이썬 코딩을 하다 보면, 모르는 부분에 디버깅 툴이 없다면, print를 해서 찾는 경우가 많다. 필자도 print로 하나하나 하는 습관이 많이 있었지만, 실수가 있기 때문에 디버깅에 어려움을 느낀다. 그래서 어쩌다 찾게된 패키지가 icecream이다. 해당 패키지를 사용하게 되면 디버깅 시에는 프린트가 되게 하고, 안될 때에는 전부 다 안되게 할 수 있는 설정이 있다. 아래와 같이 debug시에는 사용하는 모드와 비사용모드를 선택할 수 있기 때문에 항상 프린트를 하고 지우지 않아도 프린트가 안된다라는 장점이 있다. from icecream import ic ic(1) ic.disable() ic(2) ic.enable() ic(3) # ic| 1: 1 # ic| 3: 3 뿐만 아니라 custom pr..

실제라 아나콘다를 사용할 때 터미널에서 파이썬 환경을 바꾸고 설치해야 하는데, 이 작업이 귀찮을 수도 있고, 실제로 할 때 잘 안되는 경우가 있었다. 아래 코드를 사용하니, 잘되는 것을 확인했고, 공유함. import sys !{sys.executable} -m pip install xlsxwriter

이전에 dependency를 고려해서 패키지를 설치하려고 이상한 코드를 짠 것이 기억이 난다.. 찾아보니 pip download가 dependency를 고려해서 설치하는 것 같다. 문제라고 생각하는 점은 패키지들 간에 dependency는 고려해주진 않을 것 같다. 암튼 패키지 설치는 인터넷은 필요 암튼 아래 코드처럼 하면 tensorflow==1.14.0 에 해당하는 dependency를 다 설치할 수 있다. pip download tensorflow==1.14.0 -d D:\pip_download 이 방법 말고도 requirements.txt를 이용해서도 설치할 수 있다. pip download -r requirements.txt -d D:\pip_download 이렇게 하면 requirements...

함수를 잘 못 짜서 다시 load를 해야하는 경우에 함수만 바꾼다고 해서 이미 올라간 것이 바뀌지 않는다. 그래서 위에 2줄을 써주면 다시 load가 되서 수정된 것이 반영된다. %load_ext autoreload %autoreload 2 from custom_package import *

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ categorical 변수 가장 빈도수 많은 것으로 대체할 때, df_most_common_imputed = colors.apply(lambda x: x.fillna(x.value_counts().index[0])) df_most_common_imputed ## scikit-learn 0.2 버전 imputer=CategoricalImputer(strategy='most_frequent', axis=1) imputer.fit(df[["col1", "col2"]]) imputer.transform(df) (https://stackoverflow.com/questions/25239958/impute-categorical-missi..

최근에 사용한 패키지 상태를 그대로 유지하면서, 다시 사용해야 할 때 전달해야 하는 이슈가 있었다. 그래서 처음에는 pickle로 저장해봤는데, 안되서 이유를 찾아보니 밑에 글에 잘 정리된 게 있으니 확인해보시길 바란다! 사실 R에서는 .RData로 몽땅 집어넣을 수가 있는데, 이것이 되는지가 궁금했다 https://lovit.github.io/analytics/2019/01/15/python_dill/ Python dill 로 class definition 까지 binary 로 저장하기 파이썬으로 작업을 할 때, 사용자가 정의하는 클래스 인스턴스를 저장할 일들이 있습니다. 예를 들면 namedtuple 을 이용한 데이터 타입이라던지, PyTorch 에서 nn.Module 을 상속받은 모델들이 그 예입니..