python 실행한 script를 전체 삭제하는 방법 만약 실행된 script가 규칙이 있다면 다음 코드 사용하면 주피터 노트북에서 쉽게 삭제 가능! def check_kill_process(pstring): import os, signal for line in os.popen(f"ps ax | grep {pstring} | grep -v grep"): fields = line.split() pid = fields[0] os.kill(int(pid),signal.SIGKILL) 만약 1_a.py , 2_a.py , 3_a.py와 같은 스크립트가 있을 때를 가정 ## check_kill_process("a.py") check_kill_process('"train.py --case_idx 4 --versio..

legend의 순서를 조정 바꾸고 싶을 때가 있다. 쌍으로 묶고 싶은 것들이 떨어져 있었다. 이 문제를 해결하기 위해서 다음과 같은 방법으로 해결했다. labels에서 A A 끼리 B , B 끼리... 묶고 싶었다. legend = plt.legend(handles=handles, labels=labels, ncol=5, bbox_to_anchor=(0.9, 1.0), labelspacing = 0.1, columnspacing = 0.5, fancybox=True, shadow=True,fontsize=14 ) frame = legend.get_frame() frame.set_linewidth(0.0) plt.show() 하지만 그냥 하면 저렇게 떨어지게 된다. 그래서 label을 가져와서 다음과 같은..

광고 한 번만 눌러주세요 블로그 운영에 큰 힘이 됩니다! R에서는 ggplot이라는 함수를 사용하면 쉽게 group별로 비율 막대그래프를 시각화한다. 그러나 Python은 R과 다르게 Category 변수에 대해서 비율 시각화를 하는 것을 따로 제공하지 않는 것 같다. ## R ggplot(mtcars,aes(x=factor(cyl),fill=factor(gear)))+ geom_bar(position="fill") 그래서 이번에는 저번에 만들었던 비율 막대 그래포와 Density Plot을 같이 그려보는 것을 하였다. 하는 방법은 위에 R처럼 group별로 하기 위해서 pandas에서 groupby를 사용하고 그다음에 group별로 value_counts로 비율을 계산한 후 바로 bar plot으로 그..

한 번만 실수로 광고를 눌러주세요! 블로그 운영에 큰 힘이 됩니다. :) 인터넷이 안 되는 환경에 패키지를 설치해야 할 일이 있다. 이런 일이 있을 때, 만약 도커 같은 것을 굉장히 편리하게 할 수 있지만, 아직 안 쓰는 곳도 있을 때는 의존성을 다 확인해서 가져가야 한다. R에서는 이러한 것을 고려해서 한번 설치하면 모든 dependency를 설치해주는 miniCRAN이라는 방법이 있지만, 아쉽게도 파이썬에서는 모든 dependency까지는 고려해주는 것을 아직까진 본 적이 없다. pip download 를 사용하면, 해당 패키지에 대한 Dependency까지는 고려해주지만, 그 Dependency의 Dependency 패키지는 설치를 안 해주는 것 같다. https://pip.pypa.io/en/st..

하이퍼파라미터를 튜닝하는 방법에는 여러 가지가 있다. 일단 기본적으로 GridSearch 나 RandomSearch 같은 방법이 있다. 하지만 이 방법론은 각 파라미터를 돌릴 뿐이지, 최적의 파라미터를 찾아주지는 못한다. 이런 것을 활용하기 위해서 Bayesian Optimization 방법론을 사용하여야 한다. 아래 그림 중에서 밑에 실제 결과라는 부분은 learning rate에 따른 일반화 성능 함수를 나타낸다. 그러나 우리는 저기에서 어떤 learning rate가 최적의 값인지를 알지 못한다. 그렇지만 실제로 딥러닝을 할 때는 저것을 순차적으로 한다면, 원하는 성능을 얻을 수 있다는 확신도 없이 계속 돌려야 한다. 그래서 많은 연구자들이 이러한 문제점을 해결하기 위해 병렬로 돌리는 것을 연구하였..

Shift + Enter : 현재 셀 실행 Ctrl + Enter : 선택된 셀 모두 실행 Alt + Enter : 현재 셀 실행하고 아래에 셀 삽입 Ctrl + S : 저장 Shortcuts when in edit mode: Esc : command 실행 모드하기 전에 ESC 누르기 Tab code completion or indent Shift + Tab : 도움말 Ctrl + ] : indent 넣기 Ctrl + [ : dedent (indent 빼기?) Ctrl + A : 전체 선택 Ctrl + Z : 되돌리기 Ctrl + Shift + Z or Ctrl + Y : redo Ctrl + Home : 맨 위의 셀로 이동 Ctrl + End : 맨 아래 셀로 이동 Ctrl + Left : 한 단어 앞..

더 빠르게 돌리는 방법 중 하나인 numba에 대한 글에 있는 코드 https://towardsdatascience.com/numba-weapon-of-mass-optimization-43cdeb76c7da Numba: “weapon of mass optimization” Numba is a Python compiler, specifically for numerical functions and allows you to accelerate your applications with high performance… towardsdatascience.com What is Numba? Numba is a compiler that allows you to accelerate Python code (numerical..

https://towardsdatascience.com/four-useful-functions-for-exploring-data-in-python-33b53288cdd8 Four Useful Functions For Exploring Data in Python Exploring and Visualizing Data in Python towardsdatascience.com 파이썬은 시각화 함수가 seaborn 같은 것이 있지만, R의 ggplot에 비해 먼가 아쉬운 점이 있는 것 같다. 그래서 먼가 유용한 함수들을 따로 만들어 넣고 사용해야 한다. 위의 글에서는 시각화를 하는 데 있어서 유용한 함수들을 몇 개 소개하고 있다. import pandas as pd df = pd.read_csv('./../...

보통 데이터에는 결측치가 존재한다. 이러한 결측을 처리하는 데에 있어서 보통은 먼저 결측을 처리하고 들어간다. 만약 이러한 값에 대해서 tensorflow에서 처리를 하려면 다음과 같이하면 된다. 하지만 이 방법은 특정값으로 대체만 가능하다. matrix마다 다르게 결측 값을 넣는 것은 좀 더 알아봐야 할 것 같지만, numpy나 pandas를 쓰는 게 더 편하긴 할 것 같다. import os , numpy as np import tensorflow as tf data = np.random.normal( size= (5,2)) missingidx = np.random.randint(0,2, size=(5,2)) data[missingidx == 1] = np.nan 위에 처럼 결측이 저렇게 있는 데이터..

그림을 위에서는 2개로 나 누가 밑에는 그냥 1개의 직사각형으로 만들고 싶어서 찾아보고 공유한다. 아래 그림에서는 타겟별 train 확률 값 box plot과 test 확률 값 box plot 그리고 학습 곡선을 그리고 싶었다. fig , axes = plt.subplots(nrows=2 ,ncols=2, figsize=(20,10) ) plt.subplots_adjust(left=0.05, bottom=0.01, right=0.99, top=0.99, wspace=None, hspace=0.2) ax = axes.flatten() sns.boxplot(x="t", y="prob", data=DD , ax = ax[0]) ax[0].set_title("train : {:.3f}".format(AUC) ,..

파이썬 이미지를 동영상 파일로 바꾸는 방법은 여러 개가 있다. ## png -> mp4 os.system(f'ffmpeg -r 30 -i ims/2/a/2a.*.png' f' -crf 30 ims/2/a/2a.mp4') ## png -> gif os.system('convert -delay 15 -loop 0 ims/2/a/2a.*.png ims/2/a/2a.gif') 저런 것은 linux를 이용하여서 하는 작업인데, 이번에는 파이썬에서 opencv를 이용해서 이미지 파일들을 좀 더 고화질로 영상을 만들어보는 코드가 있어서 변형해서 공유한다. import re path = "ims/2/a" paths = [os.path.join(path , i ) for i in os.listdir(path) if re..

이전 글 https://data-newbie.tistory.com/382 저번 글에서 피드백을 받은 PolynomialFeatures와 추가적인 2가지 변수가 아닌 중요 변수 조합을 시각화하는 그림을 만들어봤다. 대신 polynomial은 곱하기 연산으로만 이루어져서, 나누기라던지, 빼기는 표현이 되지 않지만, 쉽게 쓸 수 있다는 장점이 있어서 좋은 것 같다. import matplotlib.pyplot as plt import numpy as np import pandasa as pd import saeborn as sns from scipy.stats import wasserstein_distance as wd , ks_2samp as ks , energy_distance as ed 일단 중요 변수는..