Kafka라는 것에 대해 공부하기 전 개념에 대해서 일단 보려고 하다가 좋은 자료가 있어서 번역해본다. https://timber.io/blog/hello-world-in-kafka-using-python/ Hello world in Kafka using Python We're going to teach you what Kafka is, apprehending the need for a tool like Kafka and then get started with it. We're believers that the best way to learn something is to do it, so get out your terminal and your favorite code editor. timber.io 이 ..

Flask를 이용해서 RestAPI를 해보려고 하는데, 이런 에러가 떴다. 실제로 검색해보니 ~~~~ 이 부분과 매칭 되는 놈이 걸렸다. env | grep -i proxy 그래서 proxy를 잘 모르지만, 저 놈이 먼가 맵핑이 되어있어서 문제였던 것 같다. 그래서 아래 글에서 제시한 방법으로 해결! unset http_proxy unset ftp_proxy unset https_proxy 하지만 저렇게만 하면 다시 원래대로 돌아옵니다. 그래서 직접 들어가서 설정을 해줘야 합니다. 저는 이렇게 설정을 해주니 그다음부터는 안 해줘도 되더라고요! vi /etc/environment http_proxy = "" https://askubuntu.com/questions/347384/curl-5-couldnt-r..

보통 주피터를 사용하다보면, 메모리에 대해서 체크를 하고 싶은데, 명령어를 써야해서 복잡하다. 하지만 역시 사람들은 똑똑하다보니, 메모리 체크와 모니터링하는 것을 만들었다. 같이 서버를 쓰다보면, 어떤 분이 이렇게 메모리를 많이 잡아먹고 싶은지 알고 싶을 때가 있다. python ~.py로 하면 명확히 떠서 알수있지만, Jupyer 같은 경우에는 커널이름으로 떠서 추측을 해야했다. 그래서 해결할 것을 찾아보니 다음과 같다! nbresuse https://github.com/yuvipanda/nbresuse yuvipanda/nbresuse Jupyter Notebook Extension for monitoring your own Resource Usage - yuvipanda/nbresuse github..

## 캐시 싹 지우기 echo 3 > /proc/sys/vm/drop_caches swap 캐쉬 지우기 python import os os.system(swapoff -a && swapon -a) #commad swapoff -a && swapon -a ## check 메모리 #command free -m

최근에 OCR을 맡게 되어서, 데이터를 생성하기 위해서 annotation 작업을 해야 했습니다. 그래서 몇 가지 알아본 것을 소개하고자 합니다. 저는 처음에 VGG annotator를 사용했는데요. 이것을 제가 쓰지 않은 이유는 html로 사용해야 돼서 삼성 노트북 펜을 쓰지 못해서 안 했습니다. 왜냐면 저는 이것을 버스 타면서 할 거라서요.... 시간을 최대한 효율적으로 쓰기 위해 다른 툴을 찾아 떠났습니다. 그러다가 찾은 것이 labelimg라는 툴이었습니다 이것은 삼성 노트북 펜으로 쭉 그으면 잘 되더라고요!! 그래서 이것을 선정해서 열심히 그리고 있습니다. garbage in garbage out을 막기 위해 열심히 `잘` 그리려고 노력하고 있습니다ㅎㅎㅎㅎ 이상입니다. (tkffuwntpdy b..

## 원하는 것만 풀 때 unzip a.zip b.zip c.zip ## 여러개를 한번에 풀 때 unzip '*.zip' ''를 해줘야 한다!! ## 여러개를 하는데 원하는 폴더에 넣고 싶을 때 다음과 같이 진행하다. unzip '*.zip' -d /home/user/folder/ unzip '*.zip' https://chrisjean.com/unzip-multiple-files-from-linux-command-line/ Unzip Multiple Files from Linux Command Line :: Chris Jean chrisjean.com https://askubuntu.com/questions/518370/extract-several-zip-files-each-in-a-new-folder..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ python3.6 , 3.7에서 가능하다고 합니다. 환경 따로 만들고 싶은 분은 새로 만들기 conda create -n my-env python=3.7 numpy conda activate my-env ## 설치설치 Get OpenCV git clone https://github.com/opencv/opencv.git cd opencv git checkout tags/3.4.4 ## Configure CMake mkdir release-myenv cd release-myenv cmake -DBUILD_TIFF=ON -DBUILD_opencv_java=OFF -DWITH_CUDA=OFF -DWITH_OPENGL=ON -DWIT..

h2o driverless-ai 를 설치하려고 하다가 proxy 어쩌고 저쩌고가 자꾸 뜨길래, 여러가지 테스트를 하다가 포기를 하고 다른일 하다가 다음과 같은 일이 발생했다. apt-get update 오류 발생 http://ppa.launchpad.net/webupd8team/java/ubuntu/dists/xenial/InRelease 파일을 받는데 실패했습니다 고정아이피:12345에 연결할 수 없습니다: 인터넷은 되지만, apt-get update는 되지 않는 상태였다.... 당황 x 100이였다. 당황한채 손에서는 어떻게 쳐야할지 몰라서 허둥지동 하다가 다음과 같은 해결사를 만났다. https://stackoverflow.com/questions/24984600/resetting-http-prox..

https://github.com/h2oai/h2o4gpu h2oai/h2o4gpu H2Oai GPU Edition. Contribute to h2oai/h2o4gpu development by creating an account on GitHub. github.com 저는 cuda9 로 진행을 하였습니다. export CUDA_HOME=/usr/local/cuda # or choose /usr/local/cuda9 for cuda9 and /usr/local/cuda8 for cuda8 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CUDA_HOME/lib64/:$CUDA_HOME/lib/:$CUDA_HOME/extras/CUPTI/lib64 sudo apt-get insta..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ Virtualenv 같은 경우 아래 URL 참고 https://data-newbie.tistory.com/302 virtualenv jupyter notebook 커널 추가 및 삭제 Conda로 하는 경우는 아래 URL 참고 https://data-newbie.tistory.com/113 anaconda로 설치한 가상 환경 jupyter notebook kernel에 추가하기 conda create -n yourenvname python=x.x anaconda ## 환경에서 패키.. data-newbie.tistory.com conda create -n yourenvname python=x.x anaconda ## 환경에서 패..

## 가져오기 ## https://www.h2o.ai/download/ ## latest release 누르고 Package TYPE TAR SH 가져옴 wget http://artifacts.h2o.ai.s3.amazonaws.com/releases/ai/h2o/dai/rel-1.6.1-12/x86_64-centos7/dai-1.6.1.1-linux-x86_64.sh ## 1 chmod a+x dai-1.6.1.1-linux-x86_64.sh ## 2 ./dai-1.6.1.1-linux-x86_64.sh ## 3 cd dai-1.6.1.1-linux-x86_64 ## 4 ./dai_env.sh ## 5 ./run-dai.sh 나의 문제점 고정 아이피로 진행하고 있는데 위에 마지막에 run-dai.sh ..

패키지를 설치하다보면, 중복되게 머가 설치된지 몰라서 중복되게 설치하는 경우가 있다. 오늘 우연히 좋은 코드를 알게되서 공유하려고 한다. required_CRAN