꿀팁 분석 환경 설정(113)
-
How to: Linux / UNIX create soft link with ln command
symbolic links (also known as “soft links” or “symlinks”): Refer to a symbolic path indicating the abstract location of another file. hard links : Refer to the specific location of physical data. inode? 파일 시스템 내에서 파일이나 디렉터리는 고유한 inode를 가지고 있다. inode는 파일의 소유권, 권한, 파일 내용이 들어있는 물리 주소, 링크 수, 형태, 크기, 시간 등 파일에 대한 정보를 가지고 있다 (주민 번호와 같은 개념으로 고유함 정도로 이해) 심볼릭 링크(Symbolic Link)란? 심벌 링 링크는 단순히 원본 파일을 가리키도록 ..
2021.07.18 -
디버깅) 파이썬 코드 실행 시각화 또는 추적을 하는 3가지 도구
파이썬 실행 코드를 실행할 때 표현해주는 3가지 도구들이 정리된 것이 있어서 공유한다. Loguru — print better exceptions snoop — print the lines of code being executed in a function heartrate — visualize the execution of a Python program in real-time 필자는 여기서 가장 인상 깊은 것은 Logoru 부분이 로깅할 때 유용할 것 같아서 찾아보게 되었는데, 나머지도 좋은 것 같아서 추후에 정리하려고 한다. Loguru — Print Better Exceptions snoop — Print the Lines of Code being Executed in a Function heartr..
2021.05.08 -
디버깅) CyberBrain
installation 1. Installing the library via pip command: pip install cyberbrain 2. Installing the VSCode extension: Currently, the library only supports VSCode IDE and GitPod. I think most of the developers use VSCode (if not, switch as soon as possible!), and installing the extension is not a hard task. Search for this extension and install it: from cyberbrain import trace @trace def add(a,b) : ..
2021.05.08 -
초기 Data Science Project 폴더 생성 및 tree strcture 확
위의 코드에서 일부 수정해서, 초기에 폴더 생성 관련한 코드를 공유한다. 매우 간단하니, 다른 분들도 사용할 때 자기에 프로젝트 상황에 맞게 수정해주시면 될 것 같다. 그리고 추가적으로 아래에는 간단하게 트리 구조를 볼 수 있는 코드가 있어 같이 구현해봤다. 현재 이 코드는 CMD 창에서 있는 현재 위치에서 생성하는 코드이다. import os root = ["src","test","model","data","notebook","output"] data_sub_node = ["raw","processed"] notebook_sub_node= ["eda","poc","modeling","evaluation"] src_sub_node = ["preprocessing","modeling","sampler"] ..
2021.04.24 -
mpi4py 설치 에러 해결하기
OS : ubuntu16.04 RROR: Command errored out with exit status 1: command: /opt/conda/envs/rl/bin/python3.7 -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-4q1x2alw/mpi4py_d44b5798f89d40429ac785557052b8ca/setup.py'"'"'; __file__='"'"'/tmp/pip-install-4q1x2alw/mpi4py_d44b5798f89d40429ac785557052b8ca/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f..
2021.03.28 -
Library "GLU" not found 해결 방법
에러가 나서 찾아 보니, 다음과 같은 해결책을 찾아서 공유한다 OS : ubuntu16.04 sudo apt-get update sudo apt-get install freeglut3-dev www.devmanuals.net/install/ubuntu/ubuntu-16-04-LTS-Xenial-Xerus/how-to-install-freeglut3-dev.html How to install freeglut3-dev On Ubuntu 16.04 Lts? Uninstall and remove freeglut3-dev Package Quick installation of freeglut3-dev: Step 1: Update system: sudo apt-get update Step 2: Install: fre..
2021.03.28 -
memory profiler 를 활용해서 메모리 사용량 확인하기
목차 패키지 설치 pip install memory_profiler 실행방법 memory profiler를 작동하려면 다음과 같이 한다. python script가 종료되어야 가능하다. python -m memory_profiler test.py memory profiler를 logging 하려면 다음과 같이 하면 된다. logging은 다음과 같이 하면 된다. python -m memory_profiler test.py > ./log.txt @profile로 지정하여야 그 부분에 대해서 확인이 된다! # imports from memory_profiler import profile import requests class BaseExtractor: # decorator which specifies whi..
2021.03.05 -
[Python] python modules import 하는 3가지 테크닉
towardsdatascience.com/3-advance-techniques-to-effortlessly-import-and-execute-your-python-modules-ccdcba017b0c 3 Techniques to Effortlessly Import and Execute your Python Modules How to Make your Python Modules User Friendly towardsdatascience.com 1. Import Everything Scenario utils.py에 있는 모든 함수와 클래스를 불러오기 def add_two(num: int): return num + 2 def multiply_by_two(num: int): return num * 2 a = 5..
2021.03.02 -
VSCode에서 Google Colab GPU Runtime 접속하기
아래 블로그를 참고해서 하나씩 직접 진행중... Steps: First, you need to have a cloudfare binary file. You can download it for your corresponding operating system from here. Follow all the instructions given here to install it. Once cloudflared is installed, you will have a binary(.exe) file after extracting the package. Copy the exact path to the binary file. For example, in my case it is in C drive, so I will wri..
2021.03.01 -
[vscode] pylance extenstion 사용할 때 발생하는 import [user library] could not resolve 해결하기
"완벽한 해결책은 아니라는 것을 먼저 말씀드립니다." 파이랜스(Pylance)는 마이크로소프트의 기존 파이썬(Python) 확장 기능과 연동돼 파이썬 개발자에게 더 빠른 타입 검사 및 프로그램 분석을 제공한다. pylance를 사용하면 개발자가 좀 더 빠르게 개발할 수가 있고, 여기에 Error Lens라는 extensions까지 같이 사용하면 더 좋다! 예를 들어 이런 식으로 vscode에서 error를 아주 잘 보여줘서 디버깅하기가 쉬워진다. 근데 여기서 발생한 문제가 있다. pylance를 사용했을 때 사용자가 따로 개발한 script는 잘 적용이 안되는 이슈가 있었다. 나 같은 경우에는 src --> data ---------> test train --> train ---------> train...
2021.02.12 -
[vscode] python 및 git 관련 Extention 찾아보기
vscode에서 python 관련해서 유용한 extension 찾아보기 extension 빈도 1. Python 2 2.Bracket Pair Colorizer 3 3. Better Comments 2 4. Error Lens 5. Git Graph 6. GitLens Git supercharged 7. Python Preview 2 8. Bookmarks 9. TODO Highlight 10. Python Indent 2 11. TabNine 12. Indent-Rainbow 2 13.Python Snippets 14. autoDocstring Reference dev.to/ritulsingh/my-top-10-visual-studio-code-extensions-for-python-in-2020-l3..
2021.02.10 -
[jupyter notebook] auto save interval 변경하기
그냥 하는 방법은 아래와 같다. %autosave n medium.com/nabla-squared/how-to-change-the-autosave-interval-in-jupyter-notebooks-2ab996fe4446 How to change the autosave interval in Jupyter Notebooks You can use this Jupyter extension medium.com 실제로 왜 저장 시간을 바꿔야 하는지는 잘 모르겠다. 메모리 때문일지 아니면 머 때문일지는 모르겠지만, 혹시 필요한 경우가 있을 수도 있으므로 기록
2021.01.16