code-server를 이용해서 vsocde ide를 서버에 dockerfile을 만들고 띄우는 작업을 하는 도중 jupyter extension을 사용할 때 로딩만 계속되고 나오지 않는 현상이 나왔다.https://github.com/coder/code-server (아래 처럼 계속 로딩 중) 그래서 콘솔을 확인해 보니 다음과 같은 ERROR가 나오는 것을 확인했다. 와 는 가렸습니다 ERR 'crypto.subtle' is not available so webviews will not work. This is likely because the editor is not running in a secure context (https://developer.mozilla.org/en-US/docs/Web/S..

cuda 11.4일 때 pytorch 2.0 대를 쓰고 싶어서 인터넷에서 찾아봤고 공유드린다. 바로 2.0.1이다(2024.02.25 기준) (python 3.10) pip install torch==2.0.1 그렇다면 어떻게 찾을 수 있을까? - 모르겠다..ㅎ 일단 재 설치되는 기준으로 보면 아래와 같은 것들이 설치가 되기는 했다. pip list | grep cuda cuda 11.7 관련한 것들을 자동으로 설치하는 것 같다. Collecting nvidia-cuda-nvrtc-cu11==11.7.99 (from torch==2.0.1) Downloading nvidia_cuda_nvrtc_cu11-11.7.99-2-py3-none-manylinux1_x86_64.whl.metadata (1.5 kB..

소개 모든 머신 러닝(ML) 개발자들은 ML 프로젝트의 성공에 있어서 데이터가 얼마나 중요한지 잘 알고 있습니다. 아주 조금의 데이터 변경도 결과에 극적인 변화를 가져올 수 있습니다. 그래서 데이터에 발생하는 모든 변화를 추적하는 것이 매우 중요합니다. 우리가 이야기하는 것은 'data versioning'라고 불립니다. data versioning란 무엇인가? data versioning(버전 관리)는 프로젝트의 다양한 시점에서 스냅샷을 유지하는 행위입니다. 이 방법은 수십 년 동안 소프트웨어 공학에서 흔히 알려져 있으며, 현대 소프트웨어 개발 과정에서 매우 중요해졌습니다. 버전 관리를 하는 것은 프로젝트 소유자에게 두 가지 주요 이점을 제공합니다: 가시성: 작업의 버전을 유지함으로써 소유자는 시간이 ..

가끔 jupyter를 사용하다 보면 버벅거릴 떄가 있고, 메모리를 많이 차지하는 경우가 있습니다. 이게 실제로 효율적인지는 모르겠지만, 우연히 발견하게 된 interactive view가 도움이 될 수도 있을 것 같아 공유드립니다. 물론 vscode 주피터에서 작업을 하게 되면, 기존에 관습대로 할 수 있어서 좋지만, 실제 학습 코드 개발이나 테스트하는 입장에서는 py에서 작업을 하는 것이 더 좋을 것 같다고 생각이 듭니다. 일단 아마도 jupyter extension이 설치가 되어야 이러한 작업이 가능한 것 같습니다. 설치가 안된 상태에서는 작동하지 않았습니다. 인텔리센스 Python Interactive 창에는 코드 완성, 멤버 목록, 메서드에 대한 빠른 정보 및 매개 변수 힌트와 같은 전체 Inte..

kaggle 노트북을 사용해보고 있는데, 개인적으로는 colab보다 더 편한 느낌이 있다. colabl은 session이 잘 끊기지만, kaggle은 잘 안 끊긴다는 느낌을 받고 있고, 먼가 작업하기가 편한 느낌을 받았다. 그중에서 Kaggle Notebook에서 작업한 결과물을 다운로드 할 수 있는 방법에 대해 공유한다. 실제로 다운로드 하는 버튼이 있는데, 잘 작동하지 않아서 새로운 방법을 찾아봤다. 다른 분들도 도움이 되셨으면 한다 코드 import numpy as np from IPython.display import FileLink import os result = np.array([0.0]) np.save("/kaggle/working/embedding",result) os.chdir(r'/k..

sphinx-rtd-theme 에서 github 링크로 가는 방법에 대해서 공유한다. 이것은 gitlab 역시 동일하다. 코드 추가 source 에서 index.rst 에 아래와 같이 github_url을 넣어준다. .. test documentation master file, created by sphinx-quickstart on Wed Jan 26 10:55:52 2022. You can adapt this file completely to your liking, but it should at least contain the root `toctree` directive. :github_url: https://github.com/sungreong/sphinx-test Welcome to test's ..

Sphinx에서 로그를 간단하게 바꾸는 방법을 공유한다. 일단 source 안에 _static에 자신이 원하는 이미지를 넣는다. 그 다음에 source/conf.py 에 아래와 같은 코드를 추가하자. html_theme에 따라서 html_theme_options가 변경되니 주의하자. # 터미널에서 실행 pip install sphinx-rtd-theme # conf.py 에서 실행 html_theme = "sphinx_rtd_theme" html_static_path = ["_static"] html_logo = "_static/whale.png" html_theme_options = { "logo_only": True, "display_version": False, } 아래의 명령어를 통해 반영할 수 ..

이미지를 클릭하면 URL로 가는 것을 해보고자 한다. 일단 _static 폴더를 source안에 만들고 naver logo를 넣어보자. 그 다음에 index.rst에 해당 코드를 추가하자. |ImageLink|_ .. |ImageLink| image:: /_static/naver.png .. _ImageLink: https://www.naver.com/ 다음 명령어를 통해 반영할 수 있다. cd docs make html 클릭을 하면 들어가는 확인할 수 있다. 끝 naver logo https://sublime-and-sphinx-guide.readthedocs.io/en/latest/images.html Add Images — RST | Sphinx | Sublime | GitHub documentat..

vscode 안에서 ipynb에서 html로 바꾸기 위해서는 아래와 같은 명령어로 사용해야 한다. terminal jupyter nbconvert --to html /Your notebook path/file.ipynb google colabe에서도 동일하다. %%shell jupyter nbconvert --to html /Your notebook path/file.ipynb https://python.plainenglish.io/how-to-convert-google-colab-notebook-ipynb-to-html-ccfeda199246 How to Convert a Google Colab (.ipynb) Notebook to HTML Often, we need to share our code e..

목차 개념 가끔 보면 einsum을 홍보하는 글을 보거나 코드에서 본 것 같다. 처음에는 대수롭지 않게 생각을 했는데, 좀 더 자세히 보니 매력적인 부분이 많은 것 같아 알아보려고 한다. 특히 매력적인 부분은 이것만 알고 있으면 numpy , pytorch, tensorflow 다 동일하게 적용할 수 있다는 점이다. 선형 대수학은 딥러닝 분야에서 근본적인 역할을 하는데, 아직까지는 춘추전국시대라서 통일된 라이브러리가 없고 계속 생겨나는 시점이라 이럴수록 하나로 통일해주는 것을 배우면 좋을 것 같다고 생각했다. 그리고 잘만쓰면, 복잡한 연산도 쉽게 구현할 수 있는 것 같아서 좋은 것 같다. einsum 연산을 통해서, 행렬 내적, 외적, 내적, 행렬곱 등을 동일한 형태로 할 수 있다는 것이 참 매력적인 부..

주피터에서 학습을 시키다 보면, 그림도 띄우고 싶고, tqdm으로 진행과정도 같이 보고 싶을 때가 있다. 하지만 이 2개를 동시에 하기 위해서는 일단 그림을 매번 쓰고 지우는 코드가 필요한데, 바로 clear_output이라는 코드이다. from IPython.display import clear_output plt.plot(np.arange(0,10)) plt.show() clear_output(wait=True) 위와 같이 작성을 하게 되면, 그림을 그리고 지우는 코드가 된다. 하지만 이걸 tqdm과 같이 하게 되면 tqdm bar도 지워지는 현상이 있다. 그래서 찾아보니 아래 링크와 같이 하면 된다는 것을 알았다. 이것을 하나의 주피터 셀안에 넣으면 그림도 그리면서 tqdm이 진행된다. import..

git log 보기 (master) 보고 싶은 경우 git log --graph --decorate --oneline --all master 특정 파일 작업 취소하기 최근 커밋으로 모든 내용 강제로 돌리고 싶은 경우 git reset --hard # 모든 파일의 작업 내용을 버림 특정 파일만 바꾸고 싶은 경우 git checkout -- [Filename] # 특정 파일의 작업 내용을 버림 특정 파일 add 취소 하고 싶은 경우 git reset HEAD [Filename] # 특정 파일을 Unstage 상태로 변경