GPU Monitoring in Containers 프로젝트 소개프로젝트 배경최근 대규모 언어 모델(LLM)과 같은 딥러닝 모델이 급격히 발전하면서 GPU의 효율적인 사용이 매우 중요해졌습니다. 특히 여러 컨테이너 환경에서 동시에 다양한 작업이 수행될 때, GPU 사용률을 실시간으로 모니터링하고, 성능 병목을 해결하는 것은 필수적입니다. 기존의 많은 GPU 모니터링 시스템이 컨테이너 단위가 아닌 시스템 전체에 대한 GPU 사용량만을 제공하기 때문에, 컨테이너별로 세밀한 모니터링을 수행하기에는 한계가 있었습니다. 이 프로젝트는 NVIDIA DCGM(Data Center GPU Manager), Prometheus, 그리고 Grafana를 사용하여 컨테이너별로 GPU 사용량을 모니터링하고, 이를 시각화하여 ..

윈도우 환경에서 WSL2로 Ubuntu 환경을 만들어 도커를 테스트 하는 도중 발생하는 에러 로그인이 안되는 문제가 발생함. 에러 해결 방법 vi ~/.docker/config.json credsStore 라고 되어 있는 것을 credStore 로 변경 그 다음에 다시 로그인을 실행하니 잘됨. https://forums.docker.com/t/docker-credential-desktop-exe-executable-file-not-found-in-path-using-wsl2/100225 Docker-credential-desktop.exe executable file not found in $PATH using wsl2 Using the latest build of Windows 10 and Docker..

라이센스 Apache 2.0 패키지 버전 : 2.1.0 python : 3.8, 3.9, 3.10, 3.11 windows 10에서 superset을 아직 지원하지 않기 때문에 도커를 사용해야 한다. 그래서 이 글에서는 windows 10에서 docker를 이용해서 설치하는 것을 해보려고 한다. 일단 docker desktop on windows를 먼저 설치해 보자 Install Docker Desktop on Windows 이 글의 목적은 superset 설치를 하는 것이기 때문에 docker desktop은 아래 문서를 참조해서 설치해 주시기 바란다. https://docs.docker.com/desktop/install/windows-install/ Install Docker Desktop on W..

저번에 docker-compose로 여러 개의 컨테이너를 묶고 고정 ip가 되어 있는 상태에서 진행을 하려고 했는데, network에 대한 개념이 부족해서, 잘 안된 적이 있습니다. 그래서 각 개념에 대해서 대략적으로 알아야 할 것 같아서 정리를 하고자 합니다. 일단 gateway부터 알아보기 시작했습니다. Gateway란? 네트워크에서 다른 네트워크로 연결하는 역할을 하는 네트워크 장비라고 합니다. 일반적으로는 라우터 혹은 스위치가 Gateway 역할을 한다고 합니다. 예시 - 다른 언어를 사용하는 두 사람 사이에 통역사나 번역기와 같다고 합니다. - 다른 화폐를 사용하는 두 국가 사이에 환전소 예를 들어, 집에서 인터넷을 사용할 때는 가정 내부의 컴퓨터와 모바일 기기들이 하나의 네트워크로 연결되어 있..

Docker Compose란 Docker Compose란 여러 컨테이너를 가지는 애플리케이션을 통합적으로 만들고, 각각의 컨테이너를 시작 및 중지하는 작업을 더 쉽게 수행할 수 있도록 도와주는 도구입니다. 위의 그림으로 직관적으로 이해한다고 보면 여러 컨테이너를 한 번에 시작 및 실행을 해주는 도구라고 볼 수 있습니다. 그렇다면 이런 게 왜 필요할까? 3 계층 구조(3 Tier- Architecture) 란? 어떠한 플랫폼을 3 계층으로 나누어 별도의 논리적/물리적인 장치에 구축 및 운영하는 형태 보통 서버 한대에 여러 기능을 구축하는 것이 아니라 계층으로 나눠서 관리하게 된다고 합니다. 여기서는 데이터 계층, 로직 계층, 클라이 언 계층으로 나누고, 각각의 기능으로 별도의 논리적/물리적인 장치로 운영하..

vscode를 쓰면서 아쉬웠던 점은 docker container를 열면, 하나의 창에서 다 해야 해서 아쉬움이 있었다. 그래서 찾아보니, 역시 내가 모르는 것이였고, 이런 기능은 이미 존재하였다... 그래서 다른 분들도 아셨으면해서 공유한다. Ctrl + K , O https://www.reddit.com/r/vscode/comments/6jt7ns/one_project_multiple_windows/ One Project: Multiple Windows? This is quite a baffling shortcoming of VSCode. Being able to drag a tab and create a new window for that file in Atom, Sublime Text, and I..

유저에게 docker 권한을 부여할 때 생기는 에러는 다음과 같은 방법으로 해결할 수 있다. 권한을 주면 유저에서도 docker를 사용할 수 있다. sudo usermod -aG docker [user] sudo chmod 777 /var/run/docker.sock

일단 원격을 접속하려면 docker는 굳이 설치할 필요가 없다고 한다. 원격 서버에서 docker container를 접속하려면, local (노트북) 같은 곳에서도 docker를 설치해줘야 한다. 현재 환경 local : windows 10 원격 : 16.04 docker 설치 docs.docker.com/docker-for-windows/install/ Install Docker Desktop on Windows docs.docker.com hub.docker.com/editions/community/docker-ce-desktop-windows/ Docker Desktop for Windows - Docker Hub Docker Desktop for Windows Docker Desktop for ..

yum -y update yum -y install docker docker-registry systemctl enable docker.service systemctl start docker.service systemctl status docker.service docker ps

docker login --username username docker tag my-image username/my-repo docker push username/my-repo stackoverflow.com/questions/28349392/how-to-push-a-docker-image-to-a-private-repository How to push a docker image to a private repository I have a docker image tagged as me/my-image, and I have a private repo on the dockerhub named me-private. When I push my me/my-image, I end up always hitting th..

최근에 docker로 image를 만들 일이 있어서 해보고 있는 중이다. docker에 대한 기초적인 것도 모르기 때문에 경험 위주로 하였으니, 다른 글도 참고 바람. build options --no-cache : 이전에 했던 캐쉬를 제거 -t : tag 달기 -f : Docker file name docker build --no-cache -t test/test:latest -t test/test:1.0.0 -f ./Dockerfile DockerFile은 anaconda를 만드는 것을 복붙 해왔다. FROM ubuntu:18.04 ENV LANG=C.UTF-8 LC_ALL=C.UTF-8 ENV PATH /opt/conda/bin:$PATH RUN apt-get update --fix-missing ..

으음 도커까지 해야 할 줄 몰랐지만, 현재 작업하려는 환경이 도커 안에 jupyterhub 환경인데, Flask를 켜고 싶은데, 도저히 불가능한 것 같아서.... 해야한다면 새로 도커 환경을 만들고 Flask를 띄워야 할 것 같아. 기초부터 공부를 시작한다.. (기초만 파다가 그냥 끝나겠다...ㅠㅠ) https://hiseon.me/linux/ubuntu/install-docker/ 우분투에서 docker 설치 방법 - HiSEON 우분투에서 docker 설치 방법 우분투 16.04 또는 우분투 18.04 버전에서 도커 docker-ce 버전을 설치하는 방법을 설명드립니다. 그리고 여러버전의 CUDA Toolkit을 사용할 수 있도록 nvidia-docker를 추가적으로 설치하는 방법에 대해 설명드립니다..