## 키기 zookeeper -> server /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ## show topic list /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 ## create the topic /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --rep..

최근에 Flask를 이용해서 모델을 load 하고 예측을 하려고 한다. 예측을 빠르게 하기 위해선 모델을 불러오고 모델의 결괏값만 불러오게 해야 하는데 여기선 모델의 아키텍처와 가중치를 저장을 해서 인풋만 넣어도 예측하게 하는 과정을 해보려고 한다. 일단 모델을 하나 만든다. 여기선 간단하게 binary class를 해본다. 여기서 만들 때 가중 중요하게 생각한 것은 name을 지정해야 합니다! 그래야 나중에 모델만 불러와서 사용할 수 있는 것 같습니다. 만든 후에 각 지정한 이름을 확인하고 싶은 경우 save_file = "./savemodel/.meta" saver = tf.train.import_meta_graph(save_file) saver.restore(sess, tf.train.latest_..

## 모든 연결 출력 netstat -a ## tcp 또는 udp 연결만 표시 netstat -at netstat -au ## 목록을 빨리 출력하기위해 역 dns 질의를 끄기 netstat -atn ## listen 상태인 연결만 표시하기 netstat -tnl ## 프로세스 이름과 pid도 표시하기 apache나 nginx가 포트를 점유하고 있는지, 동작중인지 아닌지 확인하고 싶을 때 프로세스 이름과 pid 까지 보여준다면 더 유용할 것입니다. 프로세스 상세 정보 표시 옵션은 'p'입니다. 이 옵션은 root 권한을 가진 상태에서 실행해야 합니다. root 권한이 없을 경우 pid를 알아낼 수 없습니다. netstat -tnlp ## 커널 라우팅 정보 출력하기 netstat -nr ## 리눅스 로컬서버..

https://stackoverflow.com/questions/46491616/python-kafka-multiprocess-vs-thread Python Kafka multiprocess vs thread I can use KafkaConsumer to consume messages in separate threads. However, when I use multiprocessing.Process instead of threading.Thread, I get an error: OSError: [Errno 9] Bad file descriptor T... stackoverflow.com 같은 group_id를 가지면서( offset 순차적 ) 같은 토픽에서 정보 가져오기 이렇게 하면 얻는 효과는 더 빨..

Producer from time import sleep from json import dumps from kafka import KafkaProducer import numpy as np producer = KafkaProducer(bootstrap_servers=['localhost:9092'], key_serializer = None , value_serializer=lambda x: dumps(x).encode('utf-8')) ## for _ in range(100): value = np.random.normal(loc = 10 , scale = 20 ,size= 3).astype(str).tolist() values = ",".join( value ) data = {'number' : valu..

현재 카프카를 공부할 일이 있어서 원래는 그냥 인터넷에 있는 글들을 읽어서 파악하려고 했지만, 영어 바보인 관계로 두리뭉실하게 알고 있는 것 같아서 카프카, 데이터 플랫폼의 최강자 책을 읽어보려고한다. 책에서는 현재 자바/파이썬으로 코드가 조금 있는 것 같아서 더 적합한 것 같다. 다른 책들은 일단 도서관에 없었으므로... 일단 이 책도 좋은 것 같아서 시작한다! 더 읽다가 괜찮으면 사야겠다! ㅎㅎㅎ http://www.yes24.com/Product/Goods/59789254 카프카, 데이터 플랫폼의 최강자 데이터 플랫폼의 핵심 컴포넌트로 각광받고 있는, 이벤트 기반 비동기 아키텍처를 위한 고가용성 실시간 분산 스트리밍 솔루션 카프카(Kafka)의 모든 것!국내 최대 모바일 플랫폼 회사인 카카오에서 `..

으음 도커까지 해야 할 줄 몰랐지만, 현재 작업하려는 환경이 도커 안에 jupyterhub 환경인데, Flask를 켜고 싶은데, 도저히 불가능한 것 같아서.... 해야한다면 새로 도커 환경을 만들고 Flask를 띄워야 할 것 같아. 기초부터 공부를 시작한다.. (기초만 파다가 그냥 끝나겠다...ㅠㅠ) https://hiseon.me/linux/ubuntu/install-docker/ 우분투에서 docker 설치 방법 - HiSEON 우분투에서 docker 설치 방법 우분투 16.04 또는 우분투 18.04 버전에서 도커 docker-ce 버전을 설치하는 방법을 설명드립니다. 그리고 여러버전의 CUDA Toolkit을 사용할 수 있도록 nvidia-docker를 추가적으로 설치하는 방법에 대해 설명드립니다..

최근에 사용한 패키지 상태를 그대로 유지하면서, 다시 사용해야 할 때 전달해야 하는 이슈가 있었다. 그래서 처음에는 pickle로 저장해봤는데, 안되서 이유를 찾아보니 밑에 글에 잘 정리된 게 있으니 확인해보시길 바란다! 사실 R에서는 .RData로 몽땅 집어넣을 수가 있는데, 이것이 되는지가 궁금했다 https://lovit.github.io/analytics/2019/01/15/python_dill/ Python dill 로 class definition 까지 binary 로 저장하기 파이썬으로 작업을 할 때, 사용자가 정의하는 클래스 인스턴스를 저장할 일들이 있습니다. 예를 들면 namedtuple 을 이용한 데이터 타입이라던지, PyTorch 에서 nn.Module 을 상속받은 모델들이 그 예입니..

https://soooprmx.com/archives/8834 파이썬의 스레드 사용법 · Wireframe 멀티스레드를 사용한 병렬처리는 concurrent.futures의 ThreadPoolExecutor를 사용하면 스레드 풀 관리에서부터, 처리 결과들의 동기화에 이르기까지의 여러 작업을 간단한 API를 통해서 처리할 수 있다. 특히 이 API의 경우 멀티스레드와 멀티프로세스에서 동일한 형태로 디자인되어 있고, 실제 사용시에는 어떤 구현을 선택할 것인지에 따라 Pool관리자의 클래스만 변경하면 되기 때문에 편리하게 사용할 수 있다. 하지만 이 API는 특정한 soooprmx.com 사이트에 좋은 자료가 참 많다! 흔히들 파이썬의 Thread는 Global Interpreter Lock이라는 제약 때문에..

https://hamait.tistory.com/748 초보자를 위한 동시성과 Future 1. 그림으로 보는 동시성 2. 동시성과 Future 이야기 3. 자바로 밑바닥부터 Future 구현 4. 언어별 Future 살펴보기 1. 그림으로 보는 동시성 은행에 창구가 하나입니다. 사람들은 줄을 서서 일을 처리합니다... hamait.tistory.com 위의 글에서 흐름을 보자면, CPU를 활용하는 THread들이 많아 질수록 처리능력이 좋아진다고 함. 쓰레드를 내부로 감춰놓고 외부에서 편하게 쓸 수 있는 도구가 필요함 ( Future , Promise , Async, Observerble ) 메인 쓰레드 (A)는 자기가 하는 일만 하고 B 에게는 알아서 B -> C -> Result 예를 들어 내가 지..

https://data-newbie.tistory.com/229 Python thread 공부해보기-1 최근에 머 하나를 병렬적으로 실행하고 싶은게 있었다. 그래서 멀티프로세싱으로 하려고 시도를 했는데, 동작하지 않아서 threading을 활용해서 thread 형식으로 했다. 하지만 내가 알기론 GIL? 이것 때문에 threa.. data-newbie.tistory.com 앞에서는 threading과 동기화에 대해서 써봤다. 이번에는 queue를 사용해서 스레드 간 데이터 전달 과정 먼가 이 producer와 consumer를 보면 kafka가 생각난다. 먼가 같은 방식인 것 같기도 한데... import threading from queue import Queue def creator(data, q):..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 최근에 머 하나를 병렬적으로 실행하고 싶은 게 있었다. 그래서 멀티프로세싱으로 하려고 시도를 했는데, 동작하지 않아서 threading을 활용해서 thread 형식으로 했다. 하지만 내가 알기론 GIL? 이것 때문에 thread 방식은 안 좋다고 하는데, 왜 내가 했던 문제에서는 thread로만 작동하는 걸까?! 암튼 그래서 thread에 대해서 공부를 해보려고 한다. 일단 동기와 비동기에 대해 간다하게 설명된 예시 우체국이 있습니다. 저는 소포를 보내려는 손님이죠. 손님들 100명이 우체국에 일렬로 줄을 서있고, 한명씩 처리하는것이 -> 싱글스레드 / 동기 처리입니다. 손님들 100명이 우체국의 100명의 직원에게 각각 처리..