## 모든 연결 출력 netstat -a ## tcp 또는 udp 연결만 표시 netstat -at netstat -au ## 목록을 빨리 출력하기위해 역 dns 질의를 끄기 netstat -atn ## listen 상태인 연결만 표시하기 netstat -tnl ## 프로세스 이름과 pid도 표시하기 apache나 nginx가 포트를 점유하고 있는지, 동작중인지 아닌지 확인하고 싶을 때 프로세스 이름과 pid 까지 보여준다면 더 유용할 것입니다. 프로세스 상세 정보 표시 옵션은 'p'입니다. 이 옵션은 root 권한을 가진 상태에서 실행해야 합니다. root 권한이 없을 경우 pid를 알아낼 수 없습니다. netstat -tnlp ## 커널 라우팅 정보 출력하기 netstat -nr ## 리눅스 로컬서버..

https://stackoverflow.com/questions/46491616/python-kafka-multiprocess-vs-thread Python Kafka multiprocess vs thread I can use KafkaConsumer to consume messages in separate threads. However, when I use multiprocessing.Process instead of threading.Thread, I get an error: OSError: [Errno 9] Bad file descriptor T... stackoverflow.com 같은 group_id를 가지면서( offset 순차적 ) 같은 토픽에서 정보 가져오기 이렇게 하면 얻는 효과는 더 빨..

Producer from time import sleep from json import dumps from kafka import KafkaProducer import numpy as np producer = KafkaProducer(bootstrap_servers=['localhost:9092'], key_serializer = None , value_serializer=lambda x: dumps(x).encode('utf-8')) ## for _ in range(100): value = np.random.normal(loc = 10 , scale = 20 ,size= 3).astype(str).tolist() values = ",".join( value ) data = {'number' : valu..

현재 카프카를 공부할 일이 있어서 원래는 그냥 인터넷에 있는 글들을 읽어서 파악하려고 했지만, 영어 바보인 관계로 두리뭉실하게 알고 있는 것 같아서 카프카, 데이터 플랫폼의 최강자 책을 읽어보려고한다. 책에서는 현재 자바/파이썬으로 코드가 조금 있는 것 같아서 더 적합한 것 같다. 다른 책들은 일단 도서관에 없었으므로... 일단 이 책도 좋은 것 같아서 시작한다! 더 읽다가 괜찮으면 사야겠다! ㅎㅎㅎ http://www.yes24.com/Product/Goods/59789254 카프카, 데이터 플랫폼의 최강자 데이터 플랫폼의 핵심 컴포넌트로 각광받고 있는, 이벤트 기반 비동기 아키텍처를 위한 고가용성 실시간 분산 스트리밍 솔루션 카프카(Kafka)의 모든 것!국내 최대 모바일 플랫폼 회사인 카카오에서 `..

창을 여러개를 띄워서 사용할 일이 있다. 좋은 방법으로 tmux를 알고있었지만, 배우기 귀찮아서 안했다. 그런데 커피숍 와이파이를 쓰다가 여러개를 띄울때 한개라도 비활성화가 되면 안되는데 꺼지는 경우가 생겼다. 와이파이 문제인지는 모르겠지만 암튼 관리하기도 용이한 것 같아서 사용하면서 찾아보고 정리했다. 사용법은 간단했다. 일단 1. CTRL + B 를 누르고 그리고 오른쪽에 있는 것을 눌러주면 되는데, % 같은 것을 처음아 다 같이 눌러야하는줄 알고ㅎㅎㅎㅎ 굉장히 해맸는데. 일단 CTRL+B 를 누른 다음에 SHIFT + 5( = %)를 눌러주는 식으로 하면 된다 ㅎㅎㅎ PREFIX = (기본이 저렇게 설정됨) ## 실행 tmux ## 창 열로 분할 % ## 창 행으로 분할 " ## 창 이동 화살표키 ..

현재 구성을 Flask + Kafka + Celery로 할까함. https://medium.com/sunhyoups-story/celery-b96eb337b9cf Celery를 이용한 분산처리 프로세스 작성하기 Celery 설치 부터 시작해서 간단한 task 작성까지 medium.com Celery란? 웹 서비스를 하면서 응답을 받기 오래 걸리는 작업이 종종 있습니다. 그럴 경우 사용자는 응답을 받기위해 오랜 시간을 기다려야 합니다. 보통 웹 서비스에서 응답 시간은 서비스의 생명과 직결되므로 비동기로 작업을 처리하게 넘기고 바로 응답을 하는 경우가 많습니다. celery는 그 작업을 할 수 있도록 도와주는 파이썬 프레임워크입니다. 보통 이런 프레임워크를 worker라고 부릅니다. 지금부터 celery에 ..

https://towardsdatascience.com/getting-started-with-apache-kafka-in-python-604b3250aa05 Getting started with Apache Kafka in Python In this post, I am going to discuss Apache Kafka and how Python programmers can use it for building distributed systems. towardsdatascience.com https://github.com/kadnan/Calories-Alert-Kafka kadnan/Calories-Alert-Kafka Simple alert system implemented in Kafka and Py..

Kafka에서 server를 다시 키려고 하는데 사용중이라는 이야기가 나온다. bin/zookeeper-server-start.sh config/zookeeper.properties 그래서 찾아보니 이미 해결해준 사람이 있어서 공유합니다 ## grep으로 port 확인 netstat -nap | grep 2173 ## PID 번호 지우기 맨 오른쪽에 PID/java 있을 것이다. kill PID https://nickjoit.tistory.com/56 java.net.BindException: 주소가 이미 사용 중입니다 tomcat 실행중 해당 오류가 발생했다. 8080 포트가 이미 사용 중인게 문제 이다. 해당 포트의 PID번호를 확인 후 kill 시킨 후에 다시 진행하자. # 우분투 - 포트 확인을 ..

이걸 보고 설치를 했다. 실제로 하다가, 내가 환경을 잘 못 설정해서 생긴 오류인 dpkg install 오류 해결한것도 다른 곳에 포스팅을 하였다. https://data-newbie.tistory.com/217 Ubuntu16.04 dpkg: error processing package install-info 에러 해결하기 갑자기 apt-get install이 안되는 사태가 벌어져서 허둥지둥 여러가직 시도를 해보고 있다. apt-get install default-jre apt-get install zookeeperd 이걸 설치하려고 했는데, 다음과 같은 에러가 발생했다. dpkg.. data-newbie.tistory.com 정상적으로 작동하는 것을 확인 https://tecadmin.net/ins..

Kafka에 대해서 알아봐야해서 기초도 몰라서 여러가지 찾아보고 있다 다음 코드는 만들고 확인하는 것이다. 사실 아직 topic이 정확히 이해가 안되지만,,, 일단 해보면서 깨닫기로... ## 하기전 해야하는 것 /kafka/config/server.properties 에 들어가서 delete.topic.enable = True 로 설정해주기 ## topic 만들기 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic x ## 만들어졌는지 확인 bin/kafka-topics.sh --list --zookeeper localhost ## 안에 머라고 궁시렁 궁시렁 b..

갑자기 apt-get install이 안되는 사태가 벌어져서 허둥지둥 여러가직 시도를 해보고 있다. apt-get install default-jre apt-get install zookeeperd 이걸 설치하려고 했는데, 다음과 같은 에러가 발생했다. dpkg: error processing package install-info E: Sub-process /usr/bin/dpkg returned an error code (2) 그래서 처음에는 아래로 시도하려다가, 이건 나의 상황과 맞지 않는 것 같아서 좀 더 찾아보니... https://medium.com/@jjeaby/tip-sub-process-usr-bin-dpkg-%EC%97%90%EB%9F%AC-%ED%95%B4%EA%B2%B0-%EB%B0%..

Kafka에 대한 기본 개념들 Topic, Broker, Publish-subscribe messaging system ... and Use Cases https://www.cloudkarafka.com/blog/2016-11-30-part1-kafka-for-beginners-what-is-apache-kafka.html Part 1: Apache Kafka for beginners - What is Apache Kafka? - CloudKarafka, Apache Kafka Message streaming as a Service The first part of Apache Kafka for beginners explains what Kafka is - a publish-subscribe-based d..