도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 특정 명령어를 사용해서 받은 값을 객체로 받고 싶었다. 삽질을 한 하루하다가 방법은 알고 있있지만 내가 못한 것이였다. (상황) a.txt에서 efgh 라는 값을 찾고 싶다. arr=( $(grep "abcd" a.txt) ) echo "${arr[2]}"​ 위와 같이 하면 arr이라는 객체에서 2번째 index부분에 efgh라는 값을 받게 되는 것을 알 수 있다! 먼가 여기서 특정 부분을 가져와서 객체로 만들고 싶을 때는 음... 먼가 그냥 될 줄 알았는데 잘 안된다. ### ver1,ver2는 일단 삽질의 결과 ## ver0 (이렇게 하는 것이 맞는 듯) path2="${arr[2][@]} ----------------- ..

가끔 주피터 노트북 이름을 가져와서 먼가 활용하고 싶을 때가 있다. 그래서 찾아보니 다음과 같이 하니 잘 작동하는 것을 확인했다! 필요하신 분은 밑에 코드를 긁어서 활용하면 된다! %%javascript IPython.notebook.kernel.execute(`notebookName = '${window.document.getElementById("notebook_name").innerHTML}'`); https://stackoverflow.com/questions/12544056/how-do-i-get-the-current-ipython-notebook-name How do I get the current IPython Notebook name I am trying to obtain the curre..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ ## Producer from time import sleep from json import dumps from kafka import KafkaProducer import numpy as np def on_send_success(record_metadata): print("topic : {} , partition : {} , offset : {}".\ format( record_metadata.topic , record_metadata.partition , record_metadata.offset)) def on_send_error(excp): log.error('I am an errback', exc_info=excp) p..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ Conda로 하는 경우는 아래 URL 참고 https://data-newbie.tistory.com/113 anaconda로 설치한 가상 환경 jupyter notebook kernel에 추가하기 conda create -n yourenvname python=x.x anaconda ## 환경에서 패키지 설치 source activate yourenvname conda install -n yourenvname [package] ## 원격으로 사용 하려면 다음과 같이 해야한다. source activa.. data-newbie.tistory.com 설치 방법 ## internet 있는 경우 pip install virtualenv..

기존에 작업을 python-kafka로 겨우 익숙해졌는데, 비동기적인 처리 방법이 필요하게 됐다. 그래서 찾아보니 비동기 코 루틴인 asyncio 방식이 필요하게 됐다. 처음에는 지나친 패키지였지만 asyncio 개념이 필요하게 돼서 다시 보게 되니 생각보다 간편했다. 그래서 찾은 것이 aiokafka이다! 일단 이걸 하게 된 이유는 다음과 같다. asyncio를 적극적으로 쓴다. python-kafka 보다 거의 동일한 형태라서 익숙하다. python-kafka 보다 좀 더 성능이 좋다고 한다. URL python-kafka는 속도를 중시하지 않았지만, 자바 클라이언트 변화에 빠르게 변화했다. Producer 뿐만 아니라 Consumer도 기능이 python-kafka 보다 훨씬 다양하다. batch ..

conda 나 virtualenv 같은 경우에는 환경을 여러 개를 만들 수 있다. 그렇다면 이러한 환경들을 여러 개로 다루면서, 사용하고 싶은 경우가 있다. 이 글에선 결론적으로 sh로 실행을 할 것이고, 그전에 일단 각각의 환경에 대해서 다른 버전을 제공하는지를 확인해보자. 일반적으로 환경에 접속을 하고 나서 실행을 한다. 보통은 activate를 하고 나서, 해당 파이썬에서 script를 실행한다. ## version check conda info --envs conda activate py36 python test.py 하지만 이런 경우에는 sh을 이용할 때 문제가 발생한다. 일단 sh에서 conda activate 를 하고 python을 실행해주면 될 것 같기도 한데...(테스트 안 해봄) 그래서..

폴더 복사를 하려고 하는데, 한번 하고 나니 폴더가 있다면서 복사가 되지 않았다. cp -r from_folder to_folder 이런식으로 진행을 하니 파일이 존재한다해서 안된다고 해서 방법을 찾아보니 다음과 같았다. cp -TRv from_folder to_folder -T : --no--target-directory -v : --verbose - 끝 -

jupyter notebook 키려다가 error_connection timed out 발생 port는 listen을 하지만, 켜지지는 않은 상태 확인해보니 그전에 firewall를 설치하면서 firewall가 작동해서 차단된 거였음 그래서 firewalld를 중지하니 작동 ## port 열려있는지 확인 netstat -tnlp ## 상태 확인 systemctl status firewalld ## 멈추기 systemctl stop firewalld ## port 확인 firewall-cmd --list-port ## 개별적으로 port 열기 firewall-cmd --permanent --zone=public --add-port=8888/tcp ## 재구동 firewall-cmd --reload ## 개..

## Producer 1 (topic odd) from confluent_kafka import Producer import numpy as np p = Producer({'bootstrap.servers': 'localhost'}) def delivery_report(err, msg): """ Called once for each message produced to indicate delivery result. Triggered by poll() or flush(). """ if err is not None: print('Message delivery failed: {}'.format(err)) else: print('Message delivered to {} [{}]'.format(msg.topic(..

import os from kafka import KafkaConsumer class Commad : def __init__(self, path = "/usr/local/kafka/bin/" ) : self.consumer = KafkaConsumer( bootstrap_servers=['localhost:9092'], auto_offset_reset='latest' , # 'earliest', enable_auto_commit= True ,) self.path = path def show_topic(self,) : """ topic 보여주기 """ print("Topic : " , list(self.consumer.topics())) def create_topic(self, partition , rep..

가끔 코드를 숨길일이 있다. 그땐 이것을 사용하면 된다. 그러나 주의사항! 밑에 from~ 저 부분을 없애면 열수가 없다는 거 저 버튼이 사라지게 된다 HTML(''' ''') 그냥 없애고 싶으면 밑에 처럼 하면 될 듯? from IPython.core.display import HTML HTML(''' ''') 물론 div다 보니 다시 보이게 할 수 있긴 한 것 같다...ㄷㄷㄷ

## 키기 zookeeper -> server /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ## show topic list /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 ## create the topic /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --rep..