https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1006907 Ten quick tips for effective dimensionality reduction Citation: Nguyen LH, Holmes S (2019) Ten quick tips for effective dimensionality reduction. PLoS Comput Biol 15(6): e1006907. https://doi.org/10.1371/journal.pcbi.1006907 Editor: Francis Ouellette, University of Toronto, CANADA Published: June 20, 2019 Cop journals..

창을 여러개를 띄워서 사용할 일이 있다. 좋은 방법으로 tmux를 알고있었지만, 배우기 귀찮아서 안했다. 그런데 커피숍 와이파이를 쓰다가 여러개를 띄울때 한개라도 비활성화가 되면 안되는데 꺼지는 경우가 생겼다. 와이파이 문제인지는 모르겠지만 암튼 관리하기도 용이한 것 같아서 사용하면서 찾아보고 정리했다. 사용법은 간단했다. 일단 1. CTRL + B 를 누르고 그리고 오른쪽에 있는 것을 눌러주면 되는데, % 같은 것을 처음아 다 같이 눌러야하는줄 알고ㅎㅎㅎㅎ 굉장히 해맸는데. 일단 CTRL+B 를 누른 다음에 SHIFT + 5( = %)를 눌러주는 식으로 하면 된다 ㅎㅎㅎ PREFIX = (기본이 저렇게 설정됨) ## 실행 tmux ## 창 열로 분할 % ## 창 행으로 분할 " ## 창 이동 화살표키 ..

현재 구성을 Flask + Kafka + Celery로 할까함. https://medium.com/sunhyoups-story/celery-b96eb337b9cf Celery를 이용한 분산처리 프로세스 작성하기 Celery 설치 부터 시작해서 간단한 task 작성까지 medium.com Celery란? 웹 서비스를 하면서 응답을 받기 오래 걸리는 작업이 종종 있습니다. 그럴 경우 사용자는 응답을 받기위해 오랜 시간을 기다려야 합니다. 보통 웹 서비스에서 응답 시간은 서비스의 생명과 직결되므로 비동기로 작업을 처리하게 넘기고 바로 응답을 하는 경우가 많습니다. celery는 그 작업을 할 수 있도록 도와주는 파이썬 프레임워크입니다. 보통 이런 프레임워크를 worker라고 부릅니다. 지금부터 celery에 ..

https://towardsdatascience.com/getting-started-with-apache-kafka-in-python-604b3250aa05 Getting started with Apache Kafka in Python In this post, I am going to discuss Apache Kafka and how Python programmers can use it for building distributed systems. towardsdatascience.com https://github.com/kadnan/Calories-Alert-Kafka kadnan/Calories-Alert-Kafka Simple alert system implemented in Kafka and Py..

내가 모델링을 할 때 다음과 같은 실수를 한 적이 있다. 예를 들어 어떤 데이터를 열심히 전처리를 하고 나서, 모델링을 한다고 했을 때, 보통 모델만 저장하고 전 처리할 때 값을 저장을 안 한 경우가 있다. 그래서 다른 새로운 데이터가 들어왔을 때 다시 전처리 함수를 적용하는 경우가 있는데, 이러면 train과 test로 학습시킨 게 어긋나기 때문에 문제가 생긴다. 그리고 만약 어떤 칼럼에서 특정 값이 train에는 없는데, test에만 있어도 문제가 발생할 것이다. 하지만 이때 test에 있는 것을 가져와야 하는지... 어차피 다 0으로 처리되니까 상관없을 것 같기도 하지만 고민이 되는 사항이다. 아무튼 이번 포스팅은 전처리를 하고 나서 저장해서 어떻게 쓸 수 있을지에 대해 고민해본 것을 써보려고 한다..

Kafka에서 server를 다시 키려고 하는데 사용중이라는 이야기가 나온다. bin/zookeeper-server-start.sh config/zookeeper.properties 그래서 찾아보니 이미 해결해준 사람이 있어서 공유합니다 ## grep으로 port 확인 netstat -nap | grep 2173 ## PID 번호 지우기 맨 오른쪽에 PID/java 있을 것이다. kill PID https://nickjoit.tistory.com/56 java.net.BindException: 주소가 이미 사용 중입니다 tomcat 실행중 해당 오류가 발생했다. 8080 포트가 이미 사용 중인게 문제 이다. 해당 포트의 PID번호를 확인 후 kill 시킨 후에 다시 진행하자. # 우분투 - 포트 확인을 ..

이걸 보고 설치를 했다. 실제로 하다가, 내가 환경을 잘 못 설정해서 생긴 오류인 dpkg install 오류 해결한것도 다른 곳에 포스팅을 하였다. https://data-newbie.tistory.com/217 Ubuntu16.04 dpkg: error processing package install-info 에러 해결하기 갑자기 apt-get install이 안되는 사태가 벌어져서 허둥지둥 여러가직 시도를 해보고 있다. apt-get install default-jre apt-get install zookeeperd 이걸 설치하려고 했는데, 다음과 같은 에러가 발생했다. dpkg.. data-newbie.tistory.com 정상적으로 작동하는 것을 확인 https://tecadmin.net/ins..

Kafka에 대해서 알아봐야해서 기초도 몰라서 여러가지 찾아보고 있다 다음 코드는 만들고 확인하는 것이다. 사실 아직 topic이 정확히 이해가 안되지만,,, 일단 해보면서 깨닫기로... ## 하기전 해야하는 것 /kafka/config/server.properties 에 들어가서 delete.topic.enable = True 로 설정해주기 ## topic 만들기 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic x ## 만들어졌는지 확인 bin/kafka-topics.sh --list --zookeeper localhost ## 안에 머라고 궁시렁 궁시렁 b..

갑자기 apt-get install이 안되는 사태가 벌어져서 허둥지둥 여러가직 시도를 해보고 있다. apt-get install default-jre apt-get install zookeeperd 이걸 설치하려고 했는데, 다음과 같은 에러가 발생했다. dpkg: error processing package install-info E: Sub-process /usr/bin/dpkg returned an error code (2) 그래서 처음에는 아래로 시도하려다가, 이건 나의 상황과 맞지 않는 것 같아서 좀 더 찾아보니... https://medium.com/@jjeaby/tip-sub-process-usr-bin-dpkg-%EC%97%90%EB%9F%AC-%ED%95%B4%EA%B2%B0-%EB%B0%..

Kafka에 대한 기본 개념들 Topic, Broker, Publish-subscribe messaging system ... and Use Cases https://www.cloudkarafka.com/blog/2016-11-30-part1-kafka-for-beginners-what-is-apache-kafka.html Part 1: Apache Kafka for beginners - What is Apache Kafka? - CloudKarafka, Apache Kafka Message streaming as a Service The first part of Apache Kafka for beginners explains what Kafka is - a publish-subscribe-based d..

Kafka라는 것에 대해 공부하기 전 개념에 대해서 일단 보려고 하다가 좋은 자료가 있어서 번역해본다. https://timber.io/blog/hello-world-in-kafka-using-python/ Hello world in Kafka using Python We're going to teach you what Kafka is, apprehending the need for a tool like Kafka and then get started with it. We're believers that the best way to learn something is to do it, so get out your terminal and your favorite code editor. timber.io 이 ..

Flask를 이용해서 RestAPI를 해보려고 하는데, 이런 에러가 떴다. 실제로 검색해보니 ~~~~ 이 부분과 매칭 되는 놈이 걸렸다. env | grep -i proxy 그래서 proxy를 잘 모르지만, 저 놈이 먼가 맵핑이 되어있어서 문제였던 것 같다. 그래서 아래 글에서 제시한 방법으로 해결! unset http_proxy unset ftp_proxy unset https_proxy 하지만 저렇게만 하면 다시 원래대로 돌아옵니다. 그래서 직접 들어가서 설정을 해줘야 합니다. 저는 이렇게 설정을 해주니 그다음부터는 안 해줘도 되더라고요! vi /etc/environment http_proxy = "" https://askubuntu.com/questions/347384/curl-5-couldnt-r..