관심있는 주제(225)
-
UMAP은 어떻게 작동할까? (Uniform Manifold Approximation and Projection) - 3
https://data-newbie.tistory.com/171 UMAP은 어떻게 작동할까? (Uniform Manifold Approximation and Projection) - 2 https://data-newbie.tistory.com/169 UMAP은 어떻게 작동할까? (Uniform Manifold Approximation and Projection) - 1 저번에는 UMAP 실습 코드를 공유했는데, 이번에는 어떻게 작동하는지에 대해서, 공부해야 할.. data-newbie.tistory.com Finding a Low Dimensional Representation 그냥 사용만 하면 마음이 편한데, 알려고 하니 너무 어렵네요 예를 들면 통상적인 숫자 2 나 3에 퍼지의 사고방식을 도입하면 '..
2019.06.08 -
Scipy에서 제공하는 분포간 거리 함수(Statistical Distance)와 차이점.
우연히 유튜브에서 추천해준 2018 Detecting Anomalies Using Statistical Distances 이 내가 관심이 있는 Anomaly detection과 Statistica Distance라서 듣게 되었고, 좋은 것을 많이 얻어서 공유합니다. 그렇다면 Quantile로 하면 되지 않느냐? 이렇게 간단한 통계량 값만 이용해서는 충분하지 못하다. 그러므로 이런 통계량 값들을 결합해서 사용하거나, 통계적 거리를 사용해야 한다. Statistical Distance Kolmogorov-Smirnov Distance 하지만 약간 기존 family가 아닌 쌍봉 같은 경우가 나오는 경우 KS로 거리를 재게 되면, 다음과 같은 문제가 생긴다. 멀리 떨어져있어도 거의 같은 값으로 표현이 된다. 그..
2019.06.08 -
UMAP은 어떻게 작동할까? (Uniform Manifold Approximation and Projection) - 2
https://data-newbie.tistory.com/169 UMAP은 어떻게 작동할까? (Uniform Manifold Approximation and Projection) - 1 저번에는 UMAP 실습 코드를 공유했는데, 이번에는 어떻게 작동하는지에 대해서, 공부해야 할 필요성이 생겨서 글을 남기면서 공부하려고 한다. https://data-newbie.tistory.com/134?category=687142 UMAP (Unifor.. data-newbie.tistory.com 이번에는 실제 어떻게 적용이 되는지에 대한 내용이 있어서 확인을 해보려고 합니다. Adapting to Real World Data 앞에서는 설명된 접근 방식은 왜 근방 그래프 기반 접근 방식이 차원 축소를 수행할 때 매니..
2019.06.06 -
UMAP은 어떻게 작동할까? (Uniform Manifold Approximation and Projection) - 1
저번에는 UMAP 실습 코드를 공유했는데, 이번에는 어떻게 작동하는지에 대해서, 공부해야 할 필요성이 생겨서 글을 남기면서 공부하려고 한다. https://data-newbie.tistory.com/134?category=687142 UMAP (Uniform Manifold Approximation and Projection) 이것의 관심을 가진 이유는 원래 기본적인 T-SNE은 Visualization 용으로만 쓰는데, 실제로 이 패키지에서는 그 Embedding 한 것을 변수로 사용할 수 있다고 합니다. 그래서 train을 학습시켜서 그걸 다시 test에.. data-newbie.tistory.com https://umap-learn.readthedocs.io/en/latest/how_umap_wor..
2019.06.05 -
Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization - 리뷰
Blog Paper Code https://ermongroup.github.io/blog/uae/?fbclid=IwAR0oO4bGeZA_gQ_eex2WRCH4UQwdJ6M-I-klDc5SHlRy1JLd4Uoh4eo3VX0 https://arxiv.org/pdf/1812.10539.pdf https://github.com/aditya-grover/uae https://data-newbie.tistory.com/153 Deep Compressed Sensing [ 허접 주의 ] 사실 머라고 하는지 잘 모르겠다ㅎㅎ 코드는 공개가 되어있지만, 논문에 나온 mnist로 한 것은 없다보니,,, 일단 딥마인드가 했다길래, 빠르게 보려고 했는데, 딱히 나와는 큰 상관이 없어보여서 일단 왠지 큰 느.. data-newb..
2019.06.05 -
AutoEncoder를 사용하여 희귀케이스 잡기
도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 페북에서 유명하게 공유가 되고, 개인적으로도 관심이 있는 글이라 빠르게 읽고 쓰려고 한다. 코드는 medium을 참고하기 바란다! 코드는 밑에 URL https://towardsdatascience.com/extreme-rare-event-classification-using-autoencoders-in-keras-a 565b386f098?fbclid=IwAR32xfDs_a8mAtBz6tRamLVwZVtZESWbkelX8-lRNkWKqPkKqHlR5-Gy2e4 Extreme Rare Event Classification using Autoencoders in Keras In this post, we will learn how ..
2019.06.01 -
What is wrong with scene text recognition model comparisons? dataset and model analysis (네이버 논문) - 2
https://data-newbie.tistory.com/156 What is wrong with scene text recognition model comparisons? dataset and model analysis (네이버 논문) - 1 https://arxiv.org/abs/1904.01906 https://github.com/clovaai/deep-text-recognition-benchmark?fbclid=IwAR1JQZMgF39xFWbiZUNFmvbgyPX1x6hKkFmqSSbG4szytZUFqYuKa7m3nNc 갓 네이버에서 OCR 관련 논문을 내주셨.. data-newbie.tistory.com 앞 장에서 STR에 대해서 살펴보고 이제는, 대망의 실험!! 4. Experiment and..
2019.05.30 -
What is wrong with scene text recognition model comparisons? dataset and model analysis (네이버 논문) - 1
https://arxiv.org/abs/1904.01906 https://github.com/clovaai/deep-text-recognition-benchmark?fbclid=IwAR1JQZMgF39xFWbiZUNFmvbgyPX1x6hKkFmqSSbG4szytZUFqYuKa7m3nNc 갓 네이버에서 OCR 관련 논문을 내주셨다. 열심히 읽고 또 읽자 일단 Scene text recognition은 최근에 방법론을 제안하는 논문이 많이 나왔다고 한다. 그렇지만, 각 논문들이 기술의 한계를 뛰어넘을 정도로 선보였지만 , 실제 공정한 비교는 잘 안 돼있다고 한다. 이 논문에서는 3가지 점을 기여했다고 하는데, 1. train과 evaluation 셋의 불일치성에 대해서 조사하고 , 그러한 불일치성으로 인한 ..
2019.05.30 -
Deep Compressed Sensing [ 허접 주의 ]
사실 머라고 하는지 잘 모르겠다ㅎㅎ 코드는 공개가 되어있지만, 논문에 나온 mnist로 한 것은 없다보니,,, 일단 딥마인드가 했다길래, 빠르게 보려고 했는데, 딱히 나와는 큰 상관이 없어보여서 일단 왠지 큰 느낌은 실제 데이터를 직접적으로 비교하기보단, 어떤 F라는 연산을 통해 낮은 차원으로 보내서 거기서 비교하는 간접적인 계산으로 한다는 것 같긴한데........흐음 ( 아닐 수도 있고...) 대충 봐도 딱 느낌이 안와서 일단 패스 https://paperswithcode.com/paper/deep-generative-adversarial-networks-for#code https://arxiv.org/abs/1905.06723 제한된 임의 측정을 통해 이미지를 복구하고 자연스러운 이미지의 구조를 개..
2019.05.29 -
Shape Robust Text Detection with Progressive Scale Expansion Network - 리뷰 - 2
https://data-newbie.tistory.com/151 Shape Robust Text Detection with Progressive Scale Expansion Network - 리뷰 - 1 https://arxiv.org/abs/1806.02559 https://arxiv.org/abs/1903.12473 https://github.com/whai362/PSENet https://github.com/liuheng92/tensorflow_PSENet CNN 발전으로 장면 텍스트 감지는 잘하고 있지만, 산업.. data-newbie.tistory.com 4. Experiment CTW1500, Total- Text, ICDAR 2015 and ICDAR 2017 MLT, 일단 학습 도중에서 모..
2019.05.29 -
Shape Robust Text Detection with Progressive Scale Expansion Network - 리뷰 - 1
https://arxiv.org/abs/1806.02559 https://arxiv.org/abs/1903.12473 https://github.com/whai362/PSENet https://github.com/liuheng92/tensorflow_PSENet CNN 발전으로 장면 텍스트 감지는 잘하고 있지만, 산업에서 쓰기에는 여전히 2가지 문제가 있다고 합니다. 1. 최신 논문에서는 임의의 박스로 잡아주는데, 그러다 보니 부정확한 위치에 잡히게 된다. 2. 2개의 글자 객체가 서로 가깝게 있는 경우 2개를 포함하게 감지한다는 것이 문제가 된다. 1번째 문제는 Segmentation-based approach로 해결할 수 있지만, 여전히 2번째는 문제가 됩니다. 저자는 이 2가지 문제를 해결하기 위해..
2019.05.28 -
[변수 생성]Structured Data에서 CNN을 활용한 새로운 변수 생성하기
일단 빠르게 분석을 해야 되면, 일반 전처리는 다해보고 모델링해서 돌려본다. 근데 먼가 결과가 신통방통하지 못하다. 이땐 머 hyperparamter를 최적화해도 결과는 영 그럴 것이다. 그러면 여기서부터 고민을 하게 된다. 일단 그림을 변수별로도 열심히 그려봐서 딱 구분되는 것이 있는지 살펴보거나, Correlation을 구해본다. 사실 여기서 머 추가적으로 분포를 본다고 해도 이미 모델링해서 잘 나오지 않았다면, 웬만하면 찾기 어려울 것이다. 그렇다면 여기서 더 성능을 높이기 위해 유의미한 새로운 파생변수를 어떻게 만들어야 할까?? 일단 데이터가 자기 도메인이 아니게 되면 막막하다. 일단 자기가 주로 하던 분야가 아니니 생각의 깊이도 당연히 얕을 수밖에 없다. 현업에게 요청할 수도 있지만, 계속 붙잡..
2019.05.27