LSTM AutoEncoder를 사용해서 희귀케이스 잡아내기 LSTM AutoEncoder를 사용해서 희귀케이스 잡아내기 도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 우리 데이터는 많은데, 희귀 케이스는 적을 때 딥러닝 방법을 쓰고 싶을 때, AutoEncoder를 사용해서 희귀한 것에 대해�� data-newbie.tistory.com 기존에는 LSTM AutoEncoder에 대한 설명이라면, 이번에는 Pytorch로 구현을 해보고자 했다. 물론 잘못된 것이 있을 수 있으니, 피드백 주면 수정하겠다. Anomaley Detection을 당일날 맞추면 의미가 없으므로 시점을 이동시키는 작업을 하고, 이동시킨 데이터를 이용해 LSTM AutoEncoder를 진행해보고자 한..

광고 한 번씩 눌러주세요. 블로그 운영에 큰 힘이 됩니다 :) 아래는 AutoEncoder의 구조를 나타냈다. AutoEncoder는 기본적으로 encoder르 차원 축소 후 decoder로 다시 원래대로 복원할 수 있게 하여 학습시킨다. 원래 기존 구조는 w1, w2, w3, w4 weight를 각각 만들어서 다시 X를 복원한다. 하지만 이런 구조에서 생각해보면 굳이 w3, w4가 필요하지 않다. 네트워크의 목적은 다시 X를 복원하는 것이므로 최적화하는 파라미터의 수를 줄이기 위해서 w1 , w2를 transpose를 통해서 구할 수 있다. 네트워크 구조는 아래와 같다. 이런 식의 구조를 활용하면 parameter의 수를 줄여서 더 빠르게 학습시킬 수 있을 것이라고 했던 것 같다. 암튼 나는 개인적으로..

일반적인 AutoEncoder는 feed forward NN 구조인데, 이 구조에서는 인풋을 hidden으로 만들고 다시 인풋으로 만드는데, 이 hidden을 잘 학습을 하는 것이 목적이라고 할 수 있다. 이 포스트에서는 여러 가지 AutoEncoder 구조에 대해서 설명을 한다. 만약 우리가 수백만장의 이미지가 있고 각 이미지는 약 2MB를 차지하는데, 우리는 1MB만 제공할 수 있다. 이처럼 데이터 차원을 잘 줄여야 할 때 어떻게 해야 할까? 이미지를 잘 보다 보면, 정보와 무관한 것이 많이 있을 때가 있다. 예를 들어 배경 같은 것은 사실 이미지랑 관계없지 않은가! 그래서 이렇게 쓸모없는 정보를 줄일 수만 있다면 우리는 1MB짜리로 줄일 수 있을 것이다. 그래서 결국 Hidden으로 저장해서 많은 ..

Blog Paper Code https://ermongroup.github.io/blog/uae/?fbclid=IwAR0oO4bGeZA_gQ_eex2WRCH4UQwdJ6M-I-klDc5SHlRy1JLd4Uoh4eo3VX0 https://arxiv.org/pdf/1812.10539.pdf https://github.com/aditya-grover/uae https://data-newbie.tistory.com/153 Deep Compressed Sensing [ 허접 주의 ] 사실 머라고 하는지 잘 모르겠다ㅎㅎ 코드는 공개가 되어있지만, 논문에 나온 mnist로 한 것은 없다보니,,, 일단 딥마인드가 했다길래, 빠르게 보려고 했는데, 딱히 나와는 큰 상관이 없어보여서 일단 왠지 큰 느.. data-newb..

https://data-newbie.tistory.com/163 AutoEncoder로 파생변수 만들기 데이터 분석을 하다보면, 새로운 파생변수를 만들어야 할 때가 있다. 개인적으로 나도 그러한 부분에 관심이 있어서 여래개로 포스팅을 했는데, 한번 보시면 도움이 될 것 같다. https://data-newbie.tistory.com/.. data-newbie.tistory.com ## 모델링 파트 이전에 AutoEncoder에서 얻은 Code값을 이용해서 모델링을 해봤습니다. 모델은 tree-based model 중에서 그나마 Parameter에 크게 의존하지 않는다는 catboost로 하였습니다. 궁금하신분은 https://data-newbie.tistory.com/131?category=750846 ..

데이터 분석을 하다보면, 새로운 파생변수를 만들어야 할 때가 있다. 개인적으로 나도 그러한 부분에 관심이 있어서 여래개로 포스팅을 했는데, 한번 보시면 도움이 될 것 같다. https://data-newbie.tistory.com/148?category=749566 https://data-newbie.tistory.com/93?category=749566 https://data-newbie.tistory.com/93?category=749566 그렇다면 결국 도메인이 중요한 것이고 즉 협엽이 잘 될 때 Feature Engineering도 빛을 발하게 되는데, 사실 현실은 그렇지 못하다. 만약 자기 데이터를 가지고 할 경우, 그러한 부분에 대해서 충분히 고려하고, 자주 데이터를 만질 수도 있지만, 만약 ..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 페북에서 유명하게 공유가 되고, 개인적으로도 관심이 있는 글이라 빠르게 읽고 쓰려고 한다. 코드는 medium을 참고하기 바란다! 코드는 밑에 URL https://towardsdatascience.com/extreme-rare-event-classification-using-autoencoders-in-keras-a 565b386f098?fbclid=IwAR32xfDs_a8mAtBz6tRamLVwZVtZESWbkelX8-lRNkWKqPkKqHlR5-Gy2e4 Extreme Rare Event Classification using Autoencoders in Keras In this post, we will learn how ..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 우리 데이터는 많은데, 희귀 케이스는 적을 때 딥러닝 방법을 쓰고 싶을 때, AutoEncoder를 사용해서 희귀한 것에 대해서 탐지하는 방법론으로 대체한다고 한다. 이런 방법론을 써야지 노말한 데이터를 다 사용할 수 있으니 말이다. 이제는 만약에 내가 가진 데이터가 시계열성을 가진 데이터면 어떻게 해야 할까?? 기존 방식을 사용하게 되면 시간적인 변수를 고려하지 못하게 된다. 그러므로 이번에는 시간 부분도 고려해서 향상한 모델인 LSTM AutoEncoder 방법을 사용해보자. 1. 일단 LSTM을 위한 데이터 정제 2. 모델링 3. 희귀 케이스 어떻게 잡는지? 일단 LSTM이 뭘까? LSTM은 RNN의 일종으로써 , 타임 ..