광고 한번만 눌러주세요 ㅎㅎ 블로그 운영에 큰 힘이 됩니다. 미디엄 글을 읽다가 2가지가 눈에 띄어서 읽게 되었다. 일단 주가가 굉장히 떨어져 가는 우버이지만 계속해서 연구하고 있다는 점이랑, GAN으로 데이터 생성을 한 것을 다시 학습에 써서, NAS를 빠르게 한다는 것? 필자는 NAS에 대해서 모르지만, 일단 GAN을 어떻게 사용하는지 궁금하게 되서 읽어보기로 했다. 이 글은 미디엄 글을 바탕으로 작성되며, 추가적인 궁금한 사항에 대해서는 다른 글을 참고해서 적었습니다. AI에서 흔한 비유로 쓰는 것은 훈련 데이터를 머신 러닝 모델들의 새로운 기름이라고 합니다. 귀중한 상품 처럼 훈련 데이터는 희소하며, 규모도 맞추기 어렵다. 지도 학습 모델은 오늘날의 머신 러닝 생태계에서 절대적인 주권을 잡고 있습..

https://towardsdatascience.com/an-introduction-to-graph-neural-networks-e23dc7bdfba5 An introduction to Graph Neural Networks Graph structured data is common across various domains, examples such as molecules, { social, citation, road } networks, are just a few of… towardsdatascience.com Graph Neural Network를 조금이라도 알고 싶은 마음에 읽어봤으나, 표현도 어렵고 파파고를 한 90% 돌린 것 같습니다. 해당 글에 대한 원문인 위의 글을 읽어주세요. :) 그래프 구..

Neural Network Ensemble 정리 자료 by 이성령 on Scribd

TABNET: ATTENTIVE INTERPRETABLE TABULAR LEARNING -1 https://github.com/google-research/google-research/tree/master/tabnet https://arxiv.org/abs/1908.07442# 3. TABNET MODEL 3.1 PRINCIPLES (Fig. 2) 전통적인 뉴럴 네트워크 building bolcks들을 사용하여 decision tree-like output manifold의 시행을 초기에 고려했다. 개별 형상 선택은 초평면 형태의 의사결정 경계를 구하는 핵심 아이디어로, 구성 계수가 의사결정 경계에서 각 형상의 비율을 결정하는 형상의 선형 조합에 대해 일반화할 수 있다. 저자는 tree-like func..

https://github.com/google-research/google-research/tree/master/tabnet https://arxiv.org/abs/1908.07442# TABNET이라는 것을 우연히 찾게 되었다. 현재 딥러닝은 tabular data 보다는 image, speech, text 등 더 비정형 데이터에 많이 사용되고 개발되고 있다. 그래서 개인적으로 나는 그런 분야보다는 tabular data에 더 집중해서 공부하다 보니 많은 자료가 나오지 않아서 아쉬움을 느낀다. 그래서 이 TABNET이 google 분석가들이 쓴 글이니 어느 정도 tensor flow로 구현도 되어 있고, 기발한 아이디어가 있을 것 같아 읽어 보기 시작했다. https://openreview.net/fo..

Lable Smoothing - Neural Netowork 모델 덜 과신하게 만드는 기술 딥러닝 문제로 분류 문제에 사용할 때, 보통 다음과 같은 문제에 직면하게 된다. ( Overfitting, overconfidence ) Overfitting은 많이 연구가 되고 있고, Early Stopping, Dropout, Weight Regularization etc 등을 해결할 수 있다. 반면에 Overconfidence는 아직 해결할 툴은 적어 보인다. Label Smoothing은 2가지 문제들에 대해서 해결할만한 regularization technique이라고 한다. Overconfidence and Calibration 만약 결과값의 예측된 확률들이 정확도에 반영한다면 분류 모델은 calibra..

https://towardsdatascience.com/designing-your-neural-networks-a5e4617027ed Designing Your Neural Networks A Step by Step Walkthrough towardsdatascience.com What’s a good learning rate? How many hidden layers should your network have? Is dropout actually useful? Why are your gradients vanishing? 모델링을 하다 보면 이런 질문들이 나올 수 있다. 이 포스트에서는 네트워크 아키텍처를 만들 때의 팁들을 제시한다. 이것을 포스팅하는 이유는 중간에 activation에 따라서 어떠한 ..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 페북에서 유명하게 공유가 되고, 개인적으로도 관심이 있는 글이라 빠르게 읽고 쓰려고 한다. 코드는 medium을 참고하기 바란다! 코드는 밑에 URL https://towardsdatascience.com/extreme-rare-event-classification-using-autoencoders-in-keras-a 565b386f098?fbclid=IwAR32xfDs_a8mAtBz6tRamLVwZVtZESWbkelX8-lRNkWKqPkKqHlR5-Gy2e4 Extreme Rare Event Classification using Autoencoders in Keras In this post, we will learn how ..

일단 빠르게 분석을 해야 되면, 일반 전처리는 다해보고 모델링해서 돌려본다. 근데 먼가 결과가 신통방통하지 못하다. 이땐 머 hyperparamter를 최적화해도 결과는 영 그럴 것이다. 그러면 여기서부터 고민을 하게 된다. 일단 그림을 변수별로도 열심히 그려봐서 딱 구분되는 것이 있는지 살펴보거나, Correlation을 구해본다. 사실 여기서 머 추가적으로 분포를 본다고 해도 이미 모델링해서 잘 나오지 않았다면, 웬만하면 찾기 어려울 것이다. 그렇다면 여기서 더 성능을 높이기 위해 유의미한 새로운 파생변수를 어떻게 만들어야 할까?? 일단 데이터가 자기 도메인이 아니게 되면 막막하다. 일단 자기가 주로 하던 분야가 아니니 생각의 깊이도 당연히 얕을 수밖에 없다. 현업에게 요청할 수도 있지만, 계속 붙잡..

https://stats.stackexchange.com/questions/181/how-to-choose-the-number-of-hidden-layers-and-nodes-in-a-feedforward-neural-netw?fbclid=IwAR3cWv4ULiZAQpAIyvRDY_KbgUT2G4g9BirZFUxI9Jho6uUHarqpqLgTQYk How to choose the number of hidden layers and nodes in a feedforward neural network? Is there a standard and accepted method for selecting the number of layers, and the number of nodes in each layer, in..

medium을 보다가 평소에 관심을 가진 주제에 대한 글이 있어서 보기로 하였습니다. 단순 번역일 것 같으니, 원본은 아래에 링크를 남겼습니다! 실제로 기존에 뉴럴 넷을 학습시킬 때는 다 데이터를 normalize를 해줍니다. 금액이든 , 나이든 변수 같은 것을 다 0 주변으로 모아준다는 이야기죠 보통 그렇게 하면 장점이 있다고 합니다. 학습이 빨라진다. 수렴을 빨리한다. 참고로 요즘은 sigmoid activation을 NN에서는 거의 안 쓴다고 합니다. 다 알다시피, backpropagation 문제도 있죠? Vanishing gradient 나 exploding gradient 이 글에서는 tanh 와 sigmoid로 비교를 합니다. 결론은 tanh가 좋다는 겁니다. Sigmoid (=logisti..

현재 Neural Network는 주로 이미지나 비디어 같이 Unconstructed Data에 대해서 Convolution을 사용해서 feature의 Parameter 개수를 축약하면서 Wide한 구조로 만들 수 데이터에 대한 Representation을 layer에서 잘 해줘서 된다고 생각한다. 하지만 현재 나는 주로 그런 Unconstructed Data 보다는 주로 tabular data에 대해서 많이 다루고 있다. 일단 Neural Network는 깡패이기 때문에 왠만하면 다른 알고리즘과 비슷한 성능이 잘 나온다. 하지만 비슷한 성능은 나오지만, 설명력이 좋지 못하니 굳이 tree-based 알고리즘과의 차이를 크게 내지 못하니, 굳이 사용해나 되기도 싶다. 최근에 보니 그래서 tree 기반과 ..