이 논문을 보는 이유 저번에 리뷰를 했던 https://data-newbie.tistory.com/98?category=686943 GAN 논문에서 해당 논문이 Table 데이터에 CNN 적용했다는 글을 보고 읽기 시작했다. 일반적으로 Table 같은 정형 데이터에 CNN은 적용하는 사례는 거의 못 봤지만 개인적으로 적용하면 어떻게 될까 항상 궁금했다. 여담이지만, 실제로 먼가 같은 인풋에 여러 개의 Layer를 입힌 다음에 concat을 해서 convolution1d를 해봤는데, 결과는 공유를 못 할 정도로 엉망이었다. 또 저자를 확인해보니 한국분들이 많으셔서, 굉장히 반가웠다.(나만..) 개요 이 논문은 다른 사람들에게 데이터를 공유 시 프라이버시에 대한 걱정이 중요해서 이것을 어떻게 해결할지에 대한..

GAN을 발표할 일이 있어서, 내 생각을 정리하기도 하면서, 공유를 하고 싶어서 글을 남깁니다. GAN을 맨 처음 배울 때 자주 적합는 분류표다. 크게 Explicit density 와 Implicit density 2가지로 나눌 수가 있다. Explicit density 는 P_model(x)를 확실히 정의 할 수 있고 계산할 수 있는(tractable) 이든지 approximate처럼 근사하는 VAE 같은 것으로 나눌 수 있다. Implicit density 는 P_model(x)를 명시적으로 정의하지 않고 확률 분포를 알기 위해 sample을 뽑는 방법을 말한다. 이 개념에 대해서 항상 헷갈리는데 좋은 답변을 찾아서 공유하고자 한다. (유재준 님 블로그) GAN이 Sampler라는 얘기를 이해하시면..

제가 요즘 관심 있는 것은 생성 모델 중에 GAN이라는 알고리즘입니다. 저는 특히 Tabular Data를 GAN을 활용해, 생성하는 것에 관심이 있어서 해당 논문에 대해서 디테일하게 설명하지는 못하지만, 직관적으로 제가 이해한 만큼만 작성해보려고 합니다. Paper : https://arxiv.org/abs/1811.11264 Code : https://github.com/DAI-Lab/TGAN 이 논문을 제가 선택한 이유는 다음과 같습니다. Discre 변수와 Continuous 변수를 동시에 생성 가능하다고 합니다( medgan 논문은 안됩니다) 대부분의 discrete data를 생성하는 GAN 논문에서는 RL 방법이나 Round로 처리하는데, 해당 논문은 softmax를 이용하여서 처리합니다. ..

https://arxiv.org/abs/1807.00734 나오게 된 배경 일반적인 GAN에서 Discriminator가 Gradient 가 소실되는 현상이 종종 일어나서 학습이 안되는 경우가 있음. 그리고 이러한 GAN을 향상시키기위해 LSGAN, Wasserstein Distance 와 Gradient Penalty를 사용한 WGAN-GP가 나왔고 이러한 GAN들은 Integral probability Metrics를 기반으로한 논문들이 많이 나오게 됨. IPM을 기반으로 한 GAN들은 Fake 와 Real을 완벽하게 구분하는 것을 방지함으로써, 학습을 계속했을 때 Gradient가 사라지는 현상 없이 학습을 시킬 수 있음. Integral Probability Metric(IPM) IPM 이란 각 ..