문일철교수님이 새롭게 21년 12월 11일 쯤에 영상을 업로드 한 것을 우연히 확인하였고, 관련된 링크 공유드립니다. GAN과 VAE를 딥하게 공부할 때 도움이 될 것 같습니다. https://www.youtube.com/watch?v=IggyzBF0_Zc&list=PLbhbGI_ppZISpfvyIy7XKmWck5jNhvCqg&ab_channel=AAILabKaist https://www.youtube.com/watch?v=IggyzBF0_Zc&list=PLbhbGI_ppZISJoDJbGCXi9mH8rnJgRXTg&ab_channel=AAILabKaist 알고보니 kooc 이라는 open oline course에 올라온 영상이였다. 영상을 보다가 궁금한 것은 여기다가 물어보면 될 것 같다! https:/..

주식 시장 예측은 경제 분야에서 가장 가치 있는 분야이다. 이 논문에서는 GAN이라는 새로운 아키텍처를 제안했다. 주식들의 종가를 예측하기 위해 generator로 LSTM을 제안하고 discriminator로는 mlp를 사용했다는 논문이다. generator는 주식 시장에서 주어진 데이터로부터 주식들의 데이터 분포를 발견하기 위해 LSTM으로 고안됐다. 반면에 discriminator는 실제 주가와 생성 데이터를 판별하기 위한 목적으로 MLP를 사용했다. 여기서는 S&P 500 Index를 사용했고, 매일 종가를 예측하는 방법을 사용했다. 이 논문이 기여한 점은 다음과 같다. Generator는 LSTM / Discriminator는 MLP를 사용함. 과거 데이터를 통해서 매일 종가를 예측했다. adv..

기존에 있었던 논문을 정리한 미디엄 글이다. 2개 정도 소개하는 글이다. 사실 다 한 번씩 본 것이지만, 정리하는 차원에서 다시 보기로 했다. 사실 관심 있는 사람도 만나서 반갑기도 하다. 관련 추가글 CTGAN 리뷰 글 TGAN 리뷰 글 TGAN: Synthesizing Tabular Data using Generative Adversarial Networks arXiv:1811.11264v1 TGAN 저자는 GAN으로 생성할 때 이러한 문제점들이 있다고 한다. the various data types (int, decimals, categories, time, text) different shapes of distribution ( multi-modal, long tail, Non-Gaussian…)..

Clova AI에서 Generative Model들에 대한 성능 지표 관련 논문임. 이미지 다차원 데이터에 대해서 지표 측정에 대해서 설명하는 것이라서, 읽어보고자 함. 1.Introduction 생성 모델을 평가하는 것은 어렵다. discriminative models $P(T|X)$이 쉽게 라벨링이 되어 있는 샘플 $(X_i,T_i)$에 대한 예측 성능을 측정하는 것과는 달리, generative models $P(X)$ 는 real $X_i$ 와 fake $Y_j$ 사이에 차별성을 측정한다. 복잡성을 더하여 각각의 단점성을 가지고 두 분포들 사이에서 거리를 측정하는 방법은 하나 이상이다. 심지어, Mean Opinion Score 같은 human judgement는 이상적이지 않다. 비록 트레이드오..

이 논문에서는 GAN에서 겪는 문제점들에 대해서 언급하고 이제까지 나온 논문들을 모든 것은 아니지만, 핵심적인 것들에 대해서 정리해주는 것 같아서 읽어보면서 재정리해보고자 한다. 이 논문에서는 크게 architecture, loss , regularization, divergence를 기반으로 특정 사용 사례에 대한 후보 GAN을 식별하기위한 새로운 프레임 워크를 제안한다고 함. https://arxiv.org/abs/2002.08641 GAN에서 크게 이슈가 제기되는 점은 다음과 같다. mode collapse vanishing gradient unstable training non-convergence GANs game theory : a two-player minimax game discrimina..

GAN에 왜 그렇게 많은 노이즈가 필요한가?라는 주제로 미디엄 글이 있어서, GAN 쪽에서 이런 원론적인 것에 대해 관심이 많기 때문에 읽어보려고 한다. GAN (Generative Adversarial Networks)은 오래된 "실제" 샘플로써 제공하여 새로운 "가짜"샘플을 생성하는 도구이다. 이 샘플들은 이 샘플은 실제로 무엇이든 될 수 있습니다: 손으로 그린 숫자, 얼굴 , 손으로 그린 숫자, 얼굴 사진, 표현주의 그림 이것을 하기 위해서, GANs는 original dataset 하에서 기존 분포를 학습한다. 학습을 통하여, 생성자는 분포를 근사하고 반면에 판별자는 무엇이 잘 못되었는지를 말해준다. 그리고 이 2개가 교호하면서, arms race를 통해서 향상한다. 분포로부터 랜덤 샘플들을 뽑아..

Abstract 기존의 convolutional GAN은 저해상도 피쳐 맵에서 공간적으로만 로컬 포인트의 함수로 고해상도 디테일을 생성함. SAGAN에서는 모든 특징의 위치로부터 힌트를 사용하여 데이터를 생성함. 게다가 discriminator는 이미지의 먼 부분에서 매우 상세한 형상이 서로 일치하는지 확인할 수 있다. 최근 연구에서 GAN의 성능은 Generator의 조절에 영향을 미침. 이러한 통찰력에서 저자는 SN을 GAN generator에 적용함. 이것이 훈련 역학을 개선한다는 것을 발견했다고 함. SAGAN은 기존 것보다 36.8 -> 52.52(Inception score) 27.62-> 18.65(Frechet Inception distance(FID)) Introduction 이미지 생성..

이 글에서는 GAN에 대해서 2차원적 데이터 분포를 사용하여서 나오는 현상에 대해서 잘 설명된 글이라서 번역하고자 한다. GAN 기술의 기본 전제는 간단하다. 2가지 네티워크 (generator , discriminator)는 나란히 훈련시킨다. discriminator는 training data로부터 진짜 샘플과 generator로부터 만들어진 가짜 데이터를 보여준다. 그리고 가짜와 진짜를 분리하는 일을 맡는다. generator는 동시에 가짜 데이터를 만들면서, discriminator가 이 가짜 데이터를 진짜로 믿게 만드는 것이다. generator는 다양한 결과물을 만들 수 있다. 왜냐하면 인풋이 random noise로부터 만들어지기 때문이다. 통상적으로 100차원의 정규 분포를 이용한다. 이러..

https://ecmlpkdd2019.org/downloads/paper/23.pdf 불러오는 중입니다... 최근 커뮤니티에서 SVM과 GAN에서 Gradient Penalty 관련 논문을 찾다가 우연히 찾게 된 논문이다. 내용이 흥미로웠던 점은 Imbalanced 한 데이터셋에 대해서 GAN으로 풀겠다는 것이다. 나도 GAN을 공부하면서, 생성된 데이터를 이용하여 데이터의 Class의 균형을 맞추면 성능 향상에 더 기대할 수도 있을 것 같다고 속으로 생각만 했다가, 이 논문을 발견하게 되어서 먼가 반갑다. 일단 머 유명한 논문은 아닌 것 같지만, 일단 아이디어를 보는 정도로 쭉 봐야겠다. Prognostics and Health Management (PHM)이라고 하는 것에 대한 이야기를 하는 것 같고..

Paper https://arxiv.org/abs/1902.09599 Code https://github.com/steveli/misgan/blob/master/misgan.ipynb 아주 빠르게 보고 싶어서, 이론적인 부분은 살펴보지 않고 핵심 아이디어가 먼지만 확인 Abstarct GAN은 복잡한 분포를 모델링하는 효율 적안 방법론이고 리고 다양한 어려운 문제들에 대해서도 효과적인 결과를 얻게 한다. 그러나 전형적인 GAN는 학습 동안에 완적 관측된 데이터를 요구했다. 이 논문에서는 고차원의 불정 말한 데이터를 학습하는 GAN 기반 방법론을 제안한다. 그 제안된 방법은 결측 데이터 분포를 모델링하는 MASK Generator와 함께 정말한 DATA Generator를 배우는 것이다. 우리는 우리의 프..

https://data-newbie.tistory.com/249 Modeling Tabular data using Conditional GAN - Review(1) 여러 가지 GAN을 패키지화해서 내놓고 있다. 벌써 이렇게 정형화된 툴이 나올 수 있는 건지 의구심이 들긴 하지만 그래도 패키지화 했다는 게 충격이고 유용한 것 같다. torch로 구현이 되어있는데, 역시 새로운.. data-newbie.tistory.com 1편은 위 ↑↑↑↑↑ 4. TGAN Model preprocessing 방법과 TGAN을 소개 4.1 Reversible Data Transformations mixed type에 대처하기 위해서, 변수별로 다른 전처리를 진행한다. (Figure 1) C_1 같은 경우에는 -> Cat_1..

여러 가지 GAN을 패키지화해서 내놓고 있다. 벌써 이렇게 정형화된 툴이 나올 수 있는 건지 의구심이 들긴 하지만 그래도 패키지화 했다는 게 충격이고 유용한 것 같다. torch로 구현이 되어있는데, 역시 새로운 기술에 대해서는 torch로 많이 하시는 것 같으니 torch를 시작해야하나싶다 ㅠ 여기서는 보통 Missing value를 처리를 하고 GAN 모델에 태우는 것 같다. 역시 하면서도 어려웠던 것은 기존 Missing 에 대한 처리와 Categorical 변수 그리고 얼마 없는 Category 까지도 생성할 수 있는 디테일이 떨어진다. 이런 부분에 대해서 중간 정도까지 읽어봤는데 ,어느 정도 저자들의 생각이 들어있어서 좋은 것 같다. https://github.com/DAI-Lab/TGAN ht..