문일철교수님이 새롭게 21년 12월 11일 쯤에 영상을 업로드 한 것을 우연히 확인하였고, 관련된 링크 공유드립니다. GAN과 VAE를 딥하게 공부할 때 도움이 될 것 같습니다. https://www.youtube.com/watch?v=IggyzBF0_Zc&list=PLbhbGI_ppZISpfvyIy7XKmWck5jNhvCqg&ab_channel=AAILabKaist https://www.youtube.com/watch?v=IggyzBF0_Zc&list=PLbhbGI_ppZISJoDJbGCXi9mH8rnJgRXTg&ab_channel=AAILabKaist 알고보니 kooc 이라는 open oline course에 올라온 영상이였다. 영상을 보다가 궁금한 것은 여기다가 물어보면 될 것 같다! https:/..

우연히 유튜브를 보다가, 날씨 예측 관련해서 딥마인드가 논문을 냈다는 것을 접하게 됐는데, 내용에서 GAN이 나와서 살펴보려고 한다. 아래 동영상도 어렵지 않게 쉽게 잘 설명해주시는 것 같아서 추천한다. https://www.youtube.com/watch?v=rt0fjq7SSE0 Our latest research and state-of-the-art model advances the science of Precipitation Nowcasting, which is the prediction of rain (and other precipitation phenomena) within the next 1-2 hours. In a paper written in collaboration with the Met..

주식 시장 예측은 경제 분야에서 가장 가치 있는 분야이다. 이 논문에서는 GAN이라는 새로운 아키텍처를 제안했다. 주식들의 종가를 예측하기 위해 generator로 LSTM을 제안하고 discriminator로는 mlp를 사용했다는 논문이다. generator는 주식 시장에서 주어진 데이터로부터 주식들의 데이터 분포를 발견하기 위해 LSTM으로 고안됐다. 반면에 discriminator는 실제 주가와 생성 데이터를 판별하기 위한 목적으로 MLP를 사용했다. 여기서는 S&P 500 Index를 사용했고, 매일 종가를 예측하는 방법을 사용했다. 이 논문이 기여한 점은 다음과 같다. Generator는 LSTM / Discriminator는 MLP를 사용함. 과거 데이터를 통해서 매일 종가를 예측했다. adv..

텐서플로우를 사용하면서 기존에는 feed_dict 방식을 사용했는데, tf.data를 사용 시 여러 가지 장점이 있는 것 같아서 만들 때마다 사용하는 것 같다. 실제로 모델링까지 해본 것은 다른 글에 있으니 눌러서 확인해보시면 될 것 같다(https://data-newbie.tistory.com/441) 필자는 GAN을 할 때 시도를 해봤는데, 먼가 코드에서 꼬이는 현상이 발생했다. 지금도 완벽히 해결하지 못했지만, 여러 가지 삽질을 해보면서 얻은 것을 공유해보고자 한다. 1. tf.data 2개의 iterator 생성해보기 일단 GAN을 학습 시 보통 다음과 같이 한다. for _ in range(10) : #### while True : sess.run([dloss, doptimizer]) sess...

기존에 있었던 논문을 정리한 미디엄 글이다. 2개 정도 소개하는 글이다. 사실 다 한 번씩 본 것이지만, 정리하는 차원에서 다시 보기로 했다. 사실 관심 있는 사람도 만나서 반갑기도 하다. 관련 추가글 CTGAN 리뷰 글 TGAN 리뷰 글 TGAN: Synthesizing Tabular Data using Generative Adversarial Networks arXiv:1811.11264v1 TGAN 저자는 GAN으로 생성할 때 이러한 문제점들이 있다고 한다. the various data types (int, decimals, categories, time, text) different shapes of distribution ( multi-modal, long tail, Non-Gaussian…)..

광고 한번만 눌러주세요 ㅎㅎ 블로그 운영에 큰 힘이 됩니다. 미디엄 글을 읽다가 2가지가 눈에 띄어서 읽게 되었다. 일단 주가가 굉장히 떨어져 가는 우버이지만 계속해서 연구하고 있다는 점이랑, GAN으로 데이터 생성을 한 것을 다시 학습에 써서, NAS를 빠르게 한다는 것? 필자는 NAS에 대해서 모르지만, 일단 GAN을 어떻게 사용하는지 궁금하게 되서 읽어보기로 했다. 이 글은 미디엄 글을 바탕으로 작성되며, 추가적인 궁금한 사항에 대해서는 다른 글을 참고해서 적었습니다. AI에서 흔한 비유로 쓰는 것은 훈련 데이터를 머신 러닝 모델들의 새로운 기름이라고 합니다. 귀중한 상품 처럼 훈련 데이터는 희소하며, 규모도 맞추기 어렵다. 지도 학습 모델은 오늘날의 머신 러닝 생태계에서 절대적인 주권을 잡고 있습..

이 논문에서는 GAN에서 겪는 문제점들에 대해서 언급하고 이제까지 나온 논문들을 모든 것은 아니지만, 핵심적인 것들에 대해서 정리해주는 것 같아서 읽어보면서 재정리해보고자 한다. 이 논문에서는 크게 architecture, loss , regularization, divergence를 기반으로 특정 사용 사례에 대한 후보 GAN을 식별하기위한 새로운 프레임 워크를 제안한다고 함. https://arxiv.org/abs/2002.08641 GAN에서 크게 이슈가 제기되는 점은 다음과 같다. mode collapse vanishing gradient unstable training non-convergence GANs game theory : a two-player minimax game discrimina..

GAN에 왜 그렇게 많은 노이즈가 필요한가?라는 주제로 미디엄 글이 있어서, GAN 쪽에서 이런 원론적인 것에 대해 관심이 많기 때문에 읽어보려고 한다. GAN (Generative Adversarial Networks)은 오래된 "실제" 샘플로써 제공하여 새로운 "가짜"샘플을 생성하는 도구이다. 이 샘플들은 이 샘플은 실제로 무엇이든 될 수 있습니다: 손으로 그린 숫자, 얼굴 , 손으로 그린 숫자, 얼굴 사진, 표현주의 그림 이것을 하기 위해서, GANs는 original dataset 하에서 기존 분포를 학습한다. 학습을 통하여, 생성자는 분포를 근사하고 반면에 판별자는 무엇이 잘 못되었는지를 말해준다. 그리고 이 2개가 교호하면서, arms race를 통해서 향상한다. 분포로부터 랜덤 샘플들을 뽑아..

Abstract 기존의 convolutional GAN은 저해상도 피쳐 맵에서 공간적으로만 로컬 포인트의 함수로 고해상도 디테일을 생성함. SAGAN에서는 모든 특징의 위치로부터 힌트를 사용하여 데이터를 생성함. 게다가 discriminator는 이미지의 먼 부분에서 매우 상세한 형상이 서로 일치하는지 확인할 수 있다. 최근 연구에서 GAN의 성능은 Generator의 조절에 영향을 미침. 이러한 통찰력에서 저자는 SN을 GAN generator에 적용함. 이것이 훈련 역학을 개선한다는 것을 발견했다고 함. SAGAN은 기존 것보다 36.8 -> 52.52(Inception score) 27.62-> 18.65(Frechet Inception distance(FID)) Introduction 이미지 생성..

이 글에서는 GAN에 대해서 2차원적 데이터 분포를 사용하여서 나오는 현상에 대해서 잘 설명된 글이라서 번역하고자 한다. GAN 기술의 기본 전제는 간단하다. 2가지 네티워크 (generator , discriminator)는 나란히 훈련시킨다. discriminator는 training data로부터 진짜 샘플과 generator로부터 만들어진 가짜 데이터를 보여준다. 그리고 가짜와 진짜를 분리하는 일을 맡는다. generator는 동시에 가짜 데이터를 만들면서, discriminator가 이 가짜 데이터를 진짜로 믿게 만드는 것이다. generator는 다양한 결과물을 만들 수 있다. 왜냐하면 인풋이 random noise로부터 만들어지기 때문이다. 통상적으로 100차원의 정규 분포를 이용한다. 이러..

https://ecmlpkdd2019.org/downloads/paper/23.pdf 불러오는 중입니다... 최근 커뮤니티에서 SVM과 GAN에서 Gradient Penalty 관련 논문을 찾다가 우연히 찾게 된 논문이다. 내용이 흥미로웠던 점은 Imbalanced 한 데이터셋에 대해서 GAN으로 풀겠다는 것이다. 나도 GAN을 공부하면서, 생성된 데이터를 이용하여 데이터의 Class의 균형을 맞추면 성능 향상에 더 기대할 수도 있을 것 같다고 속으로 생각만 했다가, 이 논문을 발견하게 되어서 먼가 반갑다. 일단 머 유명한 논문은 아닌 것 같지만, 일단 아이디어를 보는 정도로 쭉 봐야겠다. Prognostics and Health Management (PHM)이라고 하는 것에 대한 이야기를 하는 것 같고..

Paper https://arxiv.org/abs/1902.09599 Code https://github.com/steveli/misgan/blob/master/misgan.ipynb 아주 빠르게 보고 싶어서, 이론적인 부분은 살펴보지 않고 핵심 아이디어가 먼지만 확인 Abstarct GAN은 복잡한 분포를 모델링하는 효율 적안 방법론이고 리고 다양한 어려운 문제들에 대해서도 효과적인 결과를 얻게 한다. 그러나 전형적인 GAN는 학습 동안에 완적 관측된 데이터를 요구했다. 이 논문에서는 고차원의 불정 말한 데이터를 학습하는 GAN 기반 방법론을 제안한다. 그 제안된 방법은 결측 데이터 분포를 모델링하는 MASK Generator와 함께 정말한 DATA Generator를 배우는 것이다. 우리는 우리의 프..