목차 umap에서 ParametricUMAP 을 사용하기 위해서는 keras 모델을 만들어야 하는데, 정형데이터를 임베딩해서 적용해보고 싶어서, 테스트를 하는 도중에 나온 결과물을 정리한다. 결론적으로 현재(22/01/08)는 umap에서 dict 데이터 타입을 지원하지 않고, 오로지 array 형태로만 가능하기 때문에, 사용할수가 없었다. 데이터를 one-hot으로 해서 하는 방법이 있겠지만, 차원 축소를 할 때 임베딩도 차원 축소할 때 학습시키고자 했기 때문에 좀 더 라이브러리가 개선되면 그때 다시 시도해봐야겠다. 아니면 일부 코드를 뜯어내서 수정하거나... 이러한 예시는 tensorflow에서 더 잘되어 있긴 하지만, 간단하게 구현해놔서 정리만 해둔다. 라이브러리 호출 import pandas as..

목차 개념 가끔 보면 einsum을 홍보하는 글을 보거나 코드에서 본 것 같다. 처음에는 대수롭지 않게 생각을 했는데, 좀 더 자세히 보니 매력적인 부분이 많은 것 같아 알아보려고 한다. 특히 매력적인 부분은 이것만 알고 있으면 numpy , pytorch, tensorflow 다 동일하게 적용할 수 있다는 점이다. 선형 대수학은 딥러닝 분야에서 근본적인 역할을 하는데, 아직까지는 춘추전국시대라서 통일된 라이브러리가 없고 계속 생겨나는 시점이라 이럴수록 하나로 통일해주는 것을 배우면 좋을 것 같다고 생각했다. 그리고 잘만쓰면, 복잡한 연산도 쉽게 구현할 수 있는 것 같아서 좋은 것 같다. einsum 연산을 통해서, 행렬 내적, 외적, 내적, 행렬곱 등을 동일한 형태로 할 수 있다는 것이 참 매력적인 부..

언젠가는 다시 볼 것 같아서 간단하게 정리된 것 참고하여 작성 기존의 어려움들 The challenges for implementing NAS are everywhere. For starters, there are not many NAS frameworks integrated into mainstream deep learning stacks such as TensorFlow or PyTorch. Also, many NAS implementation require a lot of domain expertise to start with a series of architectures that make sense for a given problem. Finally, NAS stacks are really exp..

이번 글은 실제 학습 동안에, GPU를 얼마나 사용하는지를 프린트해주는 것을 찾게 되어서 공유한다. 실제로는 nvidia-smi를 통해서 확인할 수 있지만, 도커를 쓰다보면 이러한 사용량을 알 수 없는 경우가 생긴다. 그래서 이번에는 학습하면서 중간 중간에 출력을 해줘서 실제로 사용 여부를 확인할 수가 있다. 추가적으로 threading을 사용해서 학습하면서, 병렬로 돌릴 수 있는 코드를 발견해서 공유한다. # Import MNIST data from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("./", one_hot=False) import tensorflow as tf import mat..

https://colab.research.google.com/drive/1HZaJ4p2sjkXDUgIWsr0OsxP_IYNGRhbU#scrollTo=Tf53CGLvKNya Google Colaboratory colab.research.google.com 페이스북에 올라온 것을 한글이 가능하게 바꾸고 글자마다 색깔을 바꾸고 해봤습니다. 아마 지금 코드에서 바꿀 수 있는 색깔 수 때문에 글자수가 제한될 수 있으니, 그 부분만 수정하면 될 것 같습니다. !pip install tensorflow_gpu==1.15.0 import matplotlib as mpl import matplotlib.pyplot as plt %config InlineBackend.figure_format = 'retina' !apt ..

아시다시피 실제 데이터에는 잡음이 있다. 상당히 짜증스럽기는 하지만, 그러한 잡음은 데이터의 기원에 대한 더 넓은 시야를 제공하기 때문에 의미가 있다. 타겟 값은 인풋에 따라서 잡음의 정도가 다를 수 있기 때문이다. 그리고 그것은 데이터를 이해하는 데 있어서 주요한 영향을 끼친다. $$f(x)= x^2 -6x+9$$ 위와 같은 함수가 잇다고 하자. 위의 함수는 determinsitc output $f(x)$를 가진다. 그러나 실제 데이터에서는 잡음이 생길 수 있는데, 여기서는 x 가 커질수록 잡음이 더 증가한다고 하자 그러면 아래와 같은 그림을 가질 것이다 $$g(x) = f(x) + \epsilon(x)$$ import numpy as np import pandas as pd import seaborn..

광고 한 번씩 눌러주세요! 블로그 운영에 큰 힘이 됩니다 :) 2020/04/29 - [꿀팁 분석 환경 설정/Linux 관련 팁] - ubuntu18.04 에 R 4.0 설치 및 Rstudio Server 설치하기 2020/05/04 - [분석 R/구현] - [R][Windows 10] R 4.0 에서 reticulate를 사용하여 conda에서 Tensorflow 설치해보기 2020/05/04 - [분석 R/구현] - [R][Windows 10] R 4.0에서 Tensorflow 사용해보기 간단 예제 (conda) 2017년도에 올라온 글을 따라 해 봤다. 요약하자면 약간의 오류 빼고는 거의 똑같이 작동하는 것을 알 수 있었다. http://freesearch.pe.kr/archives/4546 필자는..

광고 한 번씩 눌러주세요! 블로그 운영에 큰 힘이 됩니다 :) 2020/04/29 - [분석 R] - R 최신 버전 설치 관련 자료 2020/04/29 - [꿀팁 분석 환경 설정/Linux 관련 팁] - ubuntu18.04 에 R 4.0 설치 및 Rstudio Server 설치하기 2020/05/04 - [분석 R/구현] - [R][Windows 10] R 4.0 에서 reticulate를 사용하여 conda에서 Tensorflow 설치해보기 2020/05/04 - [분석 R/구현] - [R][Windows 10] R 4.0에서 Tensorflow 사용해보기 간단 예제 (conda) Windows 10에서 Tensorflow를 설치해보는 것을 해보고자 한다. 일단 여러 환경을 사용할 가능성이 있기 때문..

주로 나는 tensorflow를 사용하는 유저이다. 그래서 보통 fully connected layer를 사용할 때 필자는 weight와 bias를 다 지정하고 곱하고 더하는 식으로 한다. w = tf.get_variable("w" , [in_dim,out_dim]) b = tf.get_variable("b" , [out_dim]) logit = tf.matmul(x,w)+b 왜냐하면 좀 더 weight에 특정한 짓(spectral norm) 같은 것을 구현하려면 high level api인 tf.layers.dense를 사용하면 안 되기 때문이다. 그래서 이번에 어쩌다 3 dimension을 다르고 있는데, 신기하게 tf.layers.dense가 작동하는 것을 확인하였고, 내부에서 어떻게 돌아가는지 확..

광고 한 번씩 눌러주세요! 블로그 운영에 큰 힘이 됩니다 :) 드디어 Mixture Density Neural Network 관련 코드를 찾았다. 필자는 혼합 분포 뉴럴 네트워크에 대한 것을 알고 싶었는데, 찾고 싶을 때는 죽어도 안 나오더니, 우연찮게 글을 찾게 되어 읽어보고 실습을 해보고 나중에 어떻게 써먹을지 생각을 해봐야겠다. 필자는 개인적으로 기대하는 방향은 VAE 같은 곳에 단순 가우시안으로 계산하는 방법이 아닌 Mixture density를 latent space에서 배우게 하고 싶다. 물론 실제로 그런 loss 함수 부분을 정의하는 방법도 또 찾아봐야겠지만, 이미 누군가는 다 해놨을 거라고 생각하고 열심히 찾아볼 계획이다. :) Introduction 모델 평가를 위해 예측하고 불확실성을 ..

광고 한 번씩 눌러주세요! 블로그 운영에 큰 힘이 됩니다 :) tensorflow graph 내에 파이썬 연산을 해줄 수 있는 tf.py_func 만약 데이터가 크다면, 전체를 읽지 못하고 배치성으로 데이터를 읽어서 해야하는데, 그럴 때 그래프내에서 할 수 있기 때문에 괜찮다고 생각함. (사실 텐서플로우 그래프 밖에서 해도 될 것 같긴 함.) Tensorflow에 python_func 사용해보기 import tensorflow as tf import numpy as np from sklearn.preprocessing import MinMaxScaler X = tf.placeholder(tf.float32 , (None , 3), name ="X") def numpy_use(x) : result = x-..

Tensorflow에서 seq2seq를 하고 싶은데, 생각보다 자료가 많지 않은 것 같아서, 검색하면서 찾은 것들 하다 보니 오류 투성이라 Pytorch쪽으로 넘어가고 싶다는 생각이 100번 정도 든 듯 (아니면 Tensorflow 2?...) multi step single step에서 multi step까지 예측 keras multi step keras multi step (kaggle) 4 Strategies for multi step time series forcasting Seq2Seq lstm 먼가 쉽게 설명한 것 처럼 보이는 코드 seq2seq 설명 seq2seq 설명 자료 seq2seq attention 한국어 설명 attention-seq2seq 그림 설명 keras_seq2seq_sin..