일단은 Numeric 버전만 진행을 하려고 한다. 추후에 wide-deep 이든 embedding 해서 하는 것을 해보겠다. 여기서 tf.data를 적용하려고 했는데, 계속 안되서 포기하고 그냥 해보기! import numpy as np from sklearn.model_selection import train_test_split from sklearn import datasets cancer = datasets.load_breast_cancer() cancer.data.shape, cancer.target.shape ## stratifed를 제공했었다! X_train, X_test, y_train, y_test = train_test_split( cancer.data, cancer.target, tes..

보통 데이터가 클 경우에 읽는 것도 버거울 경우가 있다. 아마 내가 여기서 기대하는 것은 읽을 때도 batch 단위로 읽어서 메모리를 다 안 쓰는? 실제로 그렇게 돌아가는지는 모르겠다. 암튼 csv 에서 자체적으로 feature를 쪼개서 학습을 시킬 때 어떻게 해야 하나 고민하다가 방법을 찾아서 공유한다. 물론 그리고 바로 모델링도 쉽게 하는 방법까지 해보겠다. 아직 해결해야할 점은 Pipeline에서 전처리도 안에서 어떻게 해야 할지다! 여기서 의문인 점은 batch 단위로 전처리를 하게 되는지 그런 것들이 좀 궁금하다. 큰 데이터에서 어떻게 전처리를 해야 효과적으로 할 수 있는지.... 아무튼 여기선 csv -> 바로 feature와 target으로 나눠서 모델링하는 것으로! import tensor..