보호되어 있는 글입니다.

필자는 scikit-learn으로 preprocessing custom class들을 만든 후 Pipeline을 활용해 한꺼번에 묶어서 사용하고자 했다. Pipeline으로 구축하게 되면 개인적으로 생각하는 점은 자신의 새로운 class와 더불어서 scikit-learn에 많은 패키지들과 호환돼서 확장성을 가질 수 있을 것이라고 생각했다. 기존에 단순히 Class로 된 것에 대한 아쉬움을 느껴서, 확장하기에는 custom 해야하는 것이 많다. 그래서 Scikit-Learn Pipeline과 호환이 된다면, 더 많은 것을 쉽게 할 수 있을 거라 생각해서, 진행해봤다. 기존에 Pipeline으로만 하는 것은 자주 해서 어려운 부분이 아니였지만, 저장해서 사용하려니 이슈가 생겼고, 해결한 방법에 대해서 관련된..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다. 파이썬에서 분석을 하실 때 아무래도 가장 편하게 생각할 수 있는 것은 판다스를 활용하는 방법일 것이다. 그리고 저와 같은 개발쪽 초보자들은 가장 편한 to_csv , read_csv로 데이터를 저장하고 읽을 것이다. csv로 저장하면 다른 곳에서도 쓸 수 있어 편하지만, 데이터 자체를 저장하는 것에는 별로 좋지 않아 보인다. 왜냐하면 판다스로 읽고 쓰는 것이 빅데이터에서는 많은 시간을 소요하기 때문이다. 그래서 본 글에서는 csv , pickle, feather 총 3가지를 비교해보고자 한다. 여러 가지 방식(hdf , parquet)이 있지만, 이번 글에서는 다른 방식도 있다는 것을 말하고 싶기 때문에 궁금하시면 찾아서 하시면 ..

최근에 Flask를 이용해서 모델을 load 하고 예측을 하려고 한다. 예측을 빠르게 하기 위해선 모델을 불러오고 모델의 결괏값만 불러오게 해야 하는데 여기선 모델의 아키텍처와 가중치를 저장을 해서 인풋만 넣어도 예측하게 하는 과정을 해보려고 한다. 일단 모델을 하나 만든다. 여기선 간단하게 binary class를 해본다. 여기서 만들 때 가중 중요하게 생각한 것은 name을 지정해야 합니다! 그래야 나중에 모델만 불러와서 사용할 수 있는 것 같습니다. 만든 후에 각 지정한 이름을 확인하고 싶은 경우 save_file = "./savemodel/.meta" saver = tf.train.import_meta_graph(save_file) saver.restore(sess, tf.train.latest_..