데이터 과학의 핵심 : 비즈니스 문제를 데이터 문제로 변환시킨 뒤 관련 데이터를 수집하고 이해하고 전처리하고 형식을 바꾸는 것 기계학습은 이러한 과정 이후에 생각해야 하는 것 # 모델링 모델이란 ? -> 모델은 다양한 변수 간의 수학적 관계를 표현한 것 ex > 요리책 , 먹는 사람의 수, 배고픈 정도와 같은 변수를 통해서 재료의 양을 결정하는 모델을 사용비즈니스 모델에서 요리책 모델은 시행착오를 기반으로 누군가 직접 다양한 재료의 조합으료 요리 시도해 보고 가장 마음에 드는 조합을 찾았을 것## 요즘 보니 요리하는 로봇을 만들어 쉐프의 데이터를 입력하면 비슷하게 만들어주는 머신까지도 발명했다고 하더라구요.. # 기계학습 데이터를 통해 모델을 만들고 사용하는 것 -> 모델링 or 데이터마이닝 # 신용카드..

특정 상황에서 가장 적합한 모델을 찾아야 할 경우 가장 적합한(Best) 라는 것은 대부분 "모델의 오류(error)를 최소화 하는" or "likelihood(우도)를 최대화하는" 것을 의미한다. 즉 어떤 최적합 문제에 대한 답을 내리는 것이다. 최적합 문제를 풀 때 경사하강법(gradient descent)이라 불리는 방법을 주로 사용한다. def sum_of_squared(v) :"""v에 속해 있는 항목들의 제곱합을 계산한다."""return sum(v_i**2 for v_i in v) 이러한 함수 f가 있을 때 -> 최대화 즉 함수 f 를 최대화시키는 입력값 v를 찾아야 한다. # gardient(경사,기울기) - 편미분 벡터함수가 가장 빠르게 증가할 수 있는 방향을 나타낸다. 방법중 하나는 임..

빈도주의론자 입장에서는 " 귀무가설이 사실이라면 이렇게 극단적인 통계치가 발생할 확률은 3%이다" 베이지안들은 알려지지 않은 parameter를 확률변수로 보는 방법이 있다. parameter에 대한 사전 분포로 주어지고 관측된 데이터와 베이즈 정리를 이용하여 사후정리를 갱신할 수 있다. 그래서 피라미터에 대한 확률적으로 결론을 낼 수 있다. ex ) 동전 던지기 예시처럼 알려지지 않은 parameter가 확률이라고 가정해보자 보통 모든 확률 값은 0~1 사이에서 정의 되는 베타분포를 사전분포르 사용한다. 베타분포https://ko.wikipedia.org/wiki/%EB%B2%A0%ED%83%80_%EB%B6%84%ED%8F%AC import mathdef B(alpha,beta) : "모든 확률값의 ..

from collections import Counter from matplotlib import pyplot as plt import numpy as np years = [1950,1960,1970,1980,1990,2000,2010] gdp = [300.2,543.3,1075.9,2862.5,5979.5,10234.2, 15234.4] plt.plot(years,gdp,color="green",marker="o",linestyle="solid") plt.ylabel("billionsof $") plt.show() # 막대 그래프 movies =["a","b","c","d","e"] num_oscars=[5,11,3,6,10] # 막대 너비 default 0.8 # 막대가 가운데로 올수 있도록 왼쪽 좌..

이전에 했던 것 def doubler(f): def g(x) : return 3*f(x) return g def cal(x) : return x+10 ff=doubler(cal) print(ff(10)) # (10+10) X 3 def cal2(x,y): return x+y g=doubler(cal2) g(1,2) # -> 임의의 수의 인자를 받는 함수 만들어 줘야 한다 # args kwargs -> argument unpacking # 함수 정의에 주로 사용한다. def magic(*args , **kwargs) : print("unnamed args:",args) print("keyword args:", kwargs) magic(1,2,key="word",key2="word2") # args -> 이..

# Python3.5웹 어플리케이션으로 chatbot을 실행하고 싶을 때 리눅스 환경에서는 # 챗봇 실행 권한 부여하기cmd 창에서 chmod +x 주소/chatbot.py # 서버 실행하기 python3 -m http.server --cgi 8080 이지만 제가 지금 쓰고 있는 환경 Windows7 에서는 검색을 해보니 # cmd 창에서icacls 주소/chatbot.py # 서버 실행하기 python -m http.server --cgi 8080 로 실행해서 http://localhost:8080/cgi-bin/chatbot.py 로 실행시켜주면 접속이 가능합니다 물론 문제는 웹어플리케이션에서 글자가 깨지는 상황이 나오는데 아직 해결은 못햇습니다 ㅠ 코드가 필요하시면 비밀댓글로 남겨주세요

텍스트 데이터를 뽑아냈는데 모든 문장이 띄어쓰기가 안 될때 쓰면 좋은 코드입니다. - import codecs from bs4 import BeautifulSoup from konlpy.tag import Twitter import urllib.request import os, re, json, random ret="짐작이엇나갔으므로준구의말을하는데임이네도무슨까닭인지최참판의어머니에관한것을." abc = urllib.parse.urlencode({"_callback": "","q": ret}) data = urllib.request.urlopen("https://m.search.naver.com/p/csearch/dcontent/spellchecker.nhn?" + abc) data = data.read()..

딥러닝을 공부하는데 Numpy가 중요하다고 많은 사람들이 말을 해서 github에 exercies 올려주신 분이 있어서 물론 그 안에 들어가면 문제와 함께 답도 있지만, 개인적으로 문제만 보고 해보면서 답도 모르면 찾아보는 식으로 해봤습니다.여기서도 많이 배웠지만, 더 많은 Numpy에 대한 학습을 해서 딥러닝을 이해할 때 더 도움이 되도록 공부를 해야 할 것 같습니다. 참고 사이트 : https://github.com/Kyubyong/numpy_exercises 사이트를 몇 개 찾아봤는데, 적절한 것을 잘 찾지 못하는 구글링 실력으로 뒤져보다가 이 사이트는 NUMPY 부분에 대해서 전체적으로 다 나온 것 같아서 이것을 통해 NUMPY 를 좀 더 다양하고 깊게 공부해볼려고 합니다.다른 배울 사이트: ht..

오늘 초대장을 받아서 포스팅을 시작하게 되었습니다. 열심히 해보려고 노력하겠습니다. 저는 주로 분석 쪽에 글을 올리려고 합니다. R이라든지 Python 이라든지 공부하고 싶었던 주제나 해본 것들을 바탕으로 글을 올려보겠습니다.