본문 바로가기

Machine Learning(머신러닝)

부동산 거래량 ( ~ 19.5월) 부동산 거래량 2018년부터 현재까지도 부동산 거래량과 평균 거래 금액에 대해 알아본다. 이 곳에서는 부동산 거래량과 평균 거래 금액의 추이를 광역시 별로 살펴보는 시간을 가져보도록 한다. 부동산 거래량은 부동산 실거래가 사이트(http://rtdown.molit.go.kr)에서 받을 수 있다. 이번 것은 2019.06.25일 받은 자료를 바탕으로 작성하였다. 부동산 실거래는 거래 계약일 기준으로 등록하게 되어 있으며, 계약일과 신고일 차이로 2019년 4, 5월 건의 경우 실제 계약 건수와 차이가 있을 수 있다. 결론 2019년 3~5월간 서울과 세종의 부동산 평균 거래가가 매우 증가하고 있음을 알 수 있다. 거래량은 줄어드는 것처럼 보이나 4,5월 거래량이 아직 집계가 되지 않았음을 감암해야 한다. .. 더보기
부동산 거래량 (~2019년 03월) 부동산 거래량¶ 2018년도 부동산 거래량에 대해 알아본다. 부동산 거래량은 부동산 실거래가 사이트에서 받을 수 있다. 이 곳에서는 부동산 거래량과 평균 거래 금액의 추이를 광역시 별로 살펴보는 시간을 가져보도록 한다. In [20]: #-*- encoding: utf8 -*- import os import glob import pandas as pd import matplotlib.pyplot as plt import unicodedata import matplotlib 1. 준비¶ 맥에서 자모 분리되는 문제로 폰트를 변경해 준다. In [21]: matplotlib.rc('font', family='AppleGothic') 2. Data prepation¶ 다운 받은 데이터를 csv file form.. 더보기
부동산 거래량 과 거래 금액 추이 부동산 거래량In [102]:#-*- encoding: utf8 -*- import os import glob import pandas as pd import matplotlib.pyplot as plt import unicodedata In [103]:import matplotlib In [104]:matplotlib.rc('font', family='AppleGothic') In [193]:def load_data(path): filenames = glob.glob(os.path.join(path, '*.csv')) ret = {} for fname in filenames: dft = pd.read_csv(fname) dft.columns = dft.columns.str.normalize('NFC').. 더보기
Python을 이용한 인스타그램 태그 크롤링 파이썬을 이용해서 인스타그램의 태그를 크롤링해 보도로 한다. 웹 크롤링은 여러가지 방법과 라이브러리를 이용해서 할 수 있다. 여기서는 최소한의 노력(?) 으로 인스타그램의 사진을 얻어 오도록 해 본다. 우선 github에서 instagram crawler 를 찾아 보도록 하자. 많은 사람들이 자신이 만든 코드를 올려 놓은 것을 알 수 있다. 오늘 사용할 소스는 아래 github repository를 사용하도록 한다. https://github.com/huaying/instagram-crawler.git code를 받는 방법은 간단하다. git 을 이용해서 아래와 같이 git clone 을 할 수도 있으며, 홈페이지에서 다운로드 받을 수도 있다. git clone 만 할 줄 알면 여러가지 유용한 코드를 무.. 더보기
강 인공지능과 약 인공지능 인공 지능 이야기가 핫하다. 인공 지능에 관한 이야기를 듣는 창구는 영화와 같은 미디어를 통해 받은 정보가 많고 임팩트도 크다. 영화에서 나오는 인공지능은 인간을 능가하는 논리력과 사고력을 갖추고 인간을 넘어서서 지배하려고 하는 존재이다. 치밀하게 계획해서 인간을 파멸시키기 위해 노력하는 인공지능을 막기 위한 인간의 노력이 눈물겹게 그려진 영화를 보고 있노라면 뉴스에서 인공지능이란 이야기가 나올 때마다 터미네이터의 디스토피아가 떠오르게 된다. 하지만 현실은... 학계에서 인공지능을 분류할 때 강 인공지능과 약 인공지능으로 분류한다. 튜링 테스트를 통과할 수 있으면 인공지능이라 여겨지는데, 튜링 테스트를 통과할 수 있다고 해서 인간과 같이 추론할 수 있다는 뜻은 아니다. 강 인공지능: 인간이 가진 지식을 .. 더보기
Machine learning을 포함한 A.I 구조 우리가 흔히 이야기 하는 머신러닝, 딥러닝을 포함한 A.I의 상관 관계는 일반적으로 아래와 같이 표시한다. A.I 라고 얘기하는 것은 사람들이 행하고자 하는 어떤 작업을 대신해서 실행할 수 있는 것을 이야기하게 된다. 이 중 요즘 각광을 받고 있는 머신러닝이 있고 머신러닝 안에 딥러닝을 포함하고 있다. 딥 러닝을 포함한 머신 러닝은 통계에 그 기반을 두고 있어서 통계 학습이라고도 한다. 실제 수업을 들어보면 확률과 통계가 대부분임을 알 수 있다. 딥 러닝을 포함한 머신 러닝을 배우기 위한 기본 선수 과목은 보통 아래와 같다. 선형 대수학(Linear Algebra): 통계 학습에서 데이터를 계산하기 위해 주로 사용된다.확률과 통계(Probability and Statatistics): 머신 러닝의 대부분.. 더보기
sklearn model 백업, 재사용 sklearn 내부의 pickle lib 를 통해 모델을 저장하고 다시 로드하여 재사용할 수 있다. from sklearn import svm from sklearn import datasets clf = svm.SVC() iris = datasets.load_iris() X, y = iris.data, iris.target clf.fit(X, y) import pickle s = pickle.dumps(clf) clf2 = pickle.loads(s) clf2.predict(X[0:1]) y[0] 아래 api를 통해 file 저장도 가능한 듯 하다. 자세한 내용은 pickle 홈페이지에 있다. https://docs.python.org/2/library/pickle.htmlpickle.dump(obj,.. 더보기
sklearn 성능 측정 sklearn 의 성능을 측정할 수 있는 여러가지 Api 를 제공하고 있다. 아래 블로그에 sklearn을 통해 learn 된 데이터에 대해 성능 평가 방법에 대해 설명하고 있다. http://antilibrary.org/1067 더보기