애플지도, 구글지도 등등 여러 다른 지도에서도 경로 탐색이 가능 하고
자동차, 자전거, 도보에 따른 예상 시간을 구할 수 있을 것이다.
하지만 꼭집어서 TMap API로 해주세요. 이런 경우 삽질이 불가피 했다.
TMapOpenAPI PDF 문서를 보면 다음과 같이 되어 있다.
4.9.15. (NSDictionary*) findTimeMachineCarPathWithStartPoint: (TMapPoint*)startPoint
타임머신 자동차 길안내로 출발 혹은 도착시간을 예측한 자동차 길 안내정보를 제공한다. 반환된 정보는 NSDictionary 안에 포함이 되어 있고, 자세한 내용은 skpPlanetx.com 의 경로안내를 참조하면 된다. 주소는 https://developers.skplanetx.com/apidoc/kor/t-map/course-guide/geojson/ 이다.
Parameters
- (TMapPoint*) startPoint : 출발지점
Return
- https://developers.skplanetx.com/apidoc/kor/t-map/course-guide/geojson/ 참조
Example
당연히 네비게이션을 만들수 있는 TMap API를가지고 경로 안내는 물론 예상 도착 시간을 구할 수 있어야 하는데
설명이 너무 부족 하다.
https://developers.skplanetx.com/apidoc/kor/t-map/course-guide/geojson/
여기 사이트를 참조 하라?
응답 값으로 geoJSON이란 형태로 주어진 위치에 대한 경로 정보가 리턴 된다고 한다.
type
features --- type
geometry
properties -- totalTime
findTimeMachineCarPathWithStartPoint 메서드에 응답 NSDictionary도 이와 같다는 의미로 해석 하면 될 듯 하다.
결국 내가 구하고자 하는 것은 예상 소요시간이므로
let path = TMapPathData()
let startPoint = TMapPoint(lon: start_lon, lat: start_lat)
let endPoint = TMapPoint(lon: end_lon, lat: end_lat)
let date = NSDate()
var dict = path.findTimeMachineCarPathWithStartPoint(startPoint , endPoint: endPoint, isStartTime: true, time: date, wayPoints: nil)
let totalTime = (dict["features"]! as! NSArray)[0]["properties"]!!["totalTime"] as! Double
features의 NSArray중 첫번째에서 properties,그 하위 totalTime을 Double로 변환 시키면 totalTime을 구할 수 있다.
2016년 7월 31일 일요일
2016년 7월 16일 토요일
zipline 국내 종목 처리시 문제점 해결
self.simulation_dt,
File "c:\zipline-0.9.0\zipline\utils\events.py", line 209, in handle_data
context.trading_environment,
File "c:\zipline-0.9.0\zipline\utils\events.py", line 228, in handle_data
self.callback(context, data)
File "c:\zipline-0.9.0\zipline\algorithm.py", line 368, in handle_data
self._handle_data(self, data)
File "C:\Users\Administrator\OneDrive\Developement\SystemT\systemt\backtesting
.py", line 62, in handle_data
ma5 = history(5, '1d', 'price').mean()
File "c:\zipline-0.9.0\zipline\utils\api_support.py", line 51, in wrapped
return getattr(get_algo_instance(), f.__name__)(*args, **kwargs)
File "c:\zipline-0.9.0\zipline\utils\api_support.py", line 98, in wrapped_meth
od
return method(self, *args, **kwargs)
File "c:\zipline-0.9.0\zipline\algorithm.py", line 1270, in history
return self.history_container.get_history(history_spec, self.datetime)
File "c:\zipline-0.9.0\zipline\history\history_container.py", line 904, in get
_history
raw=True
File "c:\zipline-0.9.0\zipline\history\history_container.py", line 56, in ffil
l_buffer_from_prior_values
nan_sids = pd.isnull(buffer_values[0])
IndexError: index 0 is out of bounds for axis 0 with size 0
Press any key to continue . . .
zipline 0.8.4
zipline 0.9.0
pandas_datareader를 이용해서 yahoo에서 AAPL 애플 주가를 얻은 다음
zipline 백테스팅 예제를 처리 하면 잘 동작 한다.
dataFrame에서 날짜 인덱스 부분을 UTC 시간으로 변경 하는 작업을 해주면 문제 없이 동작 한다.
하지만 국내 증시
나의 경우 직접 대신 증권 API를 통해서 일자별 시가, 고가, 저가, 종가를 얻어다가 DB를 구성 하고
이를 다시 로드 하여 dataframe을 구성해서
zipline에서 이용할 때 위와 같은 에러를 만났다.
대충 원인을 분석 하니 날짜 인덱스가 문제가 되는것으로 보인다.
그래서 pandas를 통해서 해당 종목을 yahoo에서 얻어서 처리를 해도 마찬가지 에러가 발생 한다.
우리나라 주식 거래일과 미쿡의 주식 거래일이 달라서 생기는 문제로 잠정 원인을 파악 했다.
그럼 해결방법은?
분석 시작 날짜로 부터 오늘의 데이터 까지를 대략 AAPL 즉 애플의 데이터 (미쿡 증시) 를 가져 온다음
종가 Adj Close 컬럼의 값을 실제로 내가 분석 하고 싶은 우리나라 종목에 종가로 교체 해 버리고
zipline을 처리 하니 동작 하더라
여기서 중요 포인트는 데이터 프레임의 개수를 맞추는 작업
import pandas_datareader.data as web
import datetime
start = datetime.datetime(2010, 1, 1)
end = datetime.datetime(2016,7,15)
data = web.DataReader("AAPL", "yahoo", start, end)
data = data[['Adj Close']]
data.columns = [code]
data.head()
data = data.tz_localize("UTC")
df = makeDataFrame(code)
df = df[['CLOSE']]
data = data[len(data) - len(df):] #데이터 프레임의 row 수를 맞추는 작업
data[code] = np.where(1, df['CLOSE'], df['CLOSE']) #DB에서 가져온 df의 CLOSE 컬럼을 AAPL의 종가 컬럼으로 교체
zipline이 아직 개발 단계에 문제점이 많지만 간편하게 백테스팅을 처리 할 수 있는 좋은 라이브러리 같다.
File "c:\zipline-0.9.0\zipline\utils\events.py", line 209, in handle_data
context.trading_environment,
File "c:\zipline-0.9.0\zipline\utils\events.py", line 228, in handle_data
self.callback(context, data)
File "c:\zipline-0.9.0\zipline\algorithm.py", line 368, in handle_data
self._handle_data(self, data)
File "C:\Users\Administrator\OneDrive\Developement\SystemT\systemt\backtesting
.py", line 62, in handle_data
ma5 = history(5, '1d', 'price').mean()
File "c:\zipline-0.9.0\zipline\utils\api_support.py", line 51, in wrapped
return getattr(get_algo_instance(), f.__name__)(*args, **kwargs)
File "c:\zipline-0.9.0\zipline\utils\api_support.py", line 98, in wrapped_meth
od
return method(self, *args, **kwargs)
File "c:\zipline-0.9.0\zipline\algorithm.py", line 1270, in history
return self.history_container.get_history(history_spec, self.datetime)
File "c:\zipline-0.9.0\zipline\history\history_container.py", line 904, in get
_history
raw=True
File "c:\zipline-0.9.0\zipline\history\history_container.py", line 56, in ffil
l_buffer_from_prior_values
nan_sids = pd.isnull(buffer_values[0])
IndexError: index 0 is out of bounds for axis 0 with size 0
Press any key to continue . . .
zipline 0.8.4
zipline 0.9.0
pandas_datareader를 이용해서 yahoo에서 AAPL 애플 주가를 얻은 다음
zipline 백테스팅 예제를 처리 하면 잘 동작 한다.
dataFrame에서 날짜 인덱스 부분을 UTC 시간으로 변경 하는 작업을 해주면 문제 없이 동작 한다.
하지만 국내 증시
나의 경우 직접 대신 증권 API를 통해서 일자별 시가, 고가, 저가, 종가를 얻어다가 DB를 구성 하고
이를 다시 로드 하여 dataframe을 구성해서
zipline에서 이용할 때 위와 같은 에러를 만났다.
대충 원인을 분석 하니 날짜 인덱스가 문제가 되는것으로 보인다.
그래서 pandas를 통해서 해당 종목을 yahoo에서 얻어서 처리를 해도 마찬가지 에러가 발생 한다.
우리나라 주식 거래일과 미쿡의 주식 거래일이 달라서 생기는 문제로 잠정 원인을 파악 했다.
그럼 해결방법은?
분석 시작 날짜로 부터 오늘의 데이터 까지를 대략 AAPL 즉 애플의 데이터 (미쿡 증시) 를 가져 온다음
종가 Adj Close 컬럼의 값을 실제로 내가 분석 하고 싶은 우리나라 종목에 종가로 교체 해 버리고
zipline을 처리 하니 동작 하더라
여기서 중요 포인트는 데이터 프레임의 개수를 맞추는 작업
import pandas_datareader.data as web
import datetime
start = datetime.datetime(2010, 1, 1)
end = datetime.datetime(2016,7,15)
data = web.DataReader("AAPL", "yahoo", start, end)
data = data[['Adj Close']]
data.columns = [code]
data.head()
data = data.tz_localize("UTC")
df = makeDataFrame(code)
df = df[['CLOSE']]
data = data[len(data) - len(df):] #데이터 프레임의 row 수를 맞추는 작업
data[code] = np.where(1, df['CLOSE'], df['CLOSE']) #DB에서 가져온 df의 CLOSE 컬럼을 AAPL의 종가 컬럼으로 교체
zipline이 아직 개발 단계에 문제점이 많지만 간편하게 백테스팅을 처리 할 수 있는 좋은 라이브러리 같다.
2016년 7월 14일 목요일
주가 분석 , 이평선 골든 크로스, 볼린져 밴드 하단 터치 이후 상승, MACD signal Cross 종목 찾기
https://github.com/sparrowapps/systemt
2016년 7월 14일 골든 크로스 결과만 보자면
#-*- coding: utf-8 -*-
import pandas as pd
from pandas import Series, DataFrame
import sqlite3
import numpy as np
from logger import get_logger
from stockcode import get_code_list
from settings import START_DATE
from cp_constant import *
import win32com.client
def checkData( cursor, table_name ):
row = cursor.execute("SELECT 1 FROM sqlite_master WHERE type='table' AND name='{}'".format(table_name)).fetchone()
if row is None: return False
row = cursor.execute("SELECT COUNT(*) FROM '{}'".format(table_name)).fetchone()
if row is None : return False
return True
def makeDataFrame( code ):
with sqlite3.connect("price.db") as con:
cursor = con.cursor()
table_name = code
if checkData( cursor, table_name ) == False: return False
df = pd.read_sql("SELECT * FROM '{}'".format(table_name), con, index_col=None)
return df
def isMAGoldCross( df, MA1 = 20, MA2 = 60 ):
df['short_ma'] = pd.rolling_mean(df['CLOSE'],MA1)
df['long_ma'] = pd.rolling_mean(df['CLOSE'],MA2)
df['signal'] = 0.0
if len(df) < MA2 * 4 : return False
df['signal'][MA1:] = np.where(df['short_ma'][MA1:] > df['long_ma'][MA1:], 1.0, 0.0)
df['positions'] = 0.0
df['positions'] = df['signal'].diff()
if df['signal'][len(df)-1] == 1 and df['positions'][len(df)-1] == 1:
return True
else:
return False
def isBBandSignal( df, period = 20):
df['Bol_upper'] = pd.rolling_mean(df['CLOSE'], window=period) + 2* pd.rolling_std(df['CLOSE'], period, min_periods=period)
df['Bol_lower'] = pd.rolling_mean(df['CLOSE'], window=period) - 2* pd.rolling_std(df['CLOSE'], period, min_periods=period)
df['signal'] = 0.0
df['signal'] = np.where(df['Bol_lower'] > df['CLOSE'], 1.0, 0.0)
df['positions'] = 0.0
df['positions'] = df['signal'].diff()
if len(df) < 2: return False
if df['signal'][len(df)-2] == 1 and df['positions'][len(df)-2] == 1:
if df['signal'][len(df)-1] == 0 and df['positions'][len(df)-1] == -1.0:
return True
else:
return False
else:
return False
def isMACDSignal( df, n1 = 12, n2= 26, c= 9):
df['MACD'] = pd.ewma(df['CLOSE'], span=n1) - pd.ewma(df['CLOSE'], span=n2)
df['MACD_Signal'] = pd.ewma(df['MACD'], span=c)
df['signal'] = 0.0
df['signal'] = np.where(df['MACD'] < df['MACD_Signal'], 1.0, 0.0)
df['positions'] = 0.0
df['positions'] = df['signal'].diff()
if df['signal'][len(df)-1] == 1 and df['positions'][len(df)-1] == 1:
return True
else:
return False
def run():
with sqlite3.connect("analyze.db") as con:
cursor = con.cursor()
code_magc = {'CODE':[],
'NAME':[]}
code_bb = {'CODE':[],
'NAME':[]}
code_macd = {'CODE':[],
'NAME':[]}
for code, name in get_code_list():
df = makeDataFrame( code )
res = isMAGoldCross( df, 20, 60 )
if res == True:
code_magc['CODE'].append(code)
code_magc['NAME'].append(name)
get_logger().debug("MA20, MA60 Golden Cross {}{}".format(code,name))
res = isBBandSignal( df, 20 )
if res == True:
code_bb['CODE'].append(code)
code_bb['NAME'].append(name)
get_logger().debug("BBnad lower after up {}{}".format(code,name))
res = isMACDSignal( df, 12, 26, 9)
if res == True:
code_macd['CODE'].append(code)
code_macd['NAME'].append(name)
get_logger().debug("MACD sig {}{}".format(code,name))
magc = DataFrame(code_magc)
bb = DataFrame(code_bb)
macd = DataFrame(code_magc)
magc.to_sql("MAGC", con, if_exists='replace', chunksize=1000)
get_logger().debug("MAGC {} saved.".format(len(magc)))
bb.to_sql("BB", con, if_exists='replace', chunksize=1000)
get_logger().debug("BB {} saved.".format(len(bb)))
macd.to_sql("MACD", con, if_exists='replace', chunksize=1000)
get_logger().debug("MACD {} saved.".format(len(macd)))
if __name__ == '__main__':
run()
2016년 7월 14일 골든 크로스 결과만 보자면
sqlite> select * from MAGC;
0|A004560|현대비앤지스틸
1|A175330|JB금융지주
2|A004960|한신공영
3|A900110|이스트아시아홀딩스
4|A085310|엔케이
5|A000155|두산우
6|A016880|웅진
7|A059090|미코
8|A200780|비씨월드제약
9|A082740|두산엔진
10|A110570|넥솔론
11|A100030|모바일리더
12|A160550|NEW
13|A027050|코리아나
14|A083450|GST
15|A089600|나스미디어
16|A041440|에버다임
17|A200230|텔콘
18|A090990|코리아03호
19|A065440|이루온
20|A079650|서산
21|A008700|아남전자
22|A024120|KB오토시스
23|A050760|에스폴리텍
24|A008970|동양철관
sqlite>
네이버님의 골든크로스 결과보다 몇몇 종목이 더 나 왔다.
#-*- coding: utf-8 -*-
import pandas as pd
from pandas import Series, DataFrame
import sqlite3
import numpy as np
from logger import get_logger
from stockcode import get_code_list
from settings import START_DATE
from cp_constant import *
import win32com.client
def checkData( cursor, table_name ):
row = cursor.execute("SELECT 1 FROM sqlite_master WHERE type='table' AND name='{}'".format(table_name)).fetchone()
if row is None: return False
row = cursor.execute("SELECT COUNT(*) FROM '{}'".format(table_name)).fetchone()
if row is None : return False
return True
def makeDataFrame( code ):
with sqlite3.connect("price.db") as con:
cursor = con.cursor()
table_name = code
if checkData( cursor, table_name ) == False: return False
df = pd.read_sql("SELECT * FROM '{}'".format(table_name), con, index_col=None)
return df
def isMAGoldCross( df, MA1 = 20, MA2 = 60 ):
df['short_ma'] = pd.rolling_mean(df['CLOSE'],MA1)
df['long_ma'] = pd.rolling_mean(df['CLOSE'],MA2)
df['signal'] = 0.0
if len(df) < MA2 * 4 : return False
df['signal'][MA1:] = np.where(df['short_ma'][MA1:] > df['long_ma'][MA1:], 1.0, 0.0)
df['positions'] = 0.0
df['positions'] = df['signal'].diff()
if df['signal'][len(df)-1] == 1 and df['positions'][len(df)-1] == 1:
return True
else:
return False
def isBBandSignal( df, period = 20):
df['Bol_upper'] = pd.rolling_mean(df['CLOSE'], window=period) + 2* pd.rolling_std(df['CLOSE'], period, min_periods=period)
df['Bol_lower'] = pd.rolling_mean(df['CLOSE'], window=period) - 2* pd.rolling_std(df['CLOSE'], period, min_periods=period)
df['signal'] = 0.0
df['signal'] = np.where(df['Bol_lower'] > df['CLOSE'], 1.0, 0.0)
df['positions'] = 0.0
df['positions'] = df['signal'].diff()
if len(df) < 2: return False
if df['signal'][len(df)-2] == 1 and df['positions'][len(df)-2] == 1:
if df['signal'][len(df)-1] == 0 and df['positions'][len(df)-1] == -1.0:
return True
else:
return False
else:
return False
def isMACDSignal( df, n1 = 12, n2= 26, c= 9):
df['MACD'] = pd.ewma(df['CLOSE'], span=n1) - pd.ewma(df['CLOSE'], span=n2)
df['MACD_Signal'] = pd.ewma(df['MACD'], span=c)
df['signal'] = 0.0
df['signal'] = np.where(df['MACD'] < df['MACD_Signal'], 1.0, 0.0)
df['positions'] = 0.0
df['positions'] = df['signal'].diff()
if df['signal'][len(df)-1] == 1 and df['positions'][len(df)-1] == 1:
return True
else:
return False
def run():
with sqlite3.connect("analyze.db") as con:
cursor = con.cursor()
code_magc = {'CODE':[],
'NAME':[]}
code_bb = {'CODE':[],
'NAME':[]}
code_macd = {'CODE':[],
'NAME':[]}
for code, name in get_code_list():
df = makeDataFrame( code )
res = isMAGoldCross( df, 20, 60 )
if res == True:
code_magc['CODE'].append(code)
code_magc['NAME'].append(name)
get_logger().debug("MA20, MA60 Golden Cross {}{}".format(code,name))
res = isBBandSignal( df, 20 )
if res == True:
code_bb['CODE'].append(code)
code_bb['NAME'].append(name)
get_logger().debug("BBnad lower after up {}{}".format(code,name))
res = isMACDSignal( df, 12, 26, 9)
if res == True:
code_macd['CODE'].append(code)
code_macd['NAME'].append(name)
get_logger().debug("MACD sig {}{}".format(code,name))
magc = DataFrame(code_magc)
bb = DataFrame(code_bb)
macd = DataFrame(code_magc)
magc.to_sql("MAGC", con, if_exists='replace', chunksize=1000)
get_logger().debug("MAGC {} saved.".format(len(magc)))
bb.to_sql("BB", con, if_exists='replace', chunksize=1000)
get_logger().debug("BB {} saved.".format(len(bb)))
macd.to_sql("MACD", con, if_exists='replace', chunksize=1000)
get_logger().debug("MACD {} saved.".format(len(macd)))
if __name__ == '__main__':
run()
python pandas_datareader yahoo 파이낸스 삽질기
코스콤에서 주식 코드를 얻어다가 yahoo 파이넨스에 pandas를 이용해서 주가 데이터를
가져 와서 sqlite 데이터를 구축 하려고 했다.
이렇게 가져온 데이터를 다시 pandas 데이터 프레임으로 sqlite로 부터 읽어 들여 분석을
하면 이동평균선 골든 크로스 등을 찾아 낼 수 있을 거라 생각 했다.
그런데 이상하게 동원이란 종목이 분석에 문제를 일으킨다.
>>> import pandas_datareader.data as web
>>> df = web.DataReader("003580.KS", "yahoo", "2016/06/01", "2016/07/13")
>>> print (df)
Open High Low Close Volume Adj Close
Date
2016-06-01 1854 1854 1802 1814 45100 9070
2016-06-02 1866 1866 1804 1830 35200 9150
2016-06-03 1850 1874 1792 1854 31100 9270
2016-06-06 1854 1854 1854 1854 0 9270
2016-06-07 1840 1878 1822 1846 22900 9230
2016-06-08 1846 1846 1784 1814 26700 9070
2016-06-09 1780 1868 1780 1856 46500 9280
2016-06-10 1834 1870 1800 1832 20900 9160
2016-06-13 1800 1828 1772 1812 17700 9060
2016-06-14 1780 1800 1680 1758 25400 8790
2016-06-15 1740 1812 1724 1732 16600 8660
2016-06-16 1720 1788 1694 1730 16700 8650
2016-06-17 1730 1738 1602 1644 34900 8220
2016-06-20 1630 1670 1620 1638 29200 8190
2016-06-21 1650 1668 1638 1656 11300 8280
2016-06-22 1626 1696 1626 1660 7400 8300
2016-06-23 1632 1666 1630 1660 14000 8300
2016-06-24 1666 1676 1450 1550 77000 7750
2016-06-27 1486 1626 1482 1626 37600 8130
2016-06-28 1580 1694 1564 1690 32400 8450
2016-06-29 1688 1738 1622 1690 24000 8450
2016-06-30 1660 1762 1660 1762 35200 8810
2016-07-01 1762 1780 1726 1780 19600 8900
2016-07-04 1768 1790 1742 1760 6300 8800
2016-07-05 1734 1778 1732 1758 14100 8790
2016-07-06 1740 1740 1684 1720 14300 8600
2016-07-07 1780 1780 1702 1740 12900 8700
2016-07-08 1720 1784 1698 1740 24700 8700
2016-07-11 8400 8660 7630 8030 268800 40150
2016-07-12 7850 8400 7850 8350 106900 41750
2016-07-13 8500 8500 8250 8300 40000 41500
위에서 데이터를 보면 7월 8일 까지 1700원 때이던 데이터가 갑자기 8400원대로 변경 된다.
문제가 있다.
거래량도 갑자기 증가 한다.
야후 파이낸스에 데이터를 믿을수가 없다.
문제는 또한 KOSDAQ종목은 데이터가 없다.
이는 구글 파이낸스도 마찬가지다.
하여 결국 대신 증권 API를 이용해서 코드 부터 주식 과거 데이터를 구축 하는 코드로 변경 하였다.
야후 파이낸스도 믿을게 못된다.
피드 구독하기:
글 (Atom)