금융감독원 OPEN API를 사용하여 데이터 수집금융감독원 금융상품통합비교공시 사이트에서 제공하는 OPEN API를 사용합니다.
먼저, API 키를 신청합니다.
https://finlife.fss.or.kr/PageLink.do?link=openapi/certification&menuId=2000119 로 접속합니다.
약관에 동의하고 본인인증 후, 신상정보를 넘기면 바로 API 키를 받을 수 있습니다.
상세 및 테스트 페이지를 들어가보면 요청 파라미터와 응답 API 형태를 확인할 수 있습니다.
요청은 다음과 같습니다.
읽어보면 서비스 명에 따라 url이 달라지는 부분을 제외하면 요청 URL은 크게 달라지지 않습니다.
파라미터에 인증키, 권역코드, 페이지번호를 전달하면 됩니다.
응답부분은 서비스마다 다르지만 공통 응답 형태는 다음과 같습니다.
에러코드, 에러메시지, 전체 개수, 전체 페이지, 현재 페이지 번호 입니다.
예금상품 조회 서비스나 적금상품 조회 서비스의 경우 공통적으로 금융회사 코드와 이름을 전달해주는데 해당 금융회사의 상세한 정보를 보려면 금융회사 조회 서비스도 호출하는게 나중에 좋을것 같습니다.
Spring으로 HTTP 통신을 위해서 Apache HttpComponent 라이브러리를 사용합니다.
메이븐에 다음과 같이 의존성을 추가합니다.
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> </dependency>
다음은 API를 호출하는 간단한 소스코드 조각입니다.
CloseableHttpClient httpClient = HttpClients.createDefault();
URI uri = new URIBuilder()
.setScheme("http")
.setHost("finlife.fss.or.kr")
.setPath("/finlifeapi/" + serviceUrl.getUrl() + ".json")
.setParameter("auth", apiKey)
.setParameter("topFinGrpNo", financeGroup.getCode())
.setParameter("pageNo", Integer.toString(pageNo))
.build();
HttpGet httpGet = new HttpGet(uri);
CloseableHttpResponse response = httpClient.execute(httpGet);
try {
String json = EntityUtils.toString(response.getEntity(), "UTF-8");
return parse(json);
} finally {
response.close();
}
Http GET 방식으로 URIBuilder 로 만든 uri 변수를 파라미터로 전달합니다.
응답으로 전달된 데이터를 EntityUtils의 toString static 메서드로 문자열로 변환합니다. 인코딩은 UTF-8입니다.
이렇게 되면 응답 본문의 값을 문자열로 받게되며 해당 문자열은 OPEN API의 JSON 문자열이기 때문에
Gson 라이브러리의 fromJson 메서드를 사용해서 Json 문자열을 객체형태로 캐스팅하면 사용하기 편리합니다.
다음과 같이 사용할 수 있습니다.
Gson gson = new Gson(); Person person = gson.fromJson(json, Person.class);
json 문자열의 형태가 Person 클래스와 동일하다면 위와 같이 간단하게 캐스팅할 수 있습니다.
예금상품과 적금상품, 금융회사 정보들은 매일 정해진 시간에 API를 호출해서 데이터를 수집합니다.
이자율이 변동되거나 상품명세가 변동되기 때문입니다.
Spring Scheduler 기능을 이용해서 초반에 작업을 했지만, 구글 앱엔진에서는 스케쥴링 기능을 사용할 수 없게 되어있습니다.
대신 크론 작업이라는 별도의 기능을 제공합니다.
크론 작업은 구글 앱엔진에서 등록된 크론작업 url을 Get방식으로 호출해주는 방식으로 설정되어 있습니다.
구글 앱엔진의 크론 작업을 등록하기 위해서는 cron.yaml 파일을 만들어서 내부에 설정해두면 됩니다.
구글 앱엔진의 크론 작업 문서 링크
schedule 은 cron 표현식과 비슷하지만 또 다릅니다. 오히려 cron 표현식이 더 익숙한 저에게는 좀 불편했습니다.
월요일부터 금요일까지 매번 몇시에 작업한다는것을 뜻합니다.
timezone은 서울시각을 기준으로 했습니다.
target은 앱엔진에 올라가있는 서비스명을 기입합니다.
dolphin 프로젝트는 프론트엔드와 백엔드 두개의 서비스로 구분되어 있습니다.
이렇게 cron.yaml 파일을 작성한 후 appengine 에 서비스를 deploy한 뒤에 별도로 cron.yaml 파일을 maven이나 SDK를 사용해서 deploy 합니다.
GCloud gcloud app deploy cron.yaml Maven mvn appengine:deployCron cron.yaml
별도로 deploy해야만 크론작업이 등록됩니다.