기본 콘텐츠로 건너뛰기

Docker Hadoop Spark

도커 파일을 생성해서 컨테이너의 timezone을 설정하고, 유틸리티들(wget, vim..)을 미리 설치해두겠습니다. 다음의 명령어를 순서대로 실행해주세요
mkdir hadoop
cd hadoop
vim Dockerfile


FROM ubuntu:latest
MAINTAINER myname <myemail@example.com>

RUN apt-get update && apt-get install -y software-properties-common wget sudo vim ssh rsync git locales w3m
RUN locale-gen ko_KR.UTF-8

ENV LC_ALL ko_KR.UTF-8

CMD ["/bin/bash"]
저장 하고 빠져나온 뒤에 다음의 명령어를 실행하세요.
docker build -t spark:0.1 .
build 가 끝나면 docker images 에 내가 만든 이미지가 등록되어 있습니다. 
docker run -d -it --name spark spark:0.1 /bin/bash
docker exec -it spark /bin/bash

timezone 설정을 하겠습니다.
apt-get -y install tzdata && ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

oracle jdk 1.8 설치는 Docker Hadoop Hive 1편을 참고해서 진행하시면 됩니다.

spark 는 scala, python, R 으로 실행합니다. scala, python, R 을 설치합니다.
apt-get install -y scala python r-base

sbt 스칼라 빌드 툴도 설치합니다. 설치는 sbt document를 참고합니다.
echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
sudo apt-get update && apt-get install sbt

spark 바이너리 파일을 다운받습니다. 
cd /tmp
wget http://mirror.navercorp.com/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz
tar xvf spark-2.3.1-bin-hadoop2.7.tgz
mkdir /usr/local/spark
mv spark-2.3.1-bin-hadoop2.7/* /usr/local/spark

이제 샘플을 실행해서 문제가 없는지 확인합니다. 
./bin/run-example SparkPi 10

Spark 설치를 끝냈습니다.
라벨:

이 블로그의 인기 게시물

Dolphin 3

100자 이내의 짧은 글을 쓸 수 있는 게시판 제공. Dolphin Project에서 가장 메인 서비스는 예적금 시뮬레이터이므로, 다른 기능 구현은 차후로 미뤄뒀지만, 사용자와 소통할 수 있는 최소한의 기능은 제공하는게 맞다는 생각이 들어 아주 단순한 게시판 기능을 제공합니다. 사용자가 글을 쓰려면 로그인을 먼저 해야합니다. 글을 등록 후 삭제할 때 글 작성자를 식별할 수 있어야 하기 때문입니다. 게시판은 Dolphin Frontend Main 페이지에 자리잡았습니다. 사용자가 가장 먼저 만나게 되는 웹페이지이므로 적당하다고 생각합니다. 다음은 로그인을 하기 전 사용자가 볼 수 있는 메인 페이지입니다. 글 상단에는 작성일(MMM-dd-yyyy)과 작성자 고유번호(#numbers)가 노출됩니다. Dolphin 은 네이버 로그인을 사용하기 때문에, 사용자를 식별할 수 있는 정보는 저 고유번호가 됩니다. 하단에는 글 내용이 자리잡습니다. 스크린샷에서는 Hello, world!! 라는 문구가 보이네요. 글은 최대 100자까지 허용합니다. 버튼 두개(Newer, Older) 는 페이징 버튼인데, Newer는 최근페이지로 이동을 하며, Older는 지나간 글을 보는 페이징버튼입니다. 기본 페이지 사이즈는 20개입니다. 오른쪽으로 보이는 글 작성 폼은 현재 로그인 하기 전이므로 textarea 는 disabled 처리되어 있고 Login버튼이 자리잡고 있습니다. 다음은 사용자가 로그인 한 뒤의 메인페이지입니다. 변경된 부분은 사용자 고유번호 뒤에 Remove 버튼이 나타났습니다. 해당 글 작성자가 로그인한 사용자일 경우에만 보이게 됩니다. 오른쪽 글 작성 폼도 이제 활성화 되었습니다. 아주 단순한 Textarea 창과 Submit 버튼이 자리잡고 있습니다. 다음은 작성자가 아닌 다른 사용자가 로그인한 경우 입니다. 사용자 고유번호(#54097272) 옆에 Remove 버튼이...
자세한 내용 보기

레거시 코드 활용 전략 - 마이클 C. 페더스

2장. 효과적인 피드백 활용 레거시 코드 변경 알고리즘 변경 지점을 식별한다. 테스트 지점을 찾는다. 의존관계를 깬다. 테스트 루틴을 작성한다. 변경시키고 리팩토링한다. 3장. 감지와 분리 레거시코드를 원자 단위까지 분리하여 변경지점을 식별한다. 의존관계를 가진 객체의 경우 Mock/Fake 객체를 사용하기 위해 인터페이스로 의존성을 깬다. 테스트 루틴을 작성 -> 수정 -> 테스트 성공 -> 리팩토링 단계를 반복한다. 4장. 봉합 자바에서는 클래스패스를 이용한 다른 버전의 클래스를 만들수 있다. 5장. 레거시 코드를 위한 도구 JUnit 6장. 고칠 건 많고 시간은 없고 발아(Sprout) Method / Class: 메서드/클래스를 추가 포장(Wrap) Method / Class: 기존 메서드/클래스를 포장하는 메서드/클래스를 추가(데코레이터 패턴) 7장. 코드 하나 바꾸는데 왜 이리 오래 걸리지? 의존관계 반전 원칙 당신의 코드가 인터페이스에 종속되는 경우, 그 의존관계는 사실 경미한 수준으로 눈에 잘 띄지 않는다. 인터페이스가 변하지 않는 한, 코드를 변경시킬 필요는 없다. 또한 인터페이스들은 그들 아래에 위치한 코드에 비해 훨씬 적은 빈도로 변경된다. 인터페이스를 하나 가지고 있는 경우, 그 인터페이스를 구현하는 클래스들을 편집하거나 그 인터페이스를 구현하기 위한 새로운 클래스들을 추가할 수 있다. 물론 그 인터페이스를 사용하는 코드에 영향을 주지도 않는다. 이런 이유 때문에 구체 클래스보다는 인터페이스나 추상 클래스에 종속되는 편이 좋다. 덜 변하는 것들에 종속됨으로써 특정 변경이 초래할지도 모를 대규모 재컴파일 사태의 위험을 최소화할 수 있다. 8장. 특징, 어떻게 추가할까? 테스트 주도 개발 실패 테스트 케이스를 작성한다. 컴파일되게 만든다. 테스트에 통과하도록 만든다. 중복을 제거한다. 반복한다....
댓글 쓰기
자세한 내용 보기

Dolphin 2

별도의 회원가입 없이 소셜 로그인 기능 제공으로 간편한 로그인 가능. Dolphin 프론트엔드는 회원가입 절차가 따로 없고, 간단하게 소셜 로그인 기능을 제공함으로써 회원가입, 인증절차를 생략했습니다. 우선, 간단하게 국내에서 잘 알려진 네이버의 API를 사용합니다. 네이버 개발자센터 웹사이트 에서 네이버 아이디로 로그인 기능을 살펴봅니다. 개발 문서를 자세히 살펴보고 API 신청을 합니다. 애플리케이션의 이름을 정하고 필요한 정보를 필수/선택에 체크합니다. 밑으로 내려보면 로그인 API 서비스 환경 부분에서 환경 추가 셀렉트박스에서 PC 웹을 선택하면 다음과 같은 입력폼이 나타납니다. 서비스 URL은 내 웹애플리케이션의 URL이 될 예정입니다. 지금은 개발상태이므로 localhost를 입력했습니다. Callback URL은 네이버 OAuth 인증 url로 호출하면, 인증절차 후 네이버에서 리다이렉트해줄 url을 뜻합니다. 저는 /naver/login 으로 했습니다. 등록이 완료되면 client-id와 client-secret 값을 제공해줍니다. 이 값을 이용해서 인증처리를 할 수 있습니다. spring.io 웹사이트의 튜토리얼 문서를 보면 Facebook 소셜 로그인 기능에 대한 설명이 자세하게 나와있습니다. 이 부분을 참고합니다. Spring Boot and OAuth2 pom.xml 파일에 의존성을 추가하고 Application 클래스에 @EnableOAuth2Sso 애너테이션을 선언합니다. 튜토리얼대로 application.yaml 파일(application.properties)에 설정 정보를 입력합니다. clientId, clientSecret 값은 네이버 개발자센터에서 받은 대로 입력합니다. accessTokenUri는 네이버의 경우 https://nid.naver.com/oauth2.0/token 입니다. userAuthorizationUri는 네이버의 경우 https://ni...
자세한 내용 보기