Docker Jupyter Lab Pyspark 환경 구축

목차

1. Windows Docker 설치

 

2. jupyter/all-spark-notebook 이미지 다운로드

 

3. jupyter/all-spark-notebook 실행

 

4. Docker 데스크탑 버전 실행

 

5. Jupyter Lab 실행

 

설치 순서

1. Windows Docker 설치 

2. jupyter/all-spark-notebook 이미지 다운로드

3. jupyter/all-spark-notebook 실행

4. Docker 데스크탑 버전 실행

5. Jupyter Lab 실행

 

Windows Docker 설치

우선 Windows Docker 설치를 위해 다음 링크로 들어가 도커를 다운로드 받는다.

링크 :

https://www.docker.com/

Docker: Accelerated Container Application Development

 

이후 dockerhub로 들어가 spark를 검색한 뒤 클릭해주면 다음과 같은 검색결과가 나온다.

여기서 사용해야 할 것은 docker pull command이다.

dockerhub

 

jupyter/all-spark-notebook 이미지 다운로드

Powershell을 관리자 모드로 들어간 뒤 다음 명령어를 실행한다.

docker pull jupyter/all-spark-notebook​

 

 

jupyter/all-spark-notebook 실행

이후 Powershell에서 다음 명령어를 실행한다.

유의사항으로 --volume 뒤에 경로는 pyspark가 설치 된 경로로 설정해줘야 한다.

docker run --volume=C:\Users\...\pyspark:/home/jovyan/work --workdir=/home/jovyan -p 4040:4040 -p 8888:8888 --restart=always jupyter/all-spark-notebook

실행 화면

Docker 데스크탑 버전 실행

이후 컴퓨터를 다시시작한 후 도커를 켜주면 정상적으로 실행되는 것을 확인할 수 있다.

도커 실행 화면

 

Jupyter Lab 실행

컨테이너의 로그 탭을 누른 뒤 스크롤을 내리면 밑 부분에 ip 주소가 있다.

이걸 복사 한 뒤 브라우저를 켜서 접속을 해주면 정상적으로 pyspark가 실행되는 것을 확인할 수 있다. 

로그 화면

jupyter lab 실행 화면