목차
2. jupyter/all-spark-notebook 이미지 다운로드
3. jupyter/all-spark-notebook 실행
설치 순서
1. Windows Docker 설치
2. jupyter/all-spark-notebook 이미지 다운로드
3. jupyter/all-spark-notebook 실행
4. Docker 데스크탑 버전 실행
5. Jupyter Lab 실행
Windows Docker 설치
우선 Windows Docker 설치를 위해 다음 링크로 들어가 도커를 다운로드 받는다.
링크 :
Docker: Accelerated Container Application Development
Docker is a platform designed to help developers build, share, and run container applications. We handle the tedious setup, so you can focus on the code.
www.docker.com
이후 dockerhub로 들어가 spark를 검색한 뒤 클릭해주면 다음과 같은 검색결과가 나온다.
여기서 사용해야 할 것은 docker pull command이다.
jupyter/all-spark-notebook 이미지 다운로드
Powershell을 관리자 모드로 들어간 뒤 다음 명령어를 실행한다.
docker pull jupyter/all-spark-notebook
jupyter/all-spark-notebook 실행
이후 Powershell에서 다음 명령어를 실행한다.
유의사항으로 --volume 뒤에 경로는 pyspark가 설치 된 경로로 설정해줘야 한다.
docker run --volume=C:\Users\...\pyspark:/home/jovyan/work --workdir=/home/jovyan -p 4040:4040 -p 8888:8888 --restart=always jupyter/all-spark-notebook
Docker 데스크탑 버전 실행
이후 컴퓨터를 다시시작한 후 도커를 켜주면 정상적으로 실행되는 것을 확인할 수 있다.
Jupyter Lab 실행
컨테이너의 로그 탭을 누른 뒤 스크롤을 내리면 밑 부분에 ip 주소가 있다.
이걸 복사 한 뒤 브라우저를 켜서 접속을 해주면 정상적으로 pyspark가 실행되는 것을 확인할 수 있다.
'4학년 공부 과정 > 빅데이터' 카테고리의 다른 글
| WSL2 설치 및 구축 (0) | 2023.09.23 |
|---|