여기에 적어놓자

Windows에서 local에 Spark를 설치하고, StandAlone으로 테스트하기 위해 실행했더니 SparkContext 관련 오류가 아래와 같이 발생하였다 local PC의 HostName을 못찾는 것 같은데 환경변수에 아래와 같이 추가해주니 해결되었다 SPARK_LOCAL_HOSTNAME localhost 명령 프롬프트에서 아래 명령어를 쳐도 된다 SET SPARK_LOCAL_HOSTNAME=localhost or SETX SPARK_LOCAL_HOSTNAME=localhost SET 명령어는 재부팅하면 적용했던게 사라지니 SETX 명령어로 사용하자 이후 명령 프롬프트나 Windows PowerShell에서 spark-shell 명령어를 쳐보니 잘 동작하는 것을 확인할 수 있었다

Spark를 이용해 여러가지 테스트를 하기 위해 설치를 진행해 보았다 Linux 환경에 설치를 하거나 docker를 사용하는게 더 편하지만 환경이 여의치 않아 Windows OS의 PC에 설치해 보았다 Spark를 설치하고 이용하기 위해 hadoop을 설치해야 하는데 hadoop 설치 없이 하는 방법도 작성하였다 hadoop을 설치하고 Spark를 활용할 사람은 이전글을 참조하여 hadoop을 설치하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop..

앞글에 이어 hadoop 설정 이후 실행해보고 잘 동작하는지 확인해 보자 hadoop 설치 및 설정은 앞글을 참조하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop은 Linux 환경에 설치하는게 편한데 필자는 로컬 PC에 Standalone으로 돌리면서 테스트를 해보기 위해 설치하였다 Ambari boring-notes.tistory.com 4. hadoop 실행 및 동작 확인 - 설정 적용 및 NameNode 초기화 설정파일들을 수정한 후 설정을..

hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop은 Linux 환경에 설치하는게 편한데 필자는 로컬 PC에 Standalone으로 돌리면서 테스트를 해보기 위해 설치하였다 Ambari나 docker에 ClouderaHadoop 이미지를 이용해 설치할 수 있겠지만 설치하는 PC의 환경이 폐쇄망이기도 하고 docker에 ClouderaHadoop 이미지를 이용해 컨테이너에서 돌려봤는데 다른 모듈들이 많아 메모리 부족 문제가 발생하여 설치파일을 다운받아 옮겨 설치하였다 설치 환경은 아래와 같다 - OS : Windows 10 64bit - Java버전 : 1.8.0_371 - hadoop버전 : 3.0.0 Java와 hadoop 버전은 최신 것을 사용해도 되지..