여기에 적어놓자

Spark를 이용해 여러가지 테스트를 하기 위해 설치를 진행해 보았다 Linux 환경에 설치를 하거나 docker를 사용하는게 더 편하지만 환경이 여의치 않아 Windows OS의 PC에 설치해 보았다 Spark를 설치하고 이용하기 위해 hadoop을 설치해야 하는데 hadoop 설치 없이 하는 방법도 작성하였다 hadoop을 설치하고 Spark를 활용할 사람은 이전글을 참조하여 hadoop을 설치하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop..

hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop은 Linux 환경에 설치하는게 편한데 필자는 로컬 PC에 Standalone으로 돌리면서 테스트를 해보기 위해 설치하였다 Ambari나 docker에 ClouderaHadoop 이미지를 이용해 설치할 수 있겠지만 설치하는 PC의 환경이 폐쇄망이기도 하고 docker에 ClouderaHadoop 이미지를 이용해 컨테이너에서 돌려봤는데 다른 모듈들이 많아 메모리 부족 문제가 발생하여 설치파일을 다운받아 옮겨 설치하였다 설치 환경은 아래와 같다 - OS : Windows 10 64bit - Java버전 : 1.8.0_371 - hadoop버전 : 3.0.0 Java와 hadoop 버전은 최신 것을 사용해도 되지..