반응형

spark-shell 2

[Spark] Spark Windows 설치 오류(SparkException: Invalid Spark URL)

Windows에서 local에 Spark를 설치하고, StandAlone으로 테스트하기 위해 실행했더니 SparkContext 관련 오류가 아래와 같이 발생하였다 local PC의 HostName을 못찾는 것 같은데 환경변수에 아래와 같이 추가해주니 해결되었다 SPARK_LOCAL_HOSTNAME localhost 명령 프롬프트에서 아래 명령어를 쳐도 된다 SET SPARK_LOCAL_HOSTNAME=localhost or SETX SPARK_LOCAL_HOSTNAME=localhost SET 명령어는 재부팅하면 적용했던게 사라지니 SETX 명령어로 사용하자 이후 명령 프롬프트나 Windows PowerShell에서 spark-shell 명령어를 쳐보니 잘 동작하는 것을 확인할 수 있었다

빅데이터 2023.05.12

[Spark] Spark Windows 설치

Spark를 이용해 여러가지 테스트를 하기 위해 설치를 진행해 보았다 Linux 환경에 설치를 하거나 docker를 사용하는게 더 편하지만 환경이 여의치 않아 Windows OS의 PC에 설치해 보았다 Spark를 설치하고 이용하기 위해 hadoop을 설치해야 하는데 hadoop 설치 없이 하는 방법도 작성하였다 hadoop을 설치하고 Spark를 활용할 사람은 이전글을 참조하여 hadoop을 설치하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop..

빅데이터 2023.05.12
반응형