[Spark] Spark Windows 설치 오류(SparkException: Invalid Spark URL)

Windows에서 local에 Spark를 설치하고, StandAlone으로 테스트하기 위해 실행했더니

SparkContext 관련 오류가 아래와 같이 발생하였다

local PC의 HostName을 못찾는 것 같은데

환경변수에 아래와 같이 추가해주니 해결되었다

SPARK_LOCAL_HOSTNAME     localhost

 

명령 프롬프트에서 아래 명령어를 쳐도 된다

SET SPARK_LOCAL_HOSTNAME=localhost

or

SETX SPARK_LOCAL_HOSTNAME=localhost

SET 명령어는 재부팅하면 적용했던게 사라지니 SETX 명령어로 사용하자

 

이후 명령 프롬프트나 Windows PowerShell에서 spark-shell 명령어를 쳐보니

잘 동작하는 것을 확인할 수 있었다