[Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 2

앞글에 이어 hadoop 설정 이후 실행해보고 잘 동작하는지 확인해 보자

hadoop 설치 및 설정은 앞글을 참조하자

2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1

[Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1

 

4. hadoop 실행 및 동작 확인

- 설정 적용 및 NameNode 초기화

설정파일들을 수정한 후 설정을 적용하자

Windows에서 명령 프롬프트나 Windows PowerShell을 실행하고

[HADOOP_HOME]\etc\hadoop 경로로 이동하여 아래 명령어를 실행하자

hadoop-env.cmd
hadoop namenode -format

- hadoop 데몬 실행

위 명령어를 통해 NameNode를 초기화 한 후

[HADOOP_HOME]\sbin 경로로 이동하여 아래 명령어를 실행하자

start-all.cmd

or

start-dfs.cmd
start-yarn.cmd

start-dfs.cmd 명령어를 통해 NameNode와 DataNode가 동작하고,

start-yarn.cmd 명령어를 통해 NodeManager와 ResourceManager가 동작한다

명령어를 실행하면 창4개가 뜨고 최종적으로 아래와 같은 화면이 나오면 정상 동작한 것이다

 

NameNode 실행 결과

DataNode 실행 결과

NodeManager 실행결과

ResourceManager 실행 결과

모듈 관리 화면도 확인해 보자

NameNode, DataNode, yarn 관리화면의 Url은 아래와 같다

NameNode       http://localhost:9870

DataNode         http://localhost:9864

Yarn                   http://localhost:8088

브라우저에서 위 주소로 접속해 보자

 

NameNode 관리화면 접속 결과

 

DataNode 관리화면 접속 결과

Yarn 화면 접속 결과

NameNode, DataNode에 대한 정보를 확인할 수 있고 Yarn을 통해 Node들의 상태를 확인할 수 있다

 

5. hdfs 동작 확인

이제 실제로 잘 동작하는지 한번 hdfs에 파일을 직접 넣어보자

명령 프롬프트나 Windows PowerShell에서 아래 명령어들을 수행하여

hdfs에 폴더를 만들고 파일을 넣어보자

hdfs dfs -mkdir -p [생성할 폴더명]
hdfs dfs -put [입력할 파일 경로]

필자는 hdfs에 /user/hadoop 폴더를 생성하고 README.txt라는 임의의 파일을 올려보았다

hdfs dfs -mkdir -p /user/hadoop
hdfs dfs -put README.txt /user/hadoop
hdfs dfs -ls /user/hadoop

위 그림과 같이 ls 명령어를 수행해 보면 파일이 들어간 것을 확인할 수 있다

리눅스 명령어와 거의 같으니 삭제도 테스트해봐도 된다

 

보다 간편하게 파일을 보려면 NameNode 관리 화면에서 파일 브라우저를 이용하면 되는데

아래와 같이 NameNode관리화면에 접속하여 확인해 보자

http://localhost:9870 에 접속하여 상단 메뉴 우측의 Browse the file system 메뉴를 선택하자

아래와 같이 파일 브라우저 화면이 뜨는데 해당 파일이 입력된 것을 확인할 수 있다