여기에 적어놓자

OCI에서 VM 생성시 지정한 volumn 크기로 지정이 되지 않았거나 지정한 크기보다 키우고 싶을때 변경하는 방법을 알아 보았다 필자는 100GB로 신청했는데 아래와 같이 용량을 확인해 보니 50GB뿐이었다 sudo fdisk -l /dev/sda 오라클 클라우드 문서를 보니 방법이 나와있다 1. OCI Boot volume 설정 먼저 오라클 클라우드 콘솔에서 해당 인스턴스를 선택하고 아래 Resources 메뉴에서 Boot volume을 선택해서 Boot Volume을 클릭한다 상단에 Edit메뉴를 클릭해보자 Edit volume 창에서 Volume Size를 변경하고 저장 버튼을 누르면 적용되는데 VM에 접속하여 확인해보면 용량은 그대로 일 것이다 2. 물리 파티션 증가 아래와 같이 VM에 접속하여..

OCI에서 인스턴스를 생성하고 고정IP까지 부여했는데 ping을 쳐보니 timeout 되어 응답이 없다 해결하기 위해서 방화벽 설정을 해줘야 한다 먼저 OCI에서 Networking 메뉴에서 Virtual Cloud Networks 메뉴를 선택한다 아래와 같이 기존에 생성된 VCN이 보일 것이다 해당 VCN을 선택하고 화면 하단에 Subnet이 보이는데 해당 Subnet을 선택해 주자 아래와 같이 Security List가 보이는데 선택해서 박화벽 설정 정보를 확인해 보자 인스턴스를 처음 생성했을 경우 아래와 같은 규칙이 정의 되어 있을 것이다 두번째 규칙을 보면 Type and Code가 3, 4라고 되어있는게 있는데 Edit 오른쪽 확장버튼을 눌러 Edit 메뉴를 선택하자 아래와 같이 Edit Ing..

오라클 클라우드 VM을 외부에서 putty 와 같은 터미널 프로그램으로 접속하기 위해서는 설정이 조금 필요하다 기본적으로 GCP에서 했던 방식과 유사하니 필요하면 GCP에서 설정한 것을 참조하기 바란다 2022.01.03 - [클라우드 플랫폼] - [GCP] 구글클라우드플랫폼 VM머신 접속 설정하기 [GCP] 구글클라우드플랫폼 VM머신 접속 설정하기 구글클라우드플랫폼에서 생성한 VM머신에 puty와 같은 터미널 프로그램을 활용하여 ssh 접속을 하기 위해서는 약간의 설정이 필요하다 GCP의 머신간 접속 또한 동일한 방법으로 수행하면 된다 아 boring-notes.tistory.com 1. local PC 에서 RSA Private-Public Key 생성 2. OCI VM 인스턴스에 public key..

Windows에서 local에 Spark를 설치하고, StandAlone으로 테스트하기 위해 실행했더니 SparkContext 관련 오류가 아래와 같이 발생하였다 local PC의 HostName을 못찾는 것 같은데 환경변수에 아래와 같이 추가해주니 해결되었다 SPARK_LOCAL_HOSTNAME localhost 명령 프롬프트에서 아래 명령어를 쳐도 된다 SET SPARK_LOCAL_HOSTNAME=localhost or SETX SPARK_LOCAL_HOSTNAME=localhost SET 명령어는 재부팅하면 적용했던게 사라지니 SETX 명령어로 사용하자 이후 명령 프롬프트나 Windows PowerShell에서 spark-shell 명령어를 쳐보니 잘 동작하는 것을 확인할 수 있었다

Spark를 이용해 여러가지 테스트를 하기 위해 설치를 진행해 보았다 Linux 환경에 설치를 하거나 docker를 사용하는게 더 편하지만 환경이 여의치 않아 Windows OS의 PC에 설치해 보았다 Spark를 설치하고 이용하기 위해 hadoop을 설치해야 하는데 hadoop 설치 없이 하는 방법도 작성하였다 hadoop을 설치하고 Spark를 활용할 사람은 이전글을 참조하여 hadoop을 설치하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop..

앞글에 이어 hadoop 설정 이후 실행해보고 잘 동작하는지 확인해 보자 hadoop 설치 및 설정은 앞글을 참조하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop은 Linux 환경에 설치하는게 편한데 필자는 로컬 PC에 Standalone으로 돌리면서 테스트를 해보기 위해 설치하였다 Ambari boring-notes.tistory.com 4. hadoop 실행 및 동작 확인 - 설정 적용 및 NameNode 초기화 설정파일들을 수정한 후 설정을..

hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop은 Linux 환경에 설치하는게 편한데 필자는 로컬 PC에 Standalone으로 돌리면서 테스트를 해보기 위해 설치하였다 Ambari나 docker에 ClouderaHadoop 이미지를 이용해 설치할 수 있겠지만 설치하는 PC의 환경이 폐쇄망이기도 하고 docker에 ClouderaHadoop 이미지를 이용해 컨테이너에서 돌려봤는데 다른 모듈들이 많아 메모리 부족 문제가 발생하여 설치파일을 다운받아 옮겨 설치하였다 설치 환경은 아래와 같다 - OS : Windows 10 64bit - Java버전 : 1.8.0_371 - hadoop버전 : 3.0.0 Java와 hadoop 버전은 최신 것을 사용해도 되지..

오라클 클라우드에 VM을 생성하면 임시 IP가 배정이 되는데 외부에서 접근하기 위해서는 고정IP를 설정해 주어야 한다 1. 고정IP 예약 설정 OCI에서 먼저 고정IP를 예약하자 아래와 같이 OCI 메뉴에서 Networking → IP Management → Reserved Public IPs 로 접속한후 Reserve Public IP Address 버튼을 눌러 고정 IP를 예약하자 Reserve Publlic IP Address 메뉴로 들어가면 아래와 같은 창이 나오는데 Reserved Public IP Address Name 에 임의의 이름을 입력하고, IP Address Source에서 Oracle을 선택한 후 아래쪽에 Reserve Public IP Address 버튼을 클릭하면 아래와 같이 위..

여러 유명한 클라우드 플랫폼들이 있는데 대다수의 클라우드 플랫폼에서 체험판을 제공해 3개월 정도 무료로 비교적 제약없이 사용할 수 있었다 그러던 중 계속 무료로 사용할 수 없나 해서 찾아봤는데 micro 서버로 아주 낮은 스펙의 서버를 사용할 수 있다는 걸 알게됐다 그 중 가장 조건이 괜찮은 오라클 클라우드를 활용하는 방법을 알아보려고 한다 아마도 오라클이 클라우드의 후발 주자라 파격적인 조건으로 사용자를 늘리기 위함으로 보인다 오라클 클라우드가 타사 클라우드 보다 좋은점은 용량이 100GB로 타사보다 높고, 1GB 메모리, VM 2개 지원, 리전이 한국에도 있어 속도도 괜찮을 것으로 보인다는 것이다 타사 클라우드랑 비교해보면 정말 파격적인 조건이라고 할만하다 예전보다 더 조건이 좋아진 듯 하다 1. 오..

구글클라우드플랫폼에서 생성한 VM머신에 puty와 같은 터미널 프로그램을 활용하여 ssh 접속을 하기 위해서는 약간의 설정이 필요하다 GCP의 머신간 접속 또한 동일한 방법으로 수행하면 된다 아래와 같이 크게 3단계의 과정이 필요하다 VM머신에 접속할 대상으로 local PC라고 표현했다 1. local PC 에서 RSA Private-Public Key 생성 2. 원격 GCP 서버에 Local PC의 private-key 등록 3. gcp 메타데이터에 ssh public key 등록 1. RSA Private-Public Key 생성(local PC) 먼저 local PC에서 ssh key를 생성하자 local PC의 OS가 linux면 아래와 같이 수행하고 Wndows면 putty를 이용해서 key ..