여기에 적어놓자

OCI에서 VM 생성시 지정한 volumn 크기로 지정이 되지 않았거나 지정한 크기보다 키우고 싶을때 변경하는 방법을 알아 보았다 필자는 100GB로 신청했는데 아래와 같이 용량을 확인해 보니 50GB뿐이었다 sudo fdisk -l /dev/sda 오라클 클라우드 문서를 보니 방법이 나와있다 1. OCI Boot volume 설정 먼저 오라클 클라우드 콘솔에서 해당 인스턴스를 선택하고 아래 Resources 메뉴에서 Boot volume을 선택해서 Boot Volume을 클릭한다 상단에 Edit메뉴를 클릭해보자 Edit volume 창에서 Volume Size를 변경하고 저장 버튼을 누르면 적용되는데 VM에 접속하여 확인해보면 용량은 그대로 일 것이다 2. 물리 파티션 증가 아래와 같이 VM에 접속하여..

OCI에서 인스턴스를 생성하고 고정IP까지 부여했는데 ping을 쳐보니 timeout 되어 응답이 없다 해결하기 위해서 방화벽 설정을 해줘야 한다 먼저 OCI에서 Networking 메뉴에서 Virtual Cloud Networks 메뉴를 선택한다 아래와 같이 기존에 생성된 VCN이 보일 것이다 해당 VCN을 선택하고 화면 하단에 Subnet이 보이는데 해당 Subnet을 선택해 주자 아래와 같이 Security List가 보이는데 선택해서 박화벽 설정 정보를 확인해 보자 인스턴스를 처음 생성했을 경우 아래와 같은 규칙이 정의 되어 있을 것이다 두번째 규칙을 보면 Type and Code가 3, 4라고 되어있는게 있는데 Edit 오른쪽 확장버튼을 눌러 Edit 메뉴를 선택하자 아래와 같이 Edit Ing..

오라클 클라우드 VM을 외부에서 putty 와 같은 터미널 프로그램으로 접속하기 위해서는 설정이 조금 필요하다 기본적으로 GCP에서 했던 방식과 유사하니 필요하면 GCP에서 설정한 것을 참조하기 바란다 2022.01.03 - [클라우드 플랫폼] - [GCP] 구글클라우드플랫폼 VM머신 접속 설정하기 [GCP] 구글클라우드플랫폼 VM머신 접속 설정하기 구글클라우드플랫폼에서 생성한 VM머신에 puty와 같은 터미널 프로그램을 활용하여 ssh 접속을 하기 위해서는 약간의 설정이 필요하다 GCP의 머신간 접속 또한 동일한 방법으로 수행하면 된다 아 boring-notes.tistory.com 1. local PC 에서 RSA Private-Public Key 생성 2. OCI VM 인스턴스에 public key..

Windows에서 local에 Spark를 설치하고, StandAlone으로 테스트하기 위해 실행했더니 SparkContext 관련 오류가 아래와 같이 발생하였다 local PC의 HostName을 못찾는 것 같은데 환경변수에 아래와 같이 추가해주니 해결되었다 SPARK_LOCAL_HOSTNAME localhost 명령 프롬프트에서 아래 명령어를 쳐도 된다 SET SPARK_LOCAL_HOSTNAME=localhost or SETX SPARK_LOCAL_HOSTNAME=localhost SET 명령어는 재부팅하면 적용했던게 사라지니 SETX 명령어로 사용하자 이후 명령 프롬프트나 Windows PowerShell에서 spark-shell 명령어를 쳐보니 잘 동작하는 것을 확인할 수 있었다

Spark를 이용해 여러가지 테스트를 하기 위해 설치를 진행해 보았다 Linux 환경에 설치를 하거나 docker를 사용하는게 더 편하지만 환경이 여의치 않아 Windows OS의 PC에 설치해 보았다 Spark를 설치하고 이용하기 위해 hadoop을 설치해야 하는데 hadoop 설치 없이 하는 방법도 작성하였다 hadoop을 설치하고 Spark를 활용할 사람은 이전글을 참조하여 hadoop을 설치하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop..

앞글에 이어 hadoop 설정 이후 실행해보고 잘 동작하는지 확인해 보자 hadoop 설치 및 설정은 앞글을 참조하자 2023.05.11 - [빅데이터] - [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 [Hadoop] Hadoop Windows 설치(오프라인, StandAlone) 1 hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop은 Linux 환경에 설치하는게 편한데 필자는 로컬 PC에 Standalone으로 돌리면서 테스트를 해보기 위해 설치하였다 Ambari boring-notes.tistory.com 4. hadoop 실행 및 동작 확인 - 설정 적용 및 NameNode 초기화 설정파일들을 수정한 후 설정을..

hadoop을 Windows OS에서 사용하기 위해 설치하는 과정을 정리해 보았다 일단 hadoop은 Linux 환경에 설치하는게 편한데 필자는 로컬 PC에 Standalone으로 돌리면서 테스트를 해보기 위해 설치하였다 Ambari나 docker에 ClouderaHadoop 이미지를 이용해 설치할 수 있겠지만 설치하는 PC의 환경이 폐쇄망이기도 하고 docker에 ClouderaHadoop 이미지를 이용해 컨테이너에서 돌려봤는데 다른 모듈들이 많아 메모리 부족 문제가 발생하여 설치파일을 다운받아 옮겨 설치하였다 설치 환경은 아래와 같다 - OS : Windows 10 64bit - Java버전 : 1.8.0_371 - hadoop버전 : 3.0.0 Java와 hadoop 버전은 최신 것을 사용해도 되지..

오라클 클라우드에 VM을 생성하면 임시 IP가 배정이 되는데 외부에서 접근하기 위해서는 고정IP를 설정해 주어야 한다 1. 고정IP 예약 설정 OCI에서 먼저 고정IP를 예약하자 아래와 같이 OCI 메뉴에서 Networking → IP Management → Reserved Public IPs 로 접속한후 Reserve Public IP Address 버튼을 눌러 고정 IP를 예약하자 Reserve Publlic IP Address 메뉴로 들어가면 아래와 같은 창이 나오는데 Reserved Public IP Address Name 에 임의의 이름을 입력하고, IP Address Source에서 Oracle을 선택한 후 아래쪽에 Reserve Public IP Address 버튼을 클릭하면 아래와 같이 위..

여러 유명한 클라우드 플랫폼들이 있는데 대다수의 클라우드 플랫폼에서 체험판을 제공해 3개월 정도 무료로 비교적 제약없이 사용할 수 있었다 그러던 중 계속 무료로 사용할 수 없나 해서 찾아봤는데 micro 서버로 아주 낮은 스펙의 서버를 사용할 수 있다는 걸 알게됐다 그 중 가장 조건이 괜찮은 오라클 클라우드를 활용하는 방법을 알아보려고 한다 아마도 오라클이 클라우드의 후발 주자라 파격적인 조건으로 사용자를 늘리기 위함으로 보인다 오라클 클라우드가 타사 클라우드 보다 좋은점은 용량이 100GB로 타사보다 높고, 1GB 메모리, VM 2개 지원, 리전이 한국에도 있어 속도도 괜찮을 것으로 보인다는 것이다 타사 클라우드랑 비교해보면 정말 파격적인 조건이라고 할만하다 예전보다 더 조건이 좋아진 듯 하다 1. 오..

구글클라우드플랫폼에서 생성한 VM머신에 puty와 같은 터미널 프로그램을 활용하여 ssh 접속을 하기 위해서는 약간의 설정이 필요하다 GCP의 머신간 접속 또한 동일한 방법으로 수행하면 된다 아래와 같이 크게 3단계의 과정이 필요하다 VM머신에 접속할 대상으로 local PC라고 표현했다 1. local PC 에서 RSA Private-Public Key 생성 2. 원격 GCP 서버에 Local PC의 private-key 등록 3. gcp 메타데이터에 ssh public key 등록 1. RSA Private-Public Key 생성(local PC) 먼저 local PC에서 ssh key를 생성하자 local PC의 OS가 linux면 아래와 같이 수행하고 Wndows면 putty를 이용해서 key ..

구글 클라우드 플랫폼을 이용하여 CentOS VM을 생성하여 외부에서 사용하고자 할때 root 계정의 password가 설정이 안되어 접근이 안될 경우가 있다 이럴 경우 구글 클라우드 플랫폼에서 해당 VM에 접속하여 root 계정의 password를 변경해야 한다 먼저 구글 클라우드 플랫폼에서 해당 VM에 접속해 보자 메인화면에서 [ Compute Engine ] → [ VM 인스턴스 ] 메뉴에 들어가 기존에 생성한 VM의 연결 탭에서 [ 브라우저 창에서 열기 ] 를 선택하자 그러면 아래와 같이 브라우저 창이 뜨는데 구글 계정으로 바로 접속이 된 것을 확인 할 수 있다 이상태에서 root 계정으로 변경하면 비밀번호가 틀렸다고 나오는데 처음에 비밀번호를 지정해 줘야 한다 아래와 같이 # sudo passw..

구글 클라우드 플랫폼에서 생성한 VM에 외부에서 접근하기 위해서는 고정IP를 설정해 줘야 한다 임시로 설정된 외부 IP를 지속적으로 사용하면 구글정책에 위반됐다는 메시지와 함께 VM 인스턴스를 중단시키고, 계속해서 발생하면 프로젝트 자체를 중단시키므로 외부 고정IP를 설정해 준 후에 접근해야 한다 VM 인스턴스를 아직 생성하지 않았다면 이전글을 참조해서 VM 인스턴스를 생성하자 2021.01.07 - [클라우드 플랫폼] - [GCP] 구글 클라우드 플랫폼 무료 서버 활용하기(CentOS) 이전 글에서 VM을 생성했다면 [Compute Engine] → [VM 인스턴스 화면에 아래와 같이] 생성된 인스턴스 정보가 나오는데 가장 오른쪽 확장버튼을 클릭해 [네트워크 세부정보 보기] 메뉴를 하면 네트워크 세부정..

CentOS에 Development Tools를 설치하려고 아래 명령어를 수행하니 Python을 설치해야 한다는 메시지가 나왔다 #yum groupinstall "Development Tools" 1. Python 설치 일단 Python을 설치하자 Python을 새로 받아 컴파일을 수행하였다 아래 Url로 들어가 Phython Source code를 받았다 www.python.org/ Welcome to Python.org The official home of the Python Programming Language www.python.org 소스파일을 받아 linux 서버에 복사하고 컴파일을 수행하는데 오류가 발생하였다 # ./configure make 시 아래와 같은 오류가 발생하였는데 관련 패키지들..

# yum install svn 위 그림과 같이 필요한 패키지들과 subversion SVN 패키지들을 설치해 주자 설치한 후 SVN 저장소로 사용할 폴더를 아래 명령어를 통해 만들어 주자 mkdir -p [SVN 저장소 폴더 경로] 필자는 /svn/repos 로 경로를 설정하였다 # mkdir -p /svn/repos 폴더를 생성하였으면 svn 저장소를 생성하고 설정정보를 변경해 주자 svnadmin create --fs-type fsfs /svn/repos 생성된 저장소 폴더로 가면 conf 폴더가 있는데 들어가 보면 아래와 같은 파일이 있을 것이다 먼저 svnserve.conf 파일을 열어 [general] 영역의 아래 옵션들의 주석을 제거해 주자 # vi svnserve.conf [general]..

개발 및 테스트를 하다 여러서버가 필요한데 물리적인 서버가 부족할 경우 local에 VM을 띄워 사용할 수 있으나 인터넷이 가능한 환경에서 시중에 나와있는 클라우드 플랫폼을 활용하면 언제 어디서나 접근 가능하기 때문에 편리한 점이 많다 물론 고사양의 서버를 할당받아 사용하면 좋지만 비용이 발생하기 때문에 간단한 프로젝트를 수행할 경우엔 무료 서버를 할당받아 활용하면 된다 네이버 클라우드 플랫폼, GCP(구글 클라우드 플랫폼), AWS(아마존 웹 서비스)가 대표적으로 알려졌는데 각 사별 장단점을 비교해보고 자신에게 맞는 플랫폼을 선택하면 된다 필자는 네이버와 구글 제품을 사용해봤는데 네이버가 셋팅하는데 있어서 편리하단 점이 있고(아무래도 국산이다 보니), 필자에게 익숙한 오픈소스들을 제공해 주는점이 있지만..