도전하는 데이터 엔지니어 도전하는 데이터 엔지니어

docker는 CE(Community Edition) 와 EE(Enterprise Edition) 두개가 존재합니다. Docker Community Edition(CE) 는 무료로 누구나 사용할 수 있으며, Docker CE는 오픈 소스로서, Windows, Mac 및 Linux를 비롯한 다양한 플랫폼에서 사용할 수 있습니다. Docker Enterprise Edition(EE) 에는 워크플로 관리 및 보안을 위한 기능이 추가되어 있으며 유료로 사용할 수 있습니다. 일단 컨테이너 기반의 앱을 실험하고 소규모 구성을 목적으로 하고 있기 때문에 무료버전인 CE를 사용하도록 합니다. 1. Docker(CE) 설치하기 : docker repository 설정하기 1-1. 먼저 처음 설치하는 host machin..

하둡은 구글의 분산 파일 시스템(GFS) 논문이 공개된 후, 그 구조에 대응하는 체계로 개발되었습니다. 하둡은 기존에 단일 컴퓨터의 세상을 여러대의 컴퓨터 클러스터를 통해 분산 처리 할 수있게 해주는 프레임워크로 이러한 구성은 수천대의 컴퓨터를 확장, 축소를 쉽게 할 수 있으며, 데이터의 안정성 또한 뛰어나다고 합니다. 일반적으로 하둡의 기본이 되는 부분은 하둡파일시스템(HDFS)과 맵리듀스(MapReduce)프레임워크로 볼 수 있지만, 현재는 스파크를 통해 배치작업 이 외의 실시간 처리를 담당하는 시스템과도 잘 어울립니다. (예전에는 스파크와 하둡의 경쟁구도라는 말이 있었는데, 실제로는 공생 관계로 가는게 맞다고 생각합니다...) 클러스터 환경은 결국 여러대의 단일 컴퓨터를 다수의 병렬로 연결하는것과 ..

EC2 서버 접속 기본적으로 접속하는 방법은 아래와 같다. $ ssh -i pem키위치 EC2의탄력적IP주소 이같은 방법으로 접속하는 것은 상당히 귀찮은 일이다. 이러한 방법을 쉽게 하는방법은 ssh 실행시 alias를 이용해 자동으로 pem키 파일을 읽어 드리는 방법이다. 먼저 aws에서 받은 pem 파일을 "~/.ssh/" 폴더로 복사한 후, pem키의 권한을 “600”으로 변경한다. 이후, "~/.ssh/“에 config 파일을 생성한다. $ cp /{AWSPEMKEYFILEPATH}/test.pem ~/.ssh/ $ cd ~/.ssh/ $ chmod 600 test.pem $ vim ~/.ssh/config 생성된 “config” 파일에 Host를 등록하는데, Host를 앞으로 접속할 alias라..

RDS는 AWS에서 지원하는 클라우드 기반 관계형 데이터 베이스이다. 1. RDS 인스턴스 생성 서비스에 RDS를 검색하고 엔터를 누르면 해당 서비스로 이동한다. 이동한 페이지에서 데이터베이스 생성을 누르고 이동하면 데이터베이스 생성 화면으로 이동한다. 엔진옵션에서 원하는 RDB를 선택하고, 템플릿에서 프리티어를 선택해야 한다.(TEST 서버 이기때문에) 나머지는 간단한 설정이니 설명은 하지 않고 사진만 첨부. 연결 부분에서는 추가 연결 구성을 클릭해서 퍼블릭 엑세스 가능 값을 “예”로 변경해 줘야한다. 추후 설정으로 지정된 IP만 접근 할 권한을 줄것이다. 위 설정을 마친 뒤, "데이터베이스 생성버튼"을 누르면 Amazon RDS > 데이터베이스 창으로 넘어간다. 2. RDS 파라미터 설정 RDS를 생..

1. 인스턴스(Instance) 만들기 계정 만드는 부분은 건너뛰고 접속 후, 서버를 작성하는 부분부터 시작. 로그인 후, 솔루션 구축이라는 박스에서 “EC를 사용하여”를 클릭 2. Amazon Machine Image(AMI) 선택 인스턴스를 만드는 첫 단계로 OS선택 화면이 나온다. 이때, CentOS기준의 2종류는 아래와 같다. 1) Amazon Linux AMI