- 현재 위치
- home > 컴퓨터·ICT·어학 > 컴퓨터·IT 도서 > 데이터베이스 > 스노우플레이크 쿡북[루비페이퍼]
;)
이 책은 데이터 플랫폼 구축 시 일반적으로 수반되는 DBMS에 관련된 주요 작업이 순서대로 되어 있습니다. 해당 작업은 스노우플레이크를 처음 접하는 사용자들이 스노우플레이크로 구현하는 과정을 쉽게 따라 할 수 있도록 레시피 형태로 구성되어 있습니다. 음식을 요리하듯 각 기능을 SQL 쿼리 예제를 통해 쉽게 설명합니다.
스노우플레이크의 데이터 라이프 사이클 관리와 파이프라인 구축 및 데이터 셰어링 등은 대부분 SQL로 실행할 수 있습니다. 따라서 기존에 SQL을 다뤄봤거나 이해할 수 있는 사람이라면 비즈니스 분석가, 데이터 엔지니어, 데이터 컨설턴트 및 데이터 과학자 누구라도 쉽게 배우고 사용할 수 있습니다.
스노우플레이크의 데이터 라이프 사이클 관리와 파이프라인 구축 및 데이터 셰어링 등은 대부분 SQL로 실행할 수 있습니다. 따라서 기존에 SQL을 다뤄봤거나 이해할 수 있는 사람이라면 비즈니스 분석가, 데이터 엔지니어, 데이터 컨설턴트 및 데이터 과학자 누구라도 쉽게 배우고 사용할 수 있습니다.
저자: 하미드 마무드 쿠레시
CHAPTER1 스노우플레이크 시작하기
기술적 요구사항
새로운 스노우플레이크 인스턴스 생성하기
__준비하기
__따라하기
__정리하기
맞춤형 멀티클러스터 가상 웨어하우스 생성하기
__준비하기
__따라하기
__정리하기
__더 알아보기
스노우플레이크 웹UI를 사용하여 쿼리 실행하기
__준비하기
__따라하기
__정리하기
SnowSQL로 연결하기
__준비하기
__따라하기
__정리하기
__더 알아보기
JDBC로 연결하기
__준비하기
__따라하기
__정리하기
__더 알아보기
신규 계정 관리자 생성과 기본 제공 역할 이해
__준비하기
__따라하기
__정리하기
__더 알아보기
CHAPTER 2 데이터 라이프 사이클 관리
기술적 요구사항
데이터베이스 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
데이터 스키마 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
테이블 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
외부 테이블과 스테이지 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
스노우플레이크에서 데이터 뷰 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
CHAPTER3 데이터 로딩 및 추출
기술적 요구사항
비공개 S3 버킷에 대한 액세스
__준비하기
__따라하기
__정리하기
클라우드 스토리지에서 대량 데이터 로딩하기
__준비하기
__따라하기
__정리하기
로컬 시스템에서 대량 데이터 로딩하기
__준비하기
__따라하기
__정리하기
파케이 파일 로딩하기
__준비하기
__따라하기
__정리하기
JSON 반정형 데이터를 관계형 뷰로 변환하기
__준비하기
__따라하기
__정리하기
Newline-delimited JSON(또는 NDJSON) 데이터 처리하기
__준비하기
__따라하기
__정리하기
Snowpipe를 이용하여 준실시간(near real-time)으로 데이터 처리하기
__준비하기
__따라하기
__정리하기
스노우플레이크에서 데이터 추출하기
__준비하기
__따라하기
__정리하기
CHAPTER 4 데이터 파이프라인 구축
기술적 요구사항
태스크 생성과 스케줄링
__준비하기
__따라하기
__정리하기
태스크 트리를 통한 파이프라인 활용
__준비하기
__따라하기
__정리하기
태스크 이력 조회
__준비하기
__따라하기
__정리하기
변경 데이터 캡처를 위한 스트림 개념 이해
__준비하기
__따라하기
__정리하기
스트림과 태스크를 결합하여 변경 데이터를 처리하는 파이프라인 만들기
__따라하기
__정리하기
데이터 타입 변환과 오류 관리
__따라하기
__정리하기
__더 알아보기
다양한 콘텍스트 함수를 사용하여 콘텍스트 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
CHAPTER 5 데이터 보호와 보안
기술적 요구사항
커스텀 역할 설정과 완전한 역할 계층 구조 만들기
__준비하기
__따라하기
__정리하기
__더 알아보기
사용자에게 기본 역할 설정 및 할당
__준비하기
__따라하기
__정리하기
__더 알아보기
데이터 보안과 역할 관리로부터 사용자 관리 분리하기
__준비하기
__따라하기
__정리하기
높은 보안 수준의 데이터 접근 관리를 위한 커스텀 역할 구성
__준비하기
__따라하기
__정리하기
개발, 테스트, 사전 운영, 운영 데이터베이스 계층 및 역할 설정
__준비하기
__따라하기
__정리하기
ACCOUNTADMIN 역할과 사용자 보호
__준비하기
__따라하기
__정리하기
CHAPTER 6 성능 및 비용 최적화
기술적 요구사항
테이블 스키마 검사와 최적화 구조 도출
__준비하기
__따라하기
__정리하기
쿼리 플랜 및 병목지점 식별
__준비하기
__따라하기
__정리하기
분석을 통한 비효율적인 쿼리 제거
__준비하기
__따라하기
__정리하기
불필요한 페일 세이프와 타임트래블 스토리지 줄이기
__준비하기
__따라하기
__정리하기
성능 향상을 위한 구체화 뷰
__준비하기
__따라하기
__정리하기
__더 알아보기
테이블 클러스터링 수정을 위한 쿼리 플랜 검토
__준비하기
__따라하기
__정리하기
가상 웨어하우스 스케일 최적화
__준비하기
__따라하기
__정리하기
CHAPTER 7 시큐어 데이터 셰어링
기술적 요구사항
다른 스노우플레이크 계정과 테이블 공유
__준비하기
__따라하기
__정리하기
다른 스노우플레이크 계정과 뷰 공유
__준비하기
__따라하기
__정리하기
다른 스노우플레이크 계정과 데이터베이스 공유 및 신규 생성 객체 공유 설정
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 데이터 공유를 위한 리더 계정 생성 및 구성
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 객체 공유 설정
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 데이터 공유 시 비용 관리
__준비하기
__따라하기
__정리하기
CHAPTER 8 타임트래블과 복제
기술적 요구사항
타임트래블을 이용하여 특정 시점의 데이터 상태로 돌아가기
__준비하기
__따라하기
__정리하기
타임트래블을 이용하여 실수로 손실된 데이터 복구하기
__준비하기
__따라하기
__정리하기
타임트래블을 이용하여 삭제된 데이터베이스, 테이블 및 다른 객체들을 식별하고 복원하기
__준비하기
__따라하기
__정리하기
복제와 함께 타임트래블을 이용하여 디버깅 향상시키기
__준비하기
__따라하기
__정리하기
복제를 이용하여 운영 환경 기반으로 빠르게 새로운 환경 셋업하기
__준비하기
__따라하기
__정리하기
CHAPTER 9 고급 SQL 테크닉
기술적 요구사항
타임스탬프 데이터 다루기
__준비하기
__따라하기
__정리하기
날짜 데이터로부터 캘린더 정보 추출하기
__준비하기
__따라하기
__정리하기
중복 제거 카운트하기
__준비하기
__따라하기
__정리하기
트랜잭션 관리하기
__준비하기
__따라하기
__정리하기
윈도우 함수를 사용하여 데이터 분석하기
__준비하기
__따라하기
__정리하기
시퀀스 생성하기
__준비하기
__따라하기
__정리하기
CHAPTER 10 스노우플레이크의 확장 기능
기술적 요구사항
SQL을 이용하여 스칼라 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
SQL을 이용하여 테이블 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를 이용하여 스칼라 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를 이용하여 테이블 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
아파치 스파크 연결하기
__준비하기
__따라하기
__정리하기
아파치 스파크를 이용하여 스노우플레이크 데이터 전처리하기
__준비하기
__따라하기
__정리하기
CHAPTER 부록
기술적 요구사항
새로운 스노우플레이크 인스턴스 생성하기
__준비하기
__따라하기
__정리하기
맞춤형 멀티클러스터 가상 웨어하우스 생성하기
__준비하기
__따라하기
__정리하기
__더 알아보기
스노우플레이크 웹UI를 사용하여 쿼리 실행하기
__준비하기
__따라하기
__정리하기
SnowSQL로 연결하기
__준비하기
__따라하기
__정리하기
__더 알아보기
JDBC로 연결하기
__준비하기
__따라하기
__정리하기
__더 알아보기
신규 계정 관리자 생성과 기본 제공 역할 이해
__준비하기
__따라하기
__정리하기
__더 알아보기
CHAPTER 2 데이터 라이프 사이클 관리
기술적 요구사항
데이터베이스 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
데이터 스키마 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
테이블 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
외부 테이블과 스테이지 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
스노우플레이크에서 데이터 뷰 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
CHAPTER3 데이터 로딩 및 추출
기술적 요구사항
비공개 S3 버킷에 대한 액세스
__준비하기
__따라하기
__정리하기
클라우드 스토리지에서 대량 데이터 로딩하기
__준비하기
__따라하기
__정리하기
로컬 시스템에서 대량 데이터 로딩하기
__준비하기
__따라하기
__정리하기
파케이 파일 로딩하기
__준비하기
__따라하기
__정리하기
JSON 반정형 데이터를 관계형 뷰로 변환하기
__준비하기
__따라하기
__정리하기
Newline-delimited JSON(또는 NDJSON) 데이터 처리하기
__준비하기
__따라하기
__정리하기
Snowpipe를 이용하여 준실시간(near real-time)으로 데이터 처리하기
__준비하기
__따라하기
__정리하기
스노우플레이크에서 데이터 추출하기
__준비하기
__따라하기
__정리하기
CHAPTER 4 데이터 파이프라인 구축
기술적 요구사항
태스크 생성과 스케줄링
__준비하기
__따라하기
__정리하기
태스크 트리를 통한 파이프라인 활용
__준비하기
__따라하기
__정리하기
태스크 이력 조회
__준비하기
__따라하기
__정리하기
변경 데이터 캡처를 위한 스트림 개념 이해
__준비하기
__따라하기
__정리하기
스트림과 태스크를 결합하여 변경 데이터를 처리하는 파이프라인 만들기
__따라하기
__정리하기
데이터 타입 변환과 오류 관리
__따라하기
__정리하기
__더 알아보기
다양한 콘텍스트 함수를 사용하여 콘텍스트 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
CHAPTER 5 데이터 보호와 보안
기술적 요구사항
커스텀 역할 설정과 완전한 역할 계층 구조 만들기
__준비하기
__따라하기
__정리하기
__더 알아보기
사용자에게 기본 역할 설정 및 할당
__준비하기
__따라하기
__정리하기
__더 알아보기
데이터 보안과 역할 관리로부터 사용자 관리 분리하기
__준비하기
__따라하기
__정리하기
높은 보안 수준의 데이터 접근 관리를 위한 커스텀 역할 구성
__준비하기
__따라하기
__정리하기
개발, 테스트, 사전 운영, 운영 데이터베이스 계층 및 역할 설정
__준비하기
__따라하기
__정리하기
ACCOUNTADMIN 역할과 사용자 보호
__준비하기
__따라하기
__정리하기
CHAPTER 6 성능 및 비용 최적화
기술적 요구사항
테이블 스키마 검사와 최적화 구조 도출
__준비하기
__따라하기
__정리하기
쿼리 플랜 및 병목지점 식별
__준비하기
__따라하기
__정리하기
분석을 통한 비효율적인 쿼리 제거
__준비하기
__따라하기
__정리하기
불필요한 페일 세이프와 타임트래블 스토리지 줄이기
__준비하기
__따라하기
__정리하기
성능 향상을 위한 구체화 뷰
__준비하기
__따라하기
__정리하기
__더 알아보기
테이블 클러스터링 수정을 위한 쿼리 플랜 검토
__준비하기
__따라하기
__정리하기
가상 웨어하우스 스케일 최적화
__준비하기
__따라하기
__정리하기
CHAPTER 7 시큐어 데이터 셰어링
기술적 요구사항
다른 스노우플레이크 계정과 테이블 공유
__준비하기
__따라하기
__정리하기
다른 스노우플레이크 계정과 뷰 공유
__준비하기
__따라하기
__정리하기
다른 스노우플레이크 계정과 데이터베이스 공유 및 신규 생성 객체 공유 설정
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 데이터 공유를 위한 리더 계정 생성 및 구성
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 객체 공유 설정
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 데이터 공유 시 비용 관리
__준비하기
__따라하기
__정리하기
CHAPTER 8 타임트래블과 복제
기술적 요구사항
타임트래블을 이용하여 특정 시점의 데이터 상태로 돌아가기
__준비하기
__따라하기
__정리하기
타임트래블을 이용하여 실수로 손실된 데이터 복구하기
__준비하기
__따라하기
__정리하기
타임트래블을 이용하여 삭제된 데이터베이스, 테이블 및 다른 객체들을 식별하고 복원하기
__준비하기
__따라하기
__정리하기
복제와 함께 타임트래블을 이용하여 디버깅 향상시키기
__준비하기
__따라하기
__정리하기
복제를 이용하여 운영 환경 기반으로 빠르게 새로운 환경 셋업하기
__준비하기
__따라하기
__정리하기
CHAPTER 9 고급 SQL 테크닉
기술적 요구사항
타임스탬프 데이터 다루기
__준비하기
__따라하기
__정리하기
날짜 데이터로부터 캘린더 정보 추출하기
__준비하기
__따라하기
__정리하기
중복 제거 카운트하기
__준비하기
__따라하기
__정리하기
트랜잭션 관리하기
__준비하기
__따라하기
__정리하기
윈도우 함수를 사용하여 데이터 분석하기
__준비하기
__따라하기
__정리하기
시퀀스 생성하기
__준비하기
__따라하기
__정리하기
CHAPTER 10 스노우플레이크의 확장 기능
기술적 요구사항
SQL을 이용하여 스칼라 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
SQL을 이용하여 테이블 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를 이용하여 스칼라 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를 이용하여 테이블 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
아파치 스파크 연결하기
__준비하기
__따라하기
__정리하기
아파치 스파크를 이용하여 스노우플레이크 데이터 전처리하기
__준비하기
__따라하기
__정리하기
CHAPTER 부록
스노우플레이크로 구축하는 클라우드 데이터 플랫폼
스노우플레이크는 뛰어난 확장성, 유연성, 성능 등 클라우드의 주요 장점을 그대로 흡수하여 제공하는 매력적인 아키텍처와 기능을 갖추고 있는 데이터 플랫폼입니다.
이 책은 스노우플레이크를 처음 접하거나 접한 지 얼마 안 된 데이터 개발자, 데이터 컨설턴트, 데이터 과학자를 위한 책입니다. 스노우플레이크에 대한 설명은 공식 홈페이지에서 제공하고 있지만 보다 실용적인 SQL 쿼리 예제와 함께 실무에 필요한 내용들을 위주로 담고 있습니다. 이 책을 이해하기 위해 필요한 SQL 지식은 기본적인 CREATE, SELECT 문만 알아도 충분합니다. 이 책을 이용하는 가장 좋은 방법은 가지고 있는 계정이나 Trial 계정을 사용하여 직접 스노우플레이크에서 쿼리를 실행해보는 것입니다.
-감수자의 글 -
스노우플레이크는 클라우드에서만 동작하는 클라우드 기반 데이터 플랫폼이며 데이터 웨어하우스(Data Warehouse), 데이터 레이크(Data Lake) 및 데이터 사이언스(Data Science) 등 다양한 워크로드에서 활용될 수 있습니다. 스노우플레이크는 클라우드의 장점인 뛰어난 확장성, 유연성, 성능 등을 그대로 활용한 아키텍처와 기능을 제공합니다. 이 책에서는 스노우플레이크의 아키텍처를 상세하게 다루지는 않았지만, 여러 곳에서 스노우플레이크 특유의 독특하고 흥미로운 아키텍처에 대한 설명을 담고 있습니다.
이 책은 스노우플레이크를 사용한 데이터 웨어하우스 구축 방법 및 관련 기능에 대한 설명을 담고 있습니다. 데이터 웨어하우스 구축 시 일반적으로 수반되는 DBMS(Database Management System)에 관련된 주요 작업 및 순서는 다음과 같습니다.
1) DBMS 설치 및 사용 환경 구성
2) 설치된 DBMS에 데이터베이스, 스키마, 테이블 등 필요한 객체 생성
3) 생성된 객체에 데이터를 적재하기 위한 환경 설정 및 적재 프로그램 구현
4) 구현된 적재 프로그램 자동화 및 스케줄링
5) 사용자별 적재된 데이터에 대한 접근 권한 설정
6) 적재, 조회 등 데이터 처리 성능 향상을 위한 객체의 물리적인 구조 변경 및 객체 추가
7) 적재된 데이터를 타 시스템과 공유하기 위한 설정
이 책은 위에 기술된 작업과 순서대로 장을 나누고 배열한 후, 장별로 해당 작업을 스노우플레이크로 구현하는 과정을 쉽게 따라 할 수 있도록 구성했습니다. 데이터 웨어하우스 구축 경험이 없는 독자분이라도 책의 내용과 흐름이 위와 같다는 것을 숙지하면 이해에 많은 도움이 될 것입니다.
스노우플레이크를 사용하면서 인상적이었던 것은 사용하기에 복잡하지 않고 데이터 처리도 빨라서인지 기존 DBMS에 비해 훨씬 가볍다라는 것이었습니다. 눈송이처럼 가벼운 느낌은 주는 DBMS, 그래서 스노우플레이크라는 이름이 참 잘 어울린다고 생각합니다.
스노우플레이크는 뛰어난 확장성, 유연성, 성능 등 클라우드의 주요 장점을 그대로 흡수하여 제공하는 매력적인 아키텍처와 기능을 갖추고 있는 데이터 플랫폼입니다.
이 책은 스노우플레이크를 처음 접하거나 접한 지 얼마 안 된 데이터 개발자, 데이터 컨설턴트, 데이터 과학자를 위한 책입니다. 스노우플레이크에 대한 설명은 공식 홈페이지에서 제공하고 있지만 보다 실용적인 SQL 쿼리 예제와 함께 실무에 필요한 내용들을 위주로 담고 있습니다. 이 책을 이해하기 위해 필요한 SQL 지식은 기본적인 CREATE, SELECT 문만 알아도 충분합니다. 이 책을 이용하는 가장 좋은 방법은 가지고 있는 계정이나 Trial 계정을 사용하여 직접 스노우플레이크에서 쿼리를 실행해보는 것입니다.
-감수자의 글 -
스노우플레이크는 클라우드에서만 동작하는 클라우드 기반 데이터 플랫폼이며 데이터 웨어하우스(Data Warehouse), 데이터 레이크(Data Lake) 및 데이터 사이언스(Data Science) 등 다양한 워크로드에서 활용될 수 있습니다. 스노우플레이크는 클라우드의 장점인 뛰어난 확장성, 유연성, 성능 등을 그대로 활용한 아키텍처와 기능을 제공합니다. 이 책에서는 스노우플레이크의 아키텍처를 상세하게 다루지는 않았지만, 여러 곳에서 스노우플레이크 특유의 독특하고 흥미로운 아키텍처에 대한 설명을 담고 있습니다.
이 책은 스노우플레이크를 사용한 데이터 웨어하우스 구축 방법 및 관련 기능에 대한 설명을 담고 있습니다. 데이터 웨어하우스 구축 시 일반적으로 수반되는 DBMS(Database Management System)에 관련된 주요 작업 및 순서는 다음과 같습니다.
1) DBMS 설치 및 사용 환경 구성
2) 설치된 DBMS에 데이터베이스, 스키마, 테이블 등 필요한 객체 생성
3) 생성된 객체에 데이터를 적재하기 위한 환경 설정 및 적재 프로그램 구현
4) 구현된 적재 프로그램 자동화 및 스케줄링
5) 사용자별 적재된 데이터에 대한 접근 권한 설정
6) 적재, 조회 등 데이터 처리 성능 향상을 위한 객체의 물리적인 구조 변경 및 객체 추가
7) 적재된 데이터를 타 시스템과 공유하기 위한 설정
이 책은 위에 기술된 작업과 순서대로 장을 나누고 배열한 후, 장별로 해당 작업을 스노우플레이크로 구현하는 과정을 쉽게 따라 할 수 있도록 구성했습니다. 데이터 웨어하우스 구축 경험이 없는 독자분이라도 책의 내용과 흐름이 위와 같다는 것을 숙지하면 이해에 많은 도움이 될 것입니다.
스노우플레이크를 사용하면서 인상적이었던 것은 사용하기에 복잡하지 않고 데이터 처리도 빨라서인지 기존 DBMS에 비해 훨씬 가볍다라는 것이었습니다. 눈송이처럼 가벼운 느낌은 주는 DBMS, 그래서 스노우플레이크라는 이름이 참 잘 어울린다고 생각합니다.
