[Part 1 아파치 스파크를 사용한 스트림 처리의 기본]
CHAPTER 1 스트림 처리 소개
1.1 스트림 처리란
1.2 스트림 처리 예제
1.3 데이터 처리의 확장
1.4 분산 스트림 처리
1.5 아파치 스파크 소개
1.6 다음엔 무엇을 배울까
CHAPTER 2 스트림 처리 모델
2.1 소스와 싱크
2.2 서로 정의된 불변의 스트림
2.3 변환과 집계
2.4 윈도우 집계
2.5 비상태 및 상태 기반 처리
2.6 상태 기반 스트림
2.7 예제: 스칼라에서 로컬 상태 기반 연산
2.8 비상태 또는 상태 기반 스트리밍
2.9 시간의 영향
2.10 요약
CHAPTER 3 스트리밍 아키텍처
3.1 데이터 플랫폼의 구성 요소
3.2 아키텍처
3.3 스트리밍 애플리케이션에서 배치 처리 구성 요소의 사용
3.4 참조 스트리밍 아키텍처
3.5 스트리밍과 배치 알고리즘
3.6 요약
CHAPTER 4 스트림 처리 엔진으로서의 아파치 스파크
4.1 두 API 이야기
4.2 스파크의 메모리 사용
4.3 지연 시간에 대한 이해
4.4 처리량 지향 처리
4.5 스파크의 폴리글랏 API
4.6 데이터 분석의 빠른 구현
4.7 스파크에 대해 더 알아보기
4.8 요약
CHAPTER 5 스파크의 분산 처리 모델
5.1 클러스터 매니저를 활용한 아파치 스파크 실행
5.2 스파크 자체 클러스터 매니저
5.3 분산 시스템에서의 복원력과 내결함성 이해
5.4 데이터 전송 의미론
5.5 마이크로배칭과 한 번에 한 요소
5.6 마이크로배치와 한 번에 한 레코드 처리 방식을 더욱 가깝게 만들기
5.7 동적 배치 간격
5.8 구조적 스트리밍 처리 모델
CHAPTER 6 스파크의 복원력 모델
6.1 스파크의 탄력적인 분산 데이터셋
6.2 스파크 컴포넌트
6.3 스파크의 내결함성 보장
6.4 요약
[Part 2 구조적 스트리밍]
CHAPTER 7 구조적 스트리밍 소개
7.1 구조적 스트리밍
아파치 스파크를 사용한 스트림 처리에 오신 것을 환영합니다
2009년 캘리포니아대학교 버클리캠퍼스U의 마테이 자하리아가 처음 시작한 이래 아파치 스파크 프로젝트와 아파치 스파크를 사용한 스트림 처리가 얼마나 많은 성과를 거두었는지 살펴보는 것은 매우 흥미로운 일입니다. 아파치 스파크는 빅데이터 처리를 위한 최초의 통합 엔진으로 출발하여 모든 빅데이터의 실질적인 표준으로 성장했습니다.
이 책은 스트림 처리 엔진으로서 아파치 스파크의 개념, 도구 및 기능에 대해 가장 잘 소개하고 있습니다. 이 책은 먼저 최신 분산 처리를 이해하는 데 필요한 핵심 스파크 개념을 소개합니다. 그런 다음 다른 스트림 처리 아키텍처와 그 사이의 근본적인 아키텍처적인 절충안을 탐구합니다. 마지막으로 아파치 스파크의 구조적 스트리밍으로 분산 스트리밍 애플리케이션을 쉽게 구현하는 방법을 보여줍니다. 또한 레거시 커넥터를 사용하여 스트리밍 애플리케이션을 구축하기 위한 이전 스파크 스트리밍(일명 DStream API도 다룹니다.
전체적으로 이 책은 아파치 스파크를 사용하여 스트리밍 애플리케이션을 구축하고 운영하기 위해 알아야 할 모든 것을 다룹니다! 우리는 당신이 무엇을 만들어낼지 기대하겠습니다!
- 서문 중에서-
