CHAPTER 01 언어와 계산 1
데이터 과학 패러다임 2
언어 인식 데이터 제품 4
데이터 제품 파이프라인 6
데이터로서의 언어 9
언어의 계산 모델 10
언어 자질 11
맥락 자질 15
구조적 자질 17
결론 20
CHAPTER 02 사용자 정의 말뭉치 구축 21
말뭉치란 무엇인가? 22
영역 특정 말뭉치 22
Baleen 수집 엔진 23
말뭉치 데이터 관리 25
말뭉치 디스크 구조 27
말뭉치 리더 30
NLTK를 사용한 스트리밍 데이터 액세스 32
HTML 말뭉치 읽기 34
데이터베이스에서 말뭉치 읽기 38
결론 40
CHAPTER 03 말뭉치의 전처리와 가공 41
문서 쪼개 보기 42
핵심 내용 식별 및 추출 42
문서를 단락별로 나누기 44
분할: 문장별로 나누기 46
토큰화: 개별 토큰 식별 48
품사 태깅 49
중간 말뭉치 분석론 50
말뭉치 변환 52
중간 전처리 및 저장 52
처리된 말뭉치 읽기 56
결론 58
CHAPTER 04 텍스트 벡터화와 변환 파이프라인 59
공간 내 단어 61
빈도 벡터 62
원핫 인코딩 64
용어빈도-역문서빈도 67
분산 표현 71
사이킷런 API 74
BaseEstimator 인터페이스 74
TransformerMixin 확장 76
파이프라인 81
파이프라인의 기초 81
하이퍼파라미터 최적화를 위한 격자 검색 83
특징결합을 사용한 특징추출 강화 84
결론 86
CHAPTER 05 텍스트 분석을 위한 분류 89
텍스트 분류 90
분류 문제 식별 91
분류기 모델 92
텍스트 분류 애플리케이션 만들기 94
교차검증 94
모델 구성 98
모델 평가 100
결론 105
CHAPTER 06 텍스트 유사성을 위한 군집화 107
텍스트에 대한 비지도학습 108
문서 유사성에 의한 군집화 109
거리 계량 110
부분 군집화 112
위계적 군집화 118
문서 토픽 모델링 122
잠재 디리클레 할
