1장. 자연어 처리 소개
__소개
__NLP의 역사
__텍스트 분석과 NLP
____예제 1: 기본적인 텍스트 분석
__NLP의 다양한 단계
____토큰화
____예제 2: 단순 문장의 토큰화
____PoS 태깅
____예제 3: PoS 태깅
____불용어 제거
____예제 4: 불용어 제거
____텍스트 정규화
____예제 5: 텍스트 정규화
____철자 수정
____예제 6: 단어 및 문장 철자 수정
____어간 추출
____예제 7: 어간 추출
____표제어 추출
____예제 8: 표제어 추출을 사용해 기본 단어 추출
____NER
____예제 9: 개체명 취급
____단어 중의성 해결
____예제 10: 단어 중의성 해결
____문장 경계 인식
____예제 11: 문장 경계 인식
____실습 1: 원시 텍스트 전처리
__NLP 프로젝트 활성화
____데이터 수집
____데이터 전처리
____피처 추출
____모델 개발
____모델 평가
____모델 배포
__요약
2장. 기본적인 피처 추출 방법
__소개
__데이터 타입
____구조 기반 데이터 분류
____내용 기반 데이터의 범주화
__텍스트 데이터 정제
____토큰화
____예제 12: 텍스트 정제와 토큰화
____예제 13: n-그램 추출
____예제 14: 다른 패키지로 텍스트 토큰화 - 케라스와 TextBlob
____토크나이저의 종류
____예제 15: 다양한 토크나이저를 사용한 텍스트 토큰화
____토큰화의 이슈들
____어간 추출
____RegexpStemmer
____예제 16: RegexpStemmer를 사용해 진행형 형태의 단어를 기본 단어로 변환
____포터 형태소 분석기
____예제 17: 포터 형태소 분석기
____표제어 추출
____예제 18: 표제어 추출
____예제 19: 단어의 단수화와 복수화
____언어 번역
____예제 20: 언어 번역
____불용어 제거
_
이 책에서 다루는 내용
■ 데이터 수집, 검증, 정제
■ 파이썬을 활용한 데이터 분석과 머신러닝 작업 수행
■ 전산언어학의 기초 이해
■ 자연어 처리 작업에 대한 일반적인 모델 구현
■ 적절한 평가 지표를 사용한 모델 성능 평가
■ 텍스트 데이터에 대한 시각화, 정량화, 탐색적 분석 수행
이 책의 대상 독자
NLP를 활용한 결과물을 만들고자 텍스트 데이터를 수집하고 분석하려는 초보자와 중급 수준의 데이터 과학자, 머신러닝 개발자 등에게 적합한 책이다. 파이썬에서 데이터 타입, 함수 작성, 라이브러리 불러오기를 사용해 코딩을 해봤다면 내용을 이해하기 좀 더 수월할 것이다. 언어학과 확률에 대한 경험이 있다면 역시 도움이 되겠지만 반드시 필요하지는 않다.
이 책의 구성
이 책은 파이썬 코드로 텍스트를 불러오는 매우 기초적인 작업부터 시작해 NLP에 적합한 형태로 텍스트를 정제, 어간 추출, 토큰화하는 데 필요한 파이프라인에 따라 진행된다. 그런 다음, 가장 일반적으로 사용되는 NLP 라이브러리를 사용해 NLP 통계적 방법, 벡터 표현, 모델 작성 등과 같은 기본기를 다진다. 마지막으로 여러 응용 분야에서 NLP 모델과 코드를 사용하는 실사례를 다룬다.
