CHAPTER 1 트랜스포머 소개
_1.1 인코더-디코더 프레임워크
_1.2 어텐션 메커니즘
_1.3 NLP의 전이 학습
_1.4 허깅페이스 트랜스포머스
_1.5 트랜스포머 애플리케이션 둘러보기
__1.5.1 텍스트 분류
__1.5.2 개체명 인식
__1.5.3 질문 답변
__1.5.4 요약
__1.5.5 번역
__1.5.6 텍스트 생성
_1.6 허깅페이스 생태계
__1.6.1 허깅페이스 허브
__1.6.2 허깅페이스 토크나이저
__1.6.3 허깅페이스 데이터셋
__1.6.4 허깅페이스 액셀러레이트
_1.7 트랜스포머의 주요 도전 과제
_1.8 결론
CHAPTER 2 텍스트 분류
_2.1 데이터셋
__2.1.1 허깅페이스 데이터셋 처음 사용하기
__2.1.2 데이터셋에서 데이터프레임으로
__2.1.3 클래스 분포 살펴보기
__2.1.4 트윗 길이 확인
_2.2 텍스트에서 토큰으로
__2.2.1 문자 토큰화
__2.2.2 단어 토큰화
__2.2.3 부분단어 토큰화
__2.2.4 전체 데이터셋 토큰화하기
_2.3 텍스트 분류 모델 훈련하기
__2.3.1 트랜스포머를 특성 추출기로 사용하기
__2.3.2 트랜스포머 미세 튜닝하기
_2.4 결론
CHAPTER 3 트랜스포머 파헤치기
_3.1 트랜스포머 아키텍처
_3.2 인코더
__3.2.1 셀프 어텐션
__3.2.2 피드 포워드 층
__3.2.3 층 정규화 추가하기
__3.2.4 위치 임베딩
__3.2.5 분류 헤드 추가하기
_3.3 디코더
_3.4 트랜스포머 유니버스
__3.4.1 트랜스포머 가계도
__3.4.2 인코더 유형
__3.4.3 디코더 유형
__3.4.4 인코더-디코더 유형
_3.5 결론
CHAPTER 4 다중 언어 개체명 인식
_4.1 데이터셋
_4.2 다중 언어 트랜스포머
_4.3 XLM-R 토큰화
__4.3.1 토큰화 파이프라인
__4.3.2 SentencePiece 토크나이저
_4.4 개
자연어 처리 애플리케이션을 만드는 큐브, 트랜스포머
이 책은 머신러닝 지식을 갖춘 엔지니어와 연구자를 대상으로 직접 모델을 구현하며 트랜스포머를 업무에 적용하는 실용적인 방법을 전달한다. 트랜스포머를 이용하는 데 필요한 기본적인 이론과 방법을 소개한 뒤, 다국어 텍스트의 개체명 인식(NER을 비롯해 텍스트 생성, 텍스트 요약, 질문 답변(QA 같은 목적에 맞는 다양한 자연어 처리 모델을 훈련해본다. 다양한 트랜스포머 모델에 표준화된 인터페이스를 제공하는 라이브러리인 허깅페이스 트랜스포머스를 개발한 팀의 안내를 따라 내게 필요한 모델을 구축해보자.
대상 독자
ㆍ트랜스포머를 입맛에 맞게 조정하고 싶은 데이터 과학자와 머신러닝 엔지니어
ㆍ자기만의 자연어 처리 애플리케이션을 만들고 싶은 개발자
주요 내용
ㆍ텍스트 분류, 개체명 인식 등 NLP 작업을 위한 트랜스포머 모델을 빌드 및 디버깅, 최적화하는 방법
ㆍ언어 간 전이 학습에 트랜스포머를 사용하는 방법
ㆍ레이블링된 데이터가 부족한 상황에서 트랜스포머를 적용해 모델 성능을 높이는 방법
ㆍ지식 정제와 양자화, 가지치기 같은 기술을 사용한 트랜스포머 모델 효율화 방법
ㆍ대규모 트랜스포머 모델을 밑바닥부터 훈련하고 여러 GPU 및 분산 환경으로 확장하는 방법
