1부. AutoML 방법
1장. 하이퍼파라미터 최적화
1.1 서론
1.2 문제 기술
1.2.1 최적화에 대한 대안: 앙상블과 한계화
1.2.2 다중 목적에 대한 최적화
1.3 블랙박스 하이퍼파라미터 최적화
1.3.1 모델 프리 블랙박스 최적화 방법
1.3.2 베이지안 최적화
1.4 다중 충실도 최적화
1.4.1 조기 종료를 위한 학습 곡선 기반의 예측
1.4.2 밴딧 기반 알고리듬 선택 방법
1.4.3 충실도의 적응적 선택
1.5 AutoML에의 응용
1.6 미해결 문제와 미래 연구 방향
1.6.1 벤치마크와 비교 가능성
1.6.2 그래디언트 기반 최적화
1.6.3 확장성
1.6.4 과적합과 일반화
1.6.5 임의 크기의 파이프라인 구축
2장. 메타러닝
2.1 서론
2.2 모델 평가로부터 학습
2.2.1 작업 독립 권장
2.2.2 설정 공간 설계
2.2.3 설정 전이
2.2.4 학습 곡선
2.3 작업 속성으로부터 학습
2.3.1 메타 - 특성
2.3.2 메타 - 특성 학습
2.3.3 유사 작업으로부터 예열 시작 최적화
2.3.4 메타모델
2.3.5 파이프라인 합성
2.3.6 조정할 것인가, 조정하지 않을 것인가
2.4 사전 모델로부터 학습
2.4.1 전이학습
2.4.2 신경망으로 메타러닝
2.4.3 소수 사례 학습
2.4.4 지도학습을 넘어서
2.5 결론
3장. 신경망 구조 탐색
3.1 서론
3.2 탐색 공간
3.3 탐색 전략
3.4 성과 추정 전략
3.5 미래 방향
2부. AutoML Systems
4장. 오토웨카: 자동 모델 선택과 웨카를 활용한 하이퍼파라미터 최적화
4.1 서론
4.2 사전 준비
4.2.1 모델 선택
4.2.2 하이퍼파라미터 최적화
4.3 결합 알고리듬 선택과 하이퍼파라미터
4.3.1 순차적 모델 기반 알고리듬 구성
4.4 오토웨카
4.5 실험 평가
4.5.1 베이스라인 방법
4.5.2 검증 성과 결과
4.5.3 테스트
작가의 말
지난 10년간 머신러닝 연구와 애플리케이션은 폭발적으로 증가했다. 특히 딥러닝은 컴퓨터 비전, 음성 처리, 게임 플레이와 같은 많은 응용 분야 영역에서 주요 발전을 가능하게 했다. 그러나 많은 머신러닝 방법은 설계 결정에 매우 민감하며, 이는 입문자가 상당한 어려워할 줄 수 있다. 신경망이 해야 할 일을 하면서 충분한 성과를 내기 위해 모든 구성 요소의 올바른 신경망 구조, 훈련 절차, 규제화 방법, 하이퍼파라미터를 선택해야 하는 딥러닝 분야가 특히 그렇다.
전문가들도 특정 데이터셋에 대한 적절한 선택 항목을 파악할 때까지 많은 시행착오를 겪게 된다. 자동머신러닝(AutoML 분야는 사용자가 데이터를 제공하기만 하면 AutoML 시스템이 이 특정 애플리케이션에 가장 적합한 접근법을 자동으로 결정한다. 따라서 AutoML은 머신러닝을 적용하는 데는 관심이 있지만 기술에 대해 자세히 배울 만한 리소스가 없는 도메인 과학자들이 최첨단 머신러닝 접근법을 이용할 수 있도록 한다. 이는 머신러닝을 민주화한 것으로 볼 수 있으며 AutoML을 사용하면 사용자 정의된 최첨단 머신러닝에 누구나 쉽게 접근할 수 있다.
책에서 보듯이 AutoML 접근법은 이미 충분히 성숙돼 있어 인간 머신러닝 전문가에 필적할 수 있고 때로는 더 우수한 성능을 발휘할 수도 있다. 간단히 말해 머신러닝 전문가는 찾기도 어렵고 비용도 많이 들지만, AutoML은 상당한 시간과 비용을 절약하면서 성과 향상으로 이어질 수 있다. 그 결과 최근 몇 년간 AutoML에 대한 상업적인 관심이 급격히 높아졌으며 현재 몇몇 주요 테크 회사들이 자체 AutoML 시스템을 개발하고 있다. 그러나 머신러닝을 민주화하는 목적은 전용 유료 블랙박스 서비스보다 오픈 소스 AutoML 시스템을 통해 훨씬 더 잘 이룰 수 있다.
이 책은 빠르게 변화하는 AutoML 분야의 개요를 제공한다. 현재 커뮤니티가 딥러닝에 초점을 맞추고 있기 때문에 일부 연구자들은 AutoML을 신경망 구조 검색(NAS 주제와 잘
