Fine-tuning
딥 러닝에서 파인 튜닝(fine-tuning)은 하나의 작업을 위해 설계된 모델(상위 작업)을 새로운 작업(하위 작업)에 특화시키는 과정이다. 따라서 이는 전이학습의 특별한 경우이다.
기술적으로, 파인 튜닝은 사전 학습된 인공 신경망의 매개변수에 추가 학습(예: 새로운 데이터에 대한 학습)을 적용하는 것을 포함한다. 다양한 변형이 존재한다. 추가 학습은 전체 신경망에 적용될 수도 있고, 은닉층의 일부에만 적용될 수도 있다. 후자의 경우, 파인 튜닝되지 않는 층은 "고정"된다(즉, 역전파 중에 변경되지 않는다). 모델은 또한 "어댑터"로 보강될 수 있는데, 이는 모델 아키텍처에 삽입되어 도메인 적응을 위해 임베딩 공간을 미세 조정하는 경량 모듈이다. 이 모듈은 원래 모델보다 훨씬 적은 매개변수를 포함하며, 어댑터의 가중치만 조정하고 나머지 모델의 가중치를 고정하여 매개변수 효율적인 방식으로 파인 튜닝될 수 있다.
합성곱 신경망과 같은 일부 아키텍처의 경우, 입력층에 가장 가까운 초기 층은 저수준 특징을 포착하므로 고정된 상태로 유지하는 것이 일반적이며, 후기 층은 모델이 학습된 작업과 더 관련될 수 있는 고수준 특징을 식별한다.
크고 일반적인 말뭉치에서 사전 학습된 모델은 일반적으로 매개변수를 시작점으로 재사용하고 처음부터 학습된 작업별 층을 추가하여 파인 튜닝된다. 전체 모델을 파인 튜닝하는 것도 일반적이며 종종 더 나은 결과를 얻지만, 계산 비용이 더 많이 든다.
파인 튜닝은 일반적으로 지도 학습을 통해 이루어지지만, 약한 지도 학습을 사용하여 모델을 파인 튜닝하는 기술도 있다. 파인 튜닝은 인간 피드백을 통한 강화 학습 기반의 목표와 결합되어 챗GPT (GPT 모델의 파인 튜닝된 버전) 및 스패로우와 같은 언어 모델을 생성할 수 있다.