ML & DL/Basic

Transfer learning

룰루랄라룰루랄라 2024. 5. 23. 19:45

transfer learning

: 전이 학습, 보통 CNN 은 두고 fully connected 단을 변경 하여 학습

 

1. freeze

fully 변경 후 CNN 단은 freeze 하고 fully 단만 학습 하는 방법

학습이 빠르고, 아주 적은 데이터셋으로도 가능

 

2. whole train

fully 변경 후 CNN 단은 낮은 학습률, fully 는 높은 학습률을 설정하고 전체를 학습하는 방법

학습이 상대적으로 오래 걸리고 더 많은 데이터셋이 필요하지만 더 높은 성능을 냄

'ML & DL > Basic' 카테고리의 다른 글

Knowledge Distillation  (0) 2024.05.23