공부 공부 공부합시다

paperswithcode : https://paperswithcode.com/paper/sub-center-arcface-boosting-face-recognition Papers with Code - Sub-center ArcFace: Boosting Face Recognition by Large-scale Noisy Web FacesImplemented in 2 code libraries.paperswithcode.com 오늘은 이전 ArcFace 에서 잠깐 나왔던 내용인 sub-center ArcFace 에 대한 논문을 읽어 보았다ArcFace 에 대하여 잘 모른다면https://lululalams.tistory.com/10 ArcFace: Additive Angular Margin Loss fo..

paperswithcode : https://paperswithcode.com/paper/vitpose-simple-vision-transformer-baselines Papers with Code - ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation🏆 SOTA for Pose Estimation on COCO test-dev (AP metric)paperswithcode.com 오늘은 ViTPose 라는 pose estimation 논문에 대해 읽어 보았다이전에 코드를 사용한 적은 있는데, 논문을 제대로 읽어보지 못했기 때문에 이번 기회에 다시 한번 읽어 보았다  Abstract vision transformer 가 pose..

Knowledge Distillation: 지식 증류, 미리 학습된 큰 Teacher 모델을 이용하여 Student 모델을 학습함: 작은 student 모델을 사용하여 모델 압축(경량화)에 사용되기도 함: unlabeled data 에 pseudo-labeling 을 적용하기도 함 1. Unlabeled data 만 있을때label 없이 input 을 넣은 후 나온 output 을 이용하여 KL divergence loss 를 구함 ( 두 확률 분포의 차이를 계산 )이때 loss 를 이용한 역전파는 student 모델에서만 일어남 2. labeled data 가 있을때1) labeled data 를 input 으로 넣고, teacher 와 student 의 softmax(T=t) 를 거친 soft lab..

transfer learning: 전이 학습, 보통 CNN 은 두고 fully connected 단을 변경 하여 학습 1. freezefully 변경 후 CNN 단은 freeze 하고 fully 단만 학습 하는 방법학습이 빠르고, 아주 적은 데이터셋으로도 가능 2. whole trainfully 변경 후 CNN 단은 낮은 학습률, fully 는 높은 학습률을 설정하고 전체를 학습하는 방법학습이 상대적으로 오래 걸리고 더 많은 데이터셋이 필요하지만 더 높은 성능을 냄