Masked Autoencoders Are Scalable Vision Learners

lastmod 2024-02-06created 2024-02-062 edits

About

• (논문공부) (자세한 리뷰) Masked Autoencoders are Scalable Vision Learners :: Blue collar Developer

Masked Autoencoders Are Scalable Vision Learners(링크)는 Facebook AI Research(아직은 Facebook으로 되어있는데 meta로 바뀌겠죠?)에서 나온 논문으로, 현재 CVPR 2022에 submit되어 review중인 듯합니다.

간단하게 요약하면, Masked autoencoder는

Masked patch를 복원하는 task로 학습한 것을 pretrained weight로 삼아서 Downstream task로 Finetuning했을 때 예측 성능이 더 좋다.

는 내용입니다.

Language model에서 Transformer 이후 BERT가 등장한 것과 마찬가지로 Vision Transformer(이하 ViT)의 BERT격이 이 MAE라고 생각합니다.

Documentation

[2111.06377] Masked Autoencoders Are Scalable Vision Learners

https://arxiv.org/abs/2111.06377

See also

• Autoencoder
• facebook