Seminars
학교에서는 종종 AI 세미나가 열리고, 그 중에는 AI 대학원 에서 진행하는 세미나 수업으로 인해 열리는 경우가 대부분이다.
그냥 흘려 보내기에는 아까우니까 정리를 하면 좋겠다는 생각이 들었다.
Seminar Info
- Speaker : POSTECH 오태현 교수님
- Topic : Data efficient ML/DL/AI
Memos
Intro
- Big model size –> reason of success became the bottleneck.
- 175B parameters –> 1TB model size –> 12M$ per training!
- But still not enough. because …
- 175B GPT3 $«$ 125T brain synapses.
- HW advance saturated
- Always lacking labeled dataset
- Over parametrized, under determined.
- 1.5 hr for a single img annotation, but very poor quality even costly amount of money.
- sometimes very complex annotation logic needed,
- sometimes there is no way to annotate what
- Toolkits
- synthetic dataset
- prior knowledge
- semi-supervised methods
- heterogeneous dataset
- applying classical methods
- etc
Case 1
Problem situation
- no proper dataset for magnified video images
- Fourier transform cannot model new signals appearing, like occlusion.
Solution : make synthetic data by immitating movements.
- crop background/objects from COCO/PASCAL VOC
- apply simple translation, immitating movements
- why? no context needed.
Case 2
- Entire model param space is inf
- add inductive bias (prior information) to narrow range!
- blackbox –> constraint –> blackbox format
- constraints? physics law, etc …
Case 3
Neural inverse knitting : 자수를 보고 만드는 법을 역으로 생성.
- 2000 knitting patterns takes 2 monthes. too long.
- real data를 synthetic data 처럼 만들어서 regularize!
- 보통은 syn2real을 시도하는데, 반대로 함.
- real data : distribution very random / syn data : distribution pure
- real2syn –> neutralize variance
Case 4
Fedpara 논문.
$rank(W)$ 가 parameter capacity와 연결된다고 생각함.
rank 가 $R_1$, $R_2$ 인 두 matrices 로 나눠서 Hadamard product.
이렇게 하면 $rank(W) = R_1 R_2 $ 가 되므로 quadratic 하게 늘어남!
Conclusion
- synthetic data, syn2real 은 충분히 적용 할만하다.
- 멋있다