Part 09 · Fine-tuning and Serving Models
Quantization and Distillation
INT8 & INT4GPTQ & AWQDistillationQuality loss
Model ছোট করা: কম bit এ weight রাখা, বড় একটা teacher থেকে ছোট একটা student train করা, আর কতটা quality ছেড়ে দিলে সেটা মাপা।
⏱ 1-2 ঘণ্টা · Station 73 / 92