Part 09 · Fine-tuning and Serving Models
Project: Serve and Benchmark a Quantized Model
QuantizationServingLoad testingLatency & cost
একই model পুরো precision এ আর quantized করে serve করো, দুইটাই load-test করো, latency, throughput, memory আর quality লিখে রাখো, তারপর সংখ্যা দেখে একটা বাছো।
⏱ 4-5 ঘণ্টা · Station 77 / 92