Part 09 · Fine-tuning and Serving Models
Making LLMs Faster and Cheaper
TTFT & TPSPrompt cachingSpeculative decodingModel routing
সময় আর টাকা কোথায় যায়: প্রথম token এর সময় বনাম প্রতি সেকেন্ডে token, prompt caching, speculative decoding, আর সহজ প্রশ্ন সস্তা model এ পাঠানো।
⏱ 1-2 ঘণ্টা · Station 75 / 92