Part 09 · Fine-tuning and Serving Models
Model Serving
vLLMContinuous batchingPagedAttentionStreaming
একটা GPU, একসাথে অনেক user: continuous batching, KV-cache memory এর জন্য PagedAttention, token stream করা, আর vLLM এর মতো serving engine তোমার জন্য কী করে।
⏱ 1-2 ঘণ্টা · Station 74 / 92