Brief #16 · AI & LLM
LLM Gateway (Multi-Model Router)
এমন একটা service, যেটা প্রতিটা team সরাসরি LLM provider এর বদলে call করে: streaming, caching, provider বন্ধ থাকলে fallback, budget আর খরচের dashboard।
Outline free · tracking সহ বানাতে Pro লাগবে
ছয়টা team সরাসরি তিনটা LLM provider কে call করে, প্রত্যেকের নিজের key, নিজের retry, আর কত খরচ হচ্ছে কেউ জানে না। গত মাসে একটা provider দুই ঘণ্টা বন্ধ ছিল আর চারটা feature ভেঙে গিয়েছিল। এমন একটা gateway বানাও, যাতে সব team একটা API ব্যবহার করে, outage হলে নিজে থেকে অন্য provider এ যায়, বারবার আসা প্রশ্নের উত্তর cache থেকে আসে, আর finance দেখতে পায় কে কত খরচ করলো।
যা বানাবে
- 1একটা OpenAI-compatible endpoint, যেটা দুটো provider এ পাঠায়, token ধরে ধরে streaming response সহ।
- 2Team প্রতি API key, token budget আর rate limit সহ, আর budget শেষ হলে পরিষ্কার একটা error।
- 3নিজে থেকে fallback: timeout বা 5xx এ একবার retry, তারপর provider বদল, সাথে circuit breaker যাতে মৃত provider কে বারবার আঘাত না করা হয়।
- 4বারবার আসা prompt এর জন্য cache: আগে হুবহু মিল, তারপর embedding দিয়ে semantic cache, তোমার ঠিক করা similarity threshold সহ।
- 5প্রতিটা request এর token, latency আর খরচ log করো, আর dashboard এ team প্রতি দৈনিক খরচ দেখাও।
ধাপে ধাপে walkthrough
Walkthrough শীঘ্রই আসছে
এই project এর ধাপে ধাপে walkthrough, প্রতিটা ধাপে আসল output সহ, এখনো লেখা হচ্ছে। ততক্ষণ brief পড়ে নিজে চেষ্টা করতে পারো; walkthrough তৈরি হলে tracking চালু হবে।
শেষ হবে যখন
- Test এর মাঝে একটা provider বন্ধ করলেও request সফল হতে থাকে, আর failover এর সময় বাড়তি latency মেপেছো।
- সরাসরি provider কে call করার তুলনায় streaming এ প্রথম token আসতে ৫০ ms এর কম বাড়তি সময় লাগে।
- একদিনের আসল traffic আবার চালিয়ে cache hit rate আর বাঁচানো টাকা, সাথে এমন উদাহরণ যেখানে semantic cache ভুল উত্তর দিত।
- কোনো provider key কখনো gateway এর বাইরে যায় না বা log এ দেখা যায় না।
আরো এগোতে চাইলে
- সহজ prompt সস্তা model এ আর কঠিনগুলো শক্তিশালী model এ পাঠাও, আর মান আর সাশ্রয় মাপো।
- Shared rate limit সহ gateway কে তিনটা replica হিসেবে চালাও।