Brief #18 · AI & LLM
Bangla Voice Assistant
Medium⏱ 14-20 ঘণ্টাশীঘ্রই
এমন একটা voice assistant, যার সাথে বাংলায় কথা বলা যায়: কথা থেকে লেখা, LLM এর উত্তর, আবার কথায় ফেরত, সব একটা কড়া latency budget এর মধ্যে, যাতে কথোপকথনের মতো লাগে।
Outline free · tracking সহ বানাতে Pro লাগবে
BBriefTeam এর পক্ষ থেকে
আমাদের অনেক customer লেখার চেয়ে কথা বলতে পছন্দ করে, বেশিরভাগ বাংলায়, মাঝে মাঝে English মিশিয়ে। আমাদের প্রথম prototype উত্তর দিতে ছয় সেকেন্ড নিত, আর মানুষ ফোন রেখে দিত। এমন একটা voice assistant বানাও, যেটা ১.৫ সেকেন্ডের কম সময়ে উত্তর দিতে শুরু করে আর বাংলা-English মেশানো কথা বোঝে।
যা বানাবে
- 1একটা browser page, যেটা WebSocket দিয়ে microphone এর audio তোমার server এ stream করে।
- 2Voice activity detection সহ speech-to-text, যাতে বোঝা যায় মানুষটা কখন কথা থামালো।
- 3LLM এর উত্তর stream করো, আর পুরো উত্তরের অপেক্ষা না করে প্রথম বাক্যেই text-to-speech শুরু করো।
- 4User কে মাঝখানে থামাতে দাও: তারা কথা শুরু করলে audio থামাও আর শোনো।
- 5প্রতিটা পালার সময়ের হিসাব log করো: শোনা শেষ, transcript, প্রথম token, প্রথম audio।
ধাপে ধাপে walkthrough
Walkthrough শীঘ্রই আসছে
এই project এর ধাপে ধাপে walkthrough, প্রতিটা ধাপে আসল output সহ, এখনো লেখা হচ্ছে। ততক্ষণ brief পড়ে নিজে চেষ্টা করতে পারো; walkthrough তৈরি হলে tracking চালু হবে।
শেষ হবে যখন
- ৫০টা পালায় মেপে, কথা শেষ থেকে প্রথম audio পর্যন্ত median সময় ১.৫ সেকেন্ডের কম।
- নিজে হাতে transcribe করা ৫০টা রেকর্ড করা বাংলা আর মেশানো ভাষার বাক্যে word error rate মাপা।
- Assistant কে থামালে ৩০০ ms এর মধ্যে তার কথা বন্ধ হয়।
- একটা latency chart, যেটা দেখায় pipeline এর কোন ধাপে সবচেয়ে বেশি সময় যায়।
আরো এগোতে চাইলে
- Speech-to-text নিজের machine এ চালাও, আর hosted API এর সাথে accuracy আর latency তুলনা করো।
- একটা tool দাও, যেমন কথা বলে order এর অবস্থা জানা।