Brief #13 · AI & LLM
LLM Evaluation Pipeline
Medium⏱ 10-14 ঘণ্টাশীঘ্রই
এমন একটা test harness, যেটা প্রতিটা pull request এ একটা AI feature এর নম্বর দেয়, যাতে prompt এর ছোট বদলে চুপচাপ খারাপ না হয়ে যায়।
Outline free · tracking সহ বানাতে Pro লাগবে
LBriefTeam এর পক্ষ থেকে
আমাদের support bot ticket এর ধরন ঠিক করে আর উত্তরের খসড়া লেখে। গত সপ্তাহে কেউ prompt টা 'উন্নত' করেছে, আর refund এর request গুলো spam হিসেবে চিহ্নিত হতে শুরু করেছে। চার দিন কেউ খেয়ালই করেনি। এমন একটা evaluation harness বানাও, যেটা CI তে চলে আর bot কে খারাপ করে এমন পরিবর্তন আটকায়।
যা বানাবে
- 1৫০ থেকে ১০০টা label করা উদাহরণের একটা golden dataset, কঠিন edge case সহ।
- 2Structured output এর নিখুঁত check: valid JSON, schema মেলে, label ঠিক।
- 3মুক্ত লেখার উত্তরের জন্য LLM-as-judge rubric, judge এর prompt সহ version করা।
- 4প্রতিটা run এর ফলাফল জমাও (SQLite বা Postgres): prompt version, model, score, latency আর খরচ।
- 5একটা CI job, যেটা accuracy ২ পয়েন্টের বেশি কমলে PR fail করায়।
ধাপে ধাপে walkthrough
Walkthrough শীঘ্রই আসছে
এই project এর ধাপে ধাপে walkthrough, প্রতিটা ধাপে আসল output সহ, এখনো লেখা হচ্ছে। ততক্ষণ brief পড়ে নিজে চেষ্টা করতে পারো; walkthrough তৈরি হলে tracking চালু হবে।
শেষ হবে যখন
- গত সপ্তাহের খারাপ prompt আবার আনলে পরিষ্কার report সহ CI fail করে।
- Run গুলো পুনরাবৃত্তিযোগ্য: একই input, একই নম্বর (cache বা নির্দিষ্ট seed দিয়ে)।
- Report দেখায় কোন কোন উদাহরণ খারাপ হলো, শুধু গড় না।
- প্রতি run এর খরচ দেখায়, আর তোমার ঠিক করা বাজেটের মধ্যে থাকে।
আরো এগোতে চাইলে
- একই set এ দুইটা model পাশাপাশি তুলনা করো।
- Judge কে নিজের label এর সাথে মিলিয়ে দেখো, আর কতটা মেলে জানাও।