Brief #15 · AI & LLM
Fine-Tune a Tiny LLM
Hard⏱ 20-28 ঘণ্টাশীঘ্রই
LoRA দিয়ে নিজের support ticket এর উপর একটা ছোট open model fine-tune করো, আর একটা eval set দিয়ে প্রমাণ করো সেটা ভালো prompting এর চেয়ে আসলেই ভালো কিনা।
Outline free · tracking সহ বানাতে Pro লাগবে
FBriefTeam এর পক্ষ থেকে
মাসে ৪০,০০০ support ticket সাজাতে আর উত্তরের খসড়া লিখতে আমরা একটা বড় model কে টাকা দিই, আর বিল বাড়তেই থাকে। কেউ বলেছে একটা ছোট model fine-tune করে নিজেরাই চালাই। সিদ্ধান্ত নেওয়ার আগে সৎভাবে বের করো: ভালো prompt সহ বড় model এর সমান কি tuned ছোট model, কত সস্তা, আর কোথায় fail করে?
যা বানাবে
- 1২,০০০ ticket এর একটা labelled dataset বানাও (category আর একটা ভালো উত্তর), আর train, validation আর একটা আলাদা test set এ ভাগ করো, যেটা শেষ পর্যন্ত কেউ ছোঁবে না।
- 2আগে test set এ দুটো baseline মাপো: যত্ন করে লেখা prompt সহ বড় model, আর একই prompt সহ ছোট model।
- 3LoRA দিয়ে ছোট model fine-tune করো, training আর validation loss দেখতে দেখতে, আর overfit হওয়ার আগেই থামো।
- 4তিনটাকেই category র accuracy আর উত্তরের জন্য rubric ভিত্তিক judge দিয়ে মাপো, আর ৩০টা ভুল নিজের চোখে দেখো।
- 5Tuned model টা একটা API এর পেছনে চালাও, আর বড় model এর সাথে ১,০০০ ticket প্রতি latency আর খরচ মাপো।
ধাপে ধাপে walkthrough
Walkthrough শীঘ্রই আসছে
এই project এর ধাপে ধাপে walkthrough, প্রতিটা ধাপে আসল output সহ, এখনো লেখা হচ্ছে। ততক্ষণ brief পড়ে নিজে চেষ্টা করতে পারো; walkthrough তৈরি হলে tracking চালু হবে।
শেষ হবে যখন
- একটা ফলাফলের table: একই আলাদা test set এ তিনটার accuracy, উত্তরের score, latency আর খরচ।
- Training আর validation loss এর curve, আর কোথায় থামলে আর কেন।
- একটা লিখিত সুপারিশ: বদলাও, বদলিও না, নাকি শুধু কিছু ধরনের ticket এর জন্য বদলাও।
- কোনো test set এর ticket কখনো training বা prompt ঠিক করতে ব্যবহার হয়নি।
আরো এগোতে চাইলে
- Tuned model টাকে 4-bit এ quantize করো আর মান কতটা কমে মাপো।
- বাংলা আর English ticket মিশিয়ে দেখো দুটোতেই মান টেকে কিনা।