Brief #14 · AI & LLM
Build Your Own Agent Harness
Hard⏱ 20-30 ঘণ্টাশীঘ্রই
Model এর চারপাশের সবকিছু, যা একটা LLM কে কাজের coding agent বানায়: tool loop, permission, context management, sandbox, আর eval।
Outline free · tracking সহ বানাতে Pro লাগবে
BBriefTeam এর পক্ষ থেকে
আমাদের team এর সবাই একটা AI coding agent ব্যবহার করে, কিন্তু request লেখা থেকে disk এ file বদলানো পর্যন্ত মাঝখানে কী হয়, কেউ বলতে পারে না। ভুল কিছু মুছে দিলে বা অনন্তকাল loop এ ঘুরলে আমরা অসহায়। নিজের একটা ছোট agent harness বানাও: একটা terminal agent, যেটা একটা repository তে code পড়তে, খুঁজতে, বদলাতে আর চালাতে পারে, যাতে team প্রতিটা অংশ বোঝে।
যা বানাবে
- 1মূল loop: conversation আর tool schema LLM API তে পাঠাও, সে যে tool call চায় সেগুলো চালাও, ফলাফল যোগ করো, আর উত্তর না দেওয়া পর্যন্ত আবার, একটা step limit সহ।
- 2JSON schema সহ পাঁচটা tool: read_file, list_files, search (ripgrep), edit_file (হুবহু string বদলানো) আর run_command।
- 3একটা permission স্তর: পড়া অনুমোদিত, বদলানো আর command চালানোর আগে user কে জিজ্ঞেস করে, আর একটা deny list বিপজ্জনক command সরাসরি আটকায়।
- 4Command চালাও একটা sandbox এ (repo mount করা একটা Docker container, network ছাড়া, সময় আর memory এর সীমা সহ), আর তার output stream করো।
- 5Context management: token গোনো, বিশাল tool output ছেঁটে ফেলো, আর window ভরে এলে পুরোনো turn গুলোর সারাংশ বানাও।
ধাপে ধাপে walkthrough
Walkthrough শীঘ্রই আসছে
এই project এর ধাপে ধাপে walkthrough, প্রতিটা ধাপে আসল output সহ, এখনো লেখা হচ্ছে। ততক্ষণ brief পড়ে নিজে চেষ্টা করতে পারো; walkthrough তৈরি হলে tracking চালু হবে।
শেষ হবে যখন
- Fail করা test সহ একটা ছোট repo দিলে agent নিজেই bug খুঁজে সারায়, আর test pass করায়।
- Approval ছাড়া কোনো edit বা command চলে না, আর model চাইলেও
rm -rf /কখনো shell পর্যন্ত পৌঁছায় না। - কোনো অগ্রগতি না হওয়া loop token পোড়ানোর বদলে step limit এ গিয়ে পরিষ্কার বার্তা দিয়ে থামে।
- প্রতিটা run এর প্রতিটা ধাপ (tool, input, output এর আকার, token, খরচ) একটা file এ log হয়, যেটা আবার চালিয়ে দেখা যায়।
আরো এগোতে চাইলে
- ১০টা ছোট কাজের একটা eval set, যার সফলতার হার prompt আর model বদলের সাথে track করো।
- তোমার tool গুলো MCP দিয়ে খুলে দাও, যাতে অন্য agent ও ব্যবহার করতে পারে।