Brief #08 · DevOps & SRE
Production Incident Debugging
Hard⏱ 12-16 ঘণ্টাশীঘ্রই
চলন্ত একটা system বাস্তবের মতো করে ভাঙো, প্রমাণ দেখে প্রতিটার কারণ খোঁজো, সারাও, আর একটা blameless postmortem লেখো।
Outline free · tracking সহ বানাতে Pro লাগবে
PBriefTeam এর পক্ষ থেকে
Interviewer রা জিজ্ঞেস করতে ভালোবাসেন 'একটা outage এর কথা বলো যেটা তুমি সামলেছো'। বেশিরভাগ junior কখনো সামলায়নি। তাই একটা ছোট system বানাও, তারপর outage সাজাও যেটা একজন সঙ্গী (বা একটা script) তোমাকে না বলে ঘটাবে: disk ভরা, memory leak, ভুল config deploy, database বন্ধ। প্রতিটা থেকে উদ্ধার করা আর লিখিত হিসাব রেখে যাওয়াই তোমার কাজ।
যা বানাবে
- 1Database সহ একটা ছোট app, আর 'glass boxes' project এর (বা এমন) observability stack।
- 2একটা chaos script, যেটা অন্তত চারটা failure এর একটা এলোমেলোভাবে ঘটায়।
- 3প্রতিটা incident এ: ধরো, ক্ষতি থামাও, মূল কারণ খোঁজো, তারপর ঠিকভাবে সারাও।
- 4প্রতিটা failure এর জন্য একটা runbook: লক্ষণ, কী দেখবে, command, rollback।
- 5একটা পূর্ণ postmortem: timeline, ক্ষতি, মূল কারণ, কী ভালো হলো, পরের কাজের তালিকা।
ধাপে ধাপে walkthrough
Walkthrough শীঘ্রই আসছে
এই project এর ধাপে ধাপে walkthrough, প্রতিটা ধাপে আসল output সহ, এখনো লেখা হচ্ছে। ততক্ষণ brief পড়ে নিজে চেষ্টা করতে পারো; walkthrough তৈরি হলে tracking চালু হবে।
শেষ হবে যখন
- সাজানো প্রতিটা failure থেকে উদ্ধার করেছো, আর ধরতে আর সারাতে কত সময় লাগলো লিখে রেখেছো।
- প্রতিটা মূল কারণের পেছনে একটা log line, metric বা command এর output এর প্রমাণ আছে।
- Postmortem এ দোষ system এর, মানুষের না।
- অন্তত একটা action item বাস্তবে করা হয়েছে (একটা alert, একটা limit, একটা check)।
আরো এগোতে চাইলে
- একজন বন্ধুকে incident commander বানিয়ে একটা drill চালাও।
- একটা প্রতিকার automate করো (যেমন disk ৯০% হলে log পরিষ্কার)।