ماڈیول 09 · روبوٹس کے لیے فاؤنڈیشن ماڈلز

کچھ سال پہلے تک، روبوٹ وہی کرتا تھا جو اس کے پروگرامر نے لکھا ہو، ان حالات میں جن کا پروگرامر نے تصور کیا ہو۔ متن، تصاویر اور مظاہروں پر تربیت یافتہ بڑے ماڈلز (Large models) نے اسے بدل دیا ہے۔ اب ایک روبوٹ سے سادہ زبان میں کہا جا سکتا ہے کہ "سرخ مگ سنک میں رکھو"، وہ یہ سمجھ سکتا ہے کہ وہ کون سا آبجیکٹ ہے، اور اسے پورا کرنے کے لیے اسلز (skills) کی ایک ترتیب کا انتخاب کر سکتا ہے۔ یہی خیالات ناکامی کے نئے طریقے بھی لاتے ہیں: ماڈلز پراعتماد طریقے سے غلط، سست، یا گمراہ کرنے میں آسان ہو سکتے ہیں، اور روبوٹ طبعی دنیا میں عمل کرتا ہے۔

یہ ماڈیول ان ماڈلز کو اچھے طریقے سے استعمال کرنے کے بارے میں ہے۔ آپ دیکھیں گے کہ ایک لینگویج ماڈل کس طرح پلان کرتا ہے، وژن لینگویج ماڈلز پلان میں مذکور آبجیکٹس کو کیسے تلاش کرتے ہیں، وژن لینگویج ایکشن (VLA) ماڈلز کیسے براہ راست پکسلز اور الفاظ سے موٹر کمانڈز تک جاتے ہیں، تقریر (speech) کو ROS 2 سسٹم میں کیسے جوڑا جائے، اور نتیجے کا اندازہ کیسے لگایا جائے اور اس کی حفاظت کیسے کی جائے۔ یہ شعبہ تیزی سے آگے بڑھتا ہے، اس لیے ہم وہ اصول سکھاتے ہیں جو دیرپا ہیں اور آپ کو بتاتے ہیں کہ موجودہ ریلیز کو کہاں چیک کرنا ہے۔

اس ماڈیول کے اختتام تک آپ یہ کر سکیں گے…

• کسی زبان کی ہدایت کو ایک تصدیق شدہ پلان میں تبدیل کرنا جو حقیقی روبوٹ اسلز کو کال کرتا ہے۔
• کیمرے کی تصویر میں الفاظ کی بنیاد (Ground) بنانا اور عمل کرنے کے لیے تھری ڈی (3D) پوائنٹ حاصل کرنا۔
• یہ بیان کرنا کہ جدید VLA ماڈلز کس طرح ایکشنز کی نمائندگی کرتے ہیں اور انہیں جنریٹ کرتے ہیں، اور اپنے ڈیٹا پر ایک کو فائن ٹیون (Fine-tune) کیسے کیا جائے۔
• اسپیچ ریکگنیشن، پلاننگ، ROS 2 ایکشنز اور بولے جانے والے فیڈ بیک کے ساتھ وائس ٹو ایکشن پائپ لائن بنانا۔
• ایماندارانہ ایرر بارز کے ساتھ کامیابی کی شرح کی پیمائش کرنا اور گارڈ ریلز، اوور سائیٹ اور ریکوری شامل کرنا۔

اسباق

سبق	آپ کیا بناتے ہیں	وقت
LLMs as robot planners	ایک مذاق (mocked) اسل لائبریری پر ایک پلان ویلیڈیٹر اور ایگزیکیوٹر	40 منٹ
Vision-language grounding	ایک CLIP طرز کا میچر اور پکسل سے تھری ڈی گراؤنڈنگ فنکشن	40 منٹ
Vision-language-action models	ایک ایکشن ٹوکنائزر، چنک ایگزیکیوٹر اور فلو میچنگ سیمپلر	40 منٹ
Voice-to-action pipeline	ایک انٹینٹ پارسر اور ایک ROS 2 نوڈ جو Nav2 گول بھیجتا ہے	45 منٹ
Evaluation and safety	کامیابی کی شرح کا کیلکولیٹر اور کمانڈ گارڈ ریل	40 منٹ

ماڈیول پروجیکٹ: اپنے روبوٹ سے بات کریں

ایک ایسی پائپ لائن بنائیں جو ٹائپ کی گئی یا بولی گئی کمانڈ لے، اسے JSON پلان میں تبدیل کرے، اس پلان کو اسل الاؤ لسٹ اور ورک اسپیس کی حدود کے خلاف چیک کرے، اور اسے نافذ کرے، پہلے ایک موکڈ روبوٹ پر اور پھر ROS 2 اور Gazebo کے ساتھ ایک سمیلیٹڈ روبوٹ پر۔ دس ٹیسٹ کمانڈز لکھیں (کچھ جان بوجھ کر مبہم یا غیر محفوظ)، ہر ایک کو بیس بار چلائیں، اور اعتماد کے وقفے (confidence interval) اور ناکامی کی اقسام کی فہرست کے ساتھ کامیابی کی شرح کی رپورٹ دیں۔ نتیجہ ایک چھوٹی لیکن حقیقی تشخیصی رپورٹ ہے، ایسی جو روبوٹکس ٹیم کسی سسٹمز پر بھروسہ کرنے سے پہلے مانگتی ہے۔

شروع کرنے سے پہلے

آپ کو ROS 2 ایکشنز (Actions, parameters and launch files) کا علم ہونا چاہیے اور سیکھی گئی پالیسی (Imitation learning) دیکھی ہونی چاہیے۔ کسی پیڈ API کلید کی ضرورت نہیں ہے؛ لیبز موکس کا استعمال کرتی ہیں تاکہ وہ آف لائن چل سکیں۔

کسی بھی مقام پر پھنس گئے؟ کورس کے اسسٹنٹ Rivet سے پوچھیں، جو نیچے دائیں طرف ہے۔