ربات ها با تماشا ویدیو منفعت گیری از ابزارها را یاد می‌گیرند + ویدیو_اسپایدر

پژوهشگران «دانشگاه ایلینوی اربانا-شمپین» با همکاری محققان دانشگاه‌های کلمبیا و تگزاس آستین موفق شده‌اند سیستمی را بسازند که به ربات اجازه می‌دهد تنها با تماشای ویدیو، منفعت گیری از ابزارها را یاد بگیرند.

درحالی‌که زیاد تر ربات‌های جاری هم چنان برای انجام ماموریت های تکراری و اشکار برنامه‌ریزی خواهد شد، این روش تازه موسوم به Tool-as-Interface راهی تازه برای آموزش توانایی‌های پیچیده به آنها اراعه می‌کند.

در این روش ربات‌ها از ویدیوهای معمولی ضبط‌شده با ۲ دوربین منفعت گیری می‌کنند و با پشتیبانی مدل بینایی MASt3R و تکنیک «3D Gaussian splatting» می‌توانند ویدیو را به‌صورت سه‌بعدی بازسازی کنند. سپس با حذف انسان از عکس و تمرکز بر ابزار، ربات یاد می‌گیرد دقیقاً مسیر و زاویه حرکت وسیله را جستوجو کند.

این تیم توانسته آزمایش‌های متنوعی از جمله کوبیدن میخ با چکش، برداشتن کوفته‌قلقلی، برگرداندن تخم‌مرغ در ماهیتابه، اعتدال دادن بطری شراب و حتی شوت‌کردن توپ فوتبال به سمت دروازه را با پیروزی انجام دهد. نتایج آنها نشان داده که روش Tool-as-Interface نسبت به راه حلهای سنتی، ۷۱ درصد نرخ پیروزی بالاتر و ۷۷ درصد شدت جمع‌آوری داده بیشتری دارد.

محققان می‌گویند این دستاورد می‌تواند اغاز کننده تحولی بزرگ در حوزه یادگیری ربات ها باشد، چرا که دیگر نیازی به سخت‌افزارهای خاص یا اپراتورهای حرفه‌ای نیست و حتی ویدیوهای معمولی که توسط گوشی گرفته شده یا کلیپ‌های یوتوب می‌توانند به‌گفتن منبع آموزش منفعت گیری شوند. این پروژه که جایزه بهترین مقاله را در کارگاه ICRA 2025 دریافت کرده، می‌تواند راه را برای گسترش ربات‌هایی هموار کند که همانند کودکان از طریق مشاهده یاد می‌گیرند.