یادداشت‌هایی درباره یادگیری تقویتی چندعاملی
چرا یادگیری تقویتی چندعاملی دشوار است
در یادگیری تقویتی تک‌عاملی، محیط در حالی که عامل یاد می‌گیرد ایستاست. با داشتن چند عامل، محیط هر عامل شامل سایر عوامل نیز می‌شود که آن‌ها هم در حال یادگیری‌اند. این ناپایداری، دشواری اصلی است.
رویکردها
- یادگیری مستقل — هر عامل دیگران را بخشی از محیط در نظر می‌گیرد. ساده اما شکننده: وقتی دیگران تغییر می‌کنند، «محیط» شما زیر پایتان تغییر می‌کند.
- آموزش متمرکز، اجرای غیرمتمرکز — عامل‌ها در طول آموزش اطلاعات را به اشتراک می‌گذارند (مثلاً یک منتقد مرکزی) اما هنگام اجرا بر اساس مشاهده‌های محلی عمل می‌کنند. این نقطه مطلوب برای بسیاری از وظایف رباتیک است.
- ارتباطات — اجازه مبادله پیام بین عامل‌ها، یادگیری آنچه ارتباط برقرار شود در کنار آنچه انجام شود.
مرتبط با پژوهش من
کنترل آرایش ربات‌های متحرک به‌طور طبیعی یک مسئله چندعاملی است. هر ربات باید آرایش را حفظ کند و همزمان از برخورد و از دست رفتن پیام جلوگیری کند. ایده‌های یادگیری تقویتی چندعاملی — منتقدهای مرکزی و شکل‌دهی پاداش برای هماهنگی — مستقیماً به این تنظیم نگاشت می‌شوند.
منابعی که مدام به آن‌ها برمی‌گردم
مقالات کلاسیک یادگیری تقویتی چندعاملی درباره توابع ارزش همکارانه و آموزش متمرکز کوتاه‌اند و هر بار که یک مسئله هماهنگی غیرقابل حل به نظر می‌رسد، ارزش بازخوانی دارند.