TY - JOUR T1 - Policy-based Auto-Driving in Highway based on Distributional Reinforcement Learning Methods TT - رانندگی خودکار در محیط بزرگراه مبتنی بر یادگیری سیاست با استفاده از روش‌های یادگیری تقویتی توزیعی JF - jiaeee JO - jiaeee VL - 19 IS - 2 UR - http://jiaeee.com/article-1-1285-fa.html Y1 - 2022 SP - 209 EP - 222 KW - distributional reinforcement learning KW - autonomous vehicle KW - driver assistance system N2 - این مقاله به ارائه یک روش یادگیری مبتنی بر یادگیری تقویتی جهت طراحی یک ناظر به منظور رانندگی خودکار در محیط بزرگراه می‌پردازد. با توجه به تصادفی بودن شرایط رانندگی در بزرگراه و همچنین درنظر گرفتن شرایط واقعی تر رانندگی، از مزایای یادگیری تقویتی توزیعی عمیق بهره گرفته شده است. در این مقاله برای اولین بار جهت یادگیری سیاست‌های رانندگی استفاده از روش‌های یادگیری تقویتی توزیعی تابع کمی تمام پارامتری شده (FQF) و شبکه کمی ضمنی (IQN) پیشنهاد شده است. برای آموزش عامل، استفاده از داده‌های دوربین، لیدار و ترکیب آن دو پیشنهاد شده است. به منظور استفاده از ترکیب دو نوع داده، ساختار شبکه چند ورودی را به خدمت گرفته ایم. جهت ارزیابی روش‌های پیشنهاد شده، از شبیه ساز رانندگی در بزرگراه استفاده کرده ایم که در نرم افزار unity توسعه یافته است. تحقق خودروی خودران در شبیه ساز مورد نظر به کمک سیستم‌های کمک راننده صورت پذیرفته است. ارزیابی عامل براساس یادگیری سیاست رانندگی که قادر به انتخاب عمل صحیح برای هدایت خودور باشد انجام شده است. به منظور ارزیابی بهتر روش‌ها دو معیار تغییرات سرعت و تغییرات لاین را برای یادگیری سیاست رانندگی بررسی کرده‌ایم. نتایج بدست آمده از مقاله با روش‌هایی نظیر شبکه Q عمیق (DQN)، شبکه Q عمیق رگرسیون کمی (QR-DQN) که پیش تر ارائه شده بود مقایسه گردید. نتایج بدست آمده نشان دهنده آن است که الگوریتم‌های پیشنهادی توانایی یادگیری سیاست‌های مناسب رانندگی در محیط بزرگراه را دارند. همچنین روش FQF عملکرد بهتری نیز نسبت به IQN و سایر روش‌هایی که در گذشته پیاده سازی شده‌اند از خود نشان می‌دهد. M3 10.52547/jiaeee.19.2.207 ER -