fa رانندگی خودکار در محیط بزرگراه مبتنی بر یادگیری سیاست با استفاده از روش‌های یادگیری تقویتی توزیعی الکترونیک Electronic پژوهشي Research <span dir="RTL">این مقاله به ارائه یک روش یادگیری مبتنی بر یادگیری تقویتی جهت طراحی یک ناظر به منظور رانندگی خودکار در محیط بزرگراه می‌پردازد. با توجه به تصادفی بودن شرایط رانندگی در بزرگراه و همچنین درنظر گرفتن شرایط واقعی تر رانندگی، از مزایای یادگیری تقویتی توزیعی عمیق بهره گرفته شده است. در این مقاله برای اولین بار جهت یادگیری سیاست‌های رانندگی استفاده از روش‌های یادگیری تقویتی توزیعی تابع کمی تمام پارامتری شده </span><strong>(FQF)</strong><span dir="RTL"> و شبکه کمی ضمنی </span><strong>&nbsp;(IQN)</strong><span dir="RTL"> پیشنهاد شده است. برای آموزش عامل، استفاده از داده‌های دوربین، لیدار و ترکیب آن دو پیشنهاد شده است. به منظور استفاده از ترکیب دو نوع داده، ساختار شبکه چند ورودی را به خدمت گرفته ایم. جهت ارزیابی روش‌های پیشنهاد شده، از شبیه ساز رانندگی در بزرگراه استفاده کرده ایم که در نرم افزار </span><strong>unity</strong><span dir="RTL"> توسعه یافته است. تحقق خودروی خودران در شبیه ساز مورد نظر به کمک سیستم‌های کمک راننده صورت پذیرفته است. ارزیابی عامل براساس یادگیری سیاست رانندگی که قادر به انتخاب عمل صحیح برای هدایت خودور باشد انجام شده است. به منظور ارزیابی بهتر روش‌ها دو معیار تغییرات سرعت و تغییرات لاین را برای یادگیری سیاست رانندگی بررسی کرده‌ایم. نتایج بدست آمده از مقاله با روش‌هایی نظیر شبکه </span><strong>Q</strong><span dir="RTL"> عمیق (</span><strong>DQN</strong><span dir="RTL">)،</span><span dir="RTL"> شبکه </span><strong>Q</strong><span dir="RTL"> عمیق رگرسیون کمی (</span><strong>QR-DQN</strong><span dir="RTL">) که پیش تر ارائه شده بود مقایسه گردید. نتایج بدست آمده نشان دهنده آن است که الگوریتم‌های پیشنهادی توانایی یادگیری سیاست‌های مناسب رانندگی در محیط بزرگراه را دارند. همچنین روش </span><strong>FQF</strong><span dir="RTL"> عملکرد بهتری نیز نسبت به </span><strong>IQN</strong><span dir="RTL"> و سایر روش‌هایی که در گذشته پیاده سازی شده‌اند از خود نشان می‌دهد.</span> This paper presents reinforcement learning-based learning methods for designing a supervisor for automatic driving in the highway environment. Due to the random driving conditions on the highway as well as the more realistic driving conditions, the benefits of deep distributed reinforcement learning have been exploited. In this paper, for the first time, the use of Fully Parameterized Quantile Function (FQF) and Implicit Quantile Network (IQN) distributed learning methods is proposed to learn driving policies. To train the agent using the camera data, the LIDAR sensor and its combination are suggested. In order to use the combination of the two types of data, we have employed a multi-input network structure. To evaluate the proposed methods, we have used the highway driving simulator developed in unity software. The realization of the car in the simulator is done with the help of driver assistance systems. Agent evaluation is based on a learning driving policy that can choose the right action to steer the car. In order to better evaluate the methods, we have examined the two criteria of speed changes and lane changes for learning driving policy. The results obtained from the article were compared with methods such as DQN, ‌QR-DQN that were previously presented. The results show that the proposed algorithms can learn appropriate driving policies in the highway environment. The FQF method also performs better than IQN and other strategies implemented in the past.<strong><span dir="RTL"></span></strong> یادگیری تقویتی توزیعی, خودرو خودران, سیستم‌‌های کمک راننده‬‬‬‬‬‬ distributional reinforcement learning, autonomous vehicle, driver assistance system 209 222 http://jiaeee.com/browse.php?a_code=A-10-2292-1&slc_lang=fa&sid=1 Mahdi Molaei مهدی ملائی amirkhani@ieee.org 100319475328460010456 100319475328460010456 No Dept. of Electrical Engineering, School of Automotive Engineering, Iran University of Science and Technology دانشکده مهندسی خودرو- دانشگاه علم و صنعت ایران Abdollah Amirkhani عبدالله امیرخانی amirkhani@iust.ac.ir 100319475328460010457 100319475328460010457 Yes Dept. of Electrical Engineering, School of Automotive Engineering, Iran University of Science and Technology دانشکده مهندسی خودرو- دانشگاه علم و صنعت ایران