Journal of Iranian Association of Electrical and Electronics Engineers

fa هوشمندسازی الگوریتم گرادیان با الهام از روش بهینه سازی ازدحام ذرات An intelligent Gradient Method using Particle Swarm Optimization کنترل Control پژوهشي Research الگوریتم گرادیان سادهترین و پرکاربردترین روش در بهینهسازی و یادگیری ماشین میباشد. سرعت همگرایی این روش بهشدت به انتخاب مقدار مناسب برای طولگام بستگی دارد. انتخاب طولگام بسیارکوچک میتواند باعث سرعت همگرایی کند شود. ازطرفی انتخاب طولگام بسیاربزرگ نیز ممکن است باعث واگرایی و نوسان حول نقطه بهینه گردد. معمولاً طولگام را در مراحل اولیه بهینهسازی بزرگتر انتخاب کرده و با پیشرفتن گام‌های اجرا و نزدیکی به جواب بهینه، مقدار آن کاهش مییابد که تنظیم بهینه مقدار این پارامتر بهصورت تجربی و با سعیوخطا برای هر مسئلهای باید انجام شود و زمان زیادی را میطلبد. ازطرفی در روشهای بهینهسازی مبتنیبر هوش جمعی، از جمله در الگوریتم بهینهسازی ازدحام ذرات (PSO) ، طولگامِ حرکت بهصورت خودکار و در‌‌حین اجرای روش تنظیم میشود. همچنین در این روشها، پارامترهای اندکی نیاز به تنظیم دارند و محدوده ازپیشتعیین شدهای برای این منظور موجود است. در این مقاله با ترکیب دو روش PSO و گرادیان، یک روش بهینهسازی هوشمند مبتنی بر گرادیان ارائه شده است که نیازی به تنظیم طولگام ندارد. عملکرد الگوریتم گرادیان پیشنهادی برروی ده تابع محک مورد بررسی قرارگرفته و مشاهده می‌شود که الگوریتم پیشنهادی سرعت همگرایی بهتری نسبت به الگوریتم گرادیان کلاسیک در رسیدن به جواب بهینه دارد. The Gradient algorithm is the simplest and most widely used method in optimization problems and machine learning. The convergence rate of this method strongly depends on choosing the suitable value for the step size. Choosing a very small value can cause a low convergence rate, on the other hand, choosing a very large value may also cause divergence and oscillation around the optimal point. Usually, the step size is chosen larger in the initial steps of optimization and as the execution steps progress and the optimal solution is approached, its value decreases. The optimal setting of this hyper-parameter is experimentally and by trial and error and has to be done separately for every problem, so it takes a lot of time. On the other hand, in swarm intelligence optimization methods, including the particle swarm optimization (PSO) algorithm, the step size (the length of movement) is automatically adjusted during the execution of the optimization method. Also, in these methods, few parameters need to be tuned and a predetermined range is available for this purpose. In this paper, by combining the PSO and Gradient method, an intelligent optimization method based on the gradient is presented, which does not need to adjust the step size. The performance of the proposed gradient algorithm is evaluated on ten benchmark functions and it is observed that the proposed algorithm has a better convergence rate than the Classic Gradient algorithm in reaching the optimal solution.   الگوریتم گرادیان نزولی , الگوریتم بهینه سازی ازدحام ذرات (PSO) , طول‌گام , جهت حرکت بهینه , هوشمندسازی An intelligent Gradient Method using Particle Swarm Optimization 111 126 http://jiaeee.com/browse.php?a_code=A-10-2683-1&slc_lang=fa&sid=1 Zahra Ghavami زهرا قوامی zahra.ghavami@eng.uk.ac.ir 100319475328460012647 100319475328460012647 No Shahid Bahonar University of Kerman دانشکده فنی و مهندسی- دانشگاه شهید باهنر کرمان Mohammad Mollaie Emamzadeh محمد ملایی امام زاده molaie@uk.ac.ir 100319475328460012648 100319475328460012648 Yes Shahid Bahonar University of Kerman دانشکده فنی و مهندسی- دانشگاه شهید باهنر کرمان Maliheh Maghfoori Farsangi ملیحه مغفوری فرسنگی mmaghfoori@uk.ac.ir 100319475328460012649 100319475328460012649 No Shahid Bahonar University of Kerman دانشکده فنی و مهندسی- دانشگاه شهید باهنر کرمان