Journal of Iranian Association of Electrical and Electronics Engineers
نشریه مهندسی برق و الکترونیک ایران
Journal of Iranian Association of Electrical and Electronics Engineers
Engineering & Technology
http://jiaeee.com
1
admin
2676-5810
2676-6086
8
10.61186/jiaeee
14
8888
13
fa
jalali
1401
4
1
gregorian
2022
7
1
19
3
online
1
fulltext
fa
تحلیل و مقایسه 21 قید محدودسازی در الگوریتم گرادیان نزولی اتفاقی به روش کرنل
To Analysis and Compare 21 Weight Constraints in Stochastic Gradient Descent Algorithm Using Kernel Method
کنترل
Control
پژوهشي
Research
<span dir="RTL">مقیدسازی الگوریتم گرادیان نزولی باهدف آموزش شبکه عصبی با وزن­هایی محدودشده در کاربردهایی نظیر شفافسازی شبکه، کاهش حجم شبکه ازنظر ذخیرهسازی و افزایش سطح عمومیت پذیری آن مؤثر است. همچنین میتواند در افزایش سرعت همگرایی، سرعت استنتاج و یافتن جوابی بهینه نیز مناسب باشد. در این نوشتار با استفاده از ترفند کرنل بهعنوان روشی برای تحمیل انواع</span> <span dir="RTL">قیود بر الگوریتم آموزش، تعداد 21 قید مختلف با یکدیگر مقایسه شده</span><span dir="RTL"> است</span><span dir="RTL"> که تعداد 16 قید آن با الهام از عدم قطعیت موجود در شبکههای عصبی زیستی برای اولین بار در این مقاله ارائهشده است. </span><span dir="RTL">مقایسه قیدها بدون هیچگونه افزایش داده و منظم سازی، صورت گرفته است تا اثر قیدها بر فرآیند بهینهسازی واضح باشد. بهمنظور ارزیابی، برای هر قید در حل مس</span><span dir="RTL">ا</span><span dir="RTL">ئل طبقهبندی </span>MNIST<span dir="RTL">، </span>CIFAR-10<span dir="RTL"> و </span>CIFAR-100<span dir="RTL"> با </span><span dir="RTL">شبکههای عصبی عمیق مختص آن، 63 آزمایش شبیه سازی شده است. نتایج نشان میدهد هر قید در هر مجموعه داده تأثیر متفاوتی بر فرآیند آموزش دارد و بهطور مشخص قیدهای پیشنهادی که از عدم قطعیت حاضر در شبکههای عصبی زیستی الهام گرفته شده است، می­تواند بهتر از قیدهای ارائهشده در تحقیقات پیشین باشد و باعث بهبود عملکرد شبکه عصبی عمیق ازنظر دقت طبقهبندی شود.</span>
Imposing a constraint on the gradient descend algorithm for the purpose of neural network training with limited weights has several applications such as network transparency, reducing network volume in terms of storage, increasing the level of generalizability. In addition, it speeds up convergence and finds a more accurate answer. In this paper, using the kernel trick as a method for imposing various constraints on the training algorithm, 21 different constraints have been compared those 16 constraints of which are novel and inspired by the existing uncertainty in biological neural networks. There have been no data augmentation or regularization techniques are used to clearly show the effect of each constraint functions. To solve the classification problem of MNIST, CIFAR-10 and CIFAR-100 datasets for each constraint function, 63 experiments have been done. The results show constraint functions have different impact on solving each dataset and specially our biologically inspired constraints may lead to train a more accurate neural network than the other constraints.<strong><s><span dir="RTL"></span></s></strong>
شبکه عصبی عمیق, شبکه عصبی زیستی, گرادیان نزولی محدودشده, منظم سازی, روش کرنل, قید
Deep Neural Network, Biological Neural Network, Constrained Gradient Descent, Regularization, Kernel Method, and Constraint.
145
152
http://jiaeee.com/browse.php?a_code=A-10-157-1&slc_lang=fa&sid=1
HosseinAli
Ghiassirad
حسین علی
غیاثی راد
h.ghiassirad@srbiau.ac.ir
10031947532846009630
10031947532846009630
No
Department of Computer Engineering, Science & Research Branch, Islamic Azad University
واحد علوم و تحقیقات، دانشگاه آزاد اسلامی، تهران، ایران
Mahdi
Aliyari Shoorehdeli
مهدی
علیاری شوره دلی
Aliyari@kntu.ac.ir
10031947532846009631
10031947532846009631
Yes
Faculty of Electrical Engineering, Department of Mechatronics Engineering, Industrial Control Center of Excellence, APAC Research Group, K. N. Toosi University of Technology
دانشکده مهندسی برق- دانشگاه صنعتی خواجه نصیرالدین طوسی
Faezeh
Farivar
فائزه
فریور
F.Farivar@srbiau.ac.ir
10031947532846009632
10031947532846009632
No
Department of Computer Engineering, Science & Research Branch, Islamic Azad University
واحد علوم و تحقیقات، دانشگاه آزاد اسلامی، تهران، ایران