دکتر حسین علی غیاثی راد، دکتر مهدی علیاری شوره دلی، دکتر فائزه فریور،
دوره ۱۹، شماره ۳ - ( ۴-۱۴۰۱ )
چکیده
مقیدسازی الگوریتم گرادیان نزولی باهدف آموزش شبکه عصبی با وزنهایی محدودشده در کاربردهایی نظیر شفاف‌سازی شبکه، کاهش حجم شبکه ازنظر ذخیره‌سازی و افزایش سطح عمومیت پذیری آن مؤثر است. همچنین میتواند در افزایش سرعت همگرایی، سرعت استنتاج و یافتن جوابی بهینه نیز مناسب باشد. در این نوشتار با استفاده از ترفند کرنل به‌عنوان روشی برای تحمیل انواع قیود بر الگوریتم آموزش، تعداد ۲۱ قید مختلف با یکدیگر مقایسه شده است که تعداد ۱۶ قید آن با الهام از عدم قطعیت موجود در شبکه‌های عصبی زیستی برای اولین بار در این مقاله ارائه‌شده است. مقایسه قید‌ها بدون هیچ‌گونه افزایش داده و منظم سازی، صورت گرفته است تا اثر قید‌ها بر فرآیند بهینه‌سازی واضح باشد. به‌منظور ارزیابی، برای هر قید در حل مسائل طبقه‌بندی MNIST، CIFAR-۱۰ و CIFAR-۱۰۰ با شبکه‌های عصبی عمیق مختص آن، ۶۳ آزمایش شبیه سازی شده است. نتایج نشان می‌دهد هر قید در هر مجموعه داده تأثیر متفاوتی بر فرآیند آموزش دارد و به‌طور مشخص قیدهای پیشنهادی که از عدم قطعیت حاضر در شبکه‌های عصبی زیستی الهام گرفته شده است، میتواند بهتر از قیدهای ارائه‌شده در تحقیقات پیشین باشد و باعث بهبود عملکرد شبکه عصبی عمیق ازنظر دقت طبقه‌بندی شود.
