fa افزایش سودآوری بازار شبکه های هوشمند برق با تکنیک یادگیری تقویتی عملگر ـ نقاد قدرت Power پژوهشي Research <div style="text-align: right;"><span dir="RTL">بازار شبکه‌های هوشمند برق پیچیده و پویاست. کارگزاران که واسطه‌گران فروش برق بین خرده‌فروشی‌ها و عمده‌فروشی‌ها هستند به‌صورت گسترده‌ای در بازارهای جدید شبکه‌های هوشمند به کار گرفته می‌شوند. به‌علت پیچیدگی و توزیع‌شدگی ذاتی بازار در شبکه‌های هوشمند رویکردهای استفاده از سیستم‌های چندعامله برای حل مسائل آن مناسب است. در این رویکردها می‌توانیم عامل‌های خودمختاری داشته باشیم که به‌صورت بیست و چهار ساعته درحال تبادل اطلاعات با دیگر عامل‌ها هستند. این عامل‌ها با چالش های اساسی شامل الگوی مصرف متنوع مشتریان، تغییر قیمت با توجه به الگوی مصرف مشتریان و میزان مصرف برق در طول شبانه روز مواجه‌اند. هدف ما در این مقاله این است که ضمن مدل کردن اجزای بازار برق با سیستم‌های چندعامله، با ارائه روشی مبتنی بر یادگیری عامل‌ها سودآوری در بازار شبکه های برق را افزایش دهیم. در روش پیشنهادی ابتدا مساله تنوع مصرف مشتریان را با انجام یک روش خوشه‌بندی متوالی مناسب داده&shy;های سری زمانی پردازش می‌کنیم. سپس برای هر گروه خوشه‌بندی شده به صورت مجزا یک روش یادگیری تقویتی سیاست فعال</span> <span dir="RTL">با عنوان یادگیری تقویتی عملگر- نقاد به کار می‌بریم. درنهایت تاثیر تغییر پاداش را در سود حاصله ارزیابی می‌کنیم و برای هر خوشه تعرفه‌ای مطابق با زمان مصرف مربوطه به صورت ساعتی ارائه می‌دهیم.</span></div> The electricity smart grid market is complex and dynamic. Brokers, which mediate the sale of electrical power between retailers and wholesalers, are widely used in new markets for smart grids. Due to the complexity and distribution properties of the market in smart grid networks, multi-agent systems are appropriate to solve its problems. In these approaches, we have autonomous agents exchanging information with other agents all 24 hours of a day. These agents encounter major challenges including diverse consumption patterns of consumers, price changing according to consumption patterns, and the amount of electricity consumed during the day. In this paper our goal is to increase profit in the electricity grid market while modeling the components of the electricity market with multi-agent systems. In the proposed method, we first process the customer diversity using a sequential clustering method suitable for time series data. Then, for each cluster, we apply an active policy reinforcement learning algorithm named Actor-Critic reinforcement learning. Finally, we evaluate the impact of the reward shaping on the profit earnings and we offer an hourly tariff for each cluster according to their respective consumption time شبکه های هوشمند, انرژی های تجدیدپذیر, بازار تعرفه, یادگیری تقویتی, خوشه بندی Smart grid, renewable resources, tariff market, reinforcement learning, clustering 245 258 http://jiaeee.com/browse.php?a_code=A-10-1914-1&slc_lang=fa&sid=1 Akram Beigi اکرم بیگی akrambeigi@sru.ac.ir 10031947532846008989 10031947532846008989 Yes Shahid Rajaee Teacher Training University دانشکده مهندسی کامپیوتر، دانشگاه تربیت دبیر شهید رجایی Amin Akbarian امین اکبریان a.akbarian@sru.ac.ir 10031947532846008990 10031947532846008990 No Department of Computer Engineering, Shahid Rajaee Teacher Training University, Tehran دانشکده مهندسی کامپیوتر، دانشگاه تربیت دبیر شهید رجایی