بهبود سرعت یادگیری شبکه های عصبی 27ص

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 24

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

(1)

(2)

به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.

با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:

- اولاً سرعت همگرایی الگوریتم BP آهسته است.

همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.

در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد

دانلود نسخه اصلی افزونه wp rocket

اگر صاحب یک سایت وردپرسی هستید حتما به دنبال راهی برای افزایش سرعت بارگذاری سایت خود هستید، افزونه های مختلفی در بازار وجود دارد ولی هیچ کدام مثل wp rocket نخواهد بود، این افزونه از همه نظر جواب خود را پس داده، شما میتوانید قبل و بعد از نصب افزونه اطلاعات سایت خود را در سایت مشهور gtmetrix مشاهده کنید تا ببینید این افزونه چه تاثیر شگرفی در سئو و سرعت سایت شما خواهد گذاشت.

این افزونه نسخه اصلی بوده و همواره اخرین نسخه برای دانلود قرار داده میشود.

در تصویر زیر میتوانید مقایسه افزونه wp rocket با سایر افزونه های مشابه و مشهور را مشاهده کنید.

مقاله درمورد سرعت و ایمنی رانندگی

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 10

سرعت و ایمنی رانندگیهمه ساله در بسیاری از کشورهای جهان انسانهای زیادی در ترافیک جان می بازند.گرچه تصادف های رانندگی همواره میتوانند علتهای گوناگونی چون خرابی سیستم ترمز ، فرسوده بودن ماشین ، کم نور بودن چراغها و .... داشته باشند، ولی در بسیاری از زمینه ها همواره اشتباههای انسانی از نخستین علل تصادف به شمار می آیند. همچنین در خرابی اتومبیل (درست نکردن خرابی)نیز رانندگان سهل اغنگار قسمت بزرگی از تقصیر را به گردن دارند. برای پایین آوردنآمار مرگ و میر در ترافیک،دولت نیز با سخت گیری و به کار بستن قانون های جید تا اندازه ای این آمار را پایین می آوردولی این قانون نیز نیاز به گوش های شنوا و قانونمند شدن رانندگان دارد.یک راننده منضبط میداند که اگر در ترافیک خطایی از وی سر بزند، از آنجا که این خطا می تواند به جان دیگران آسیب رساند ، راننده خطا کار باید تاوان اشتباه خود را بپردازد. بسیاری از خلاف های رانندگی چون پارک کردن بیش از زمان مقرر به جان کسی آسیبی نمی رساند ، ولی استفاده از اینگونه پارکینگها نیز حق تمامی رانندگان است و در غیر این صورت رانندگان خلافکار باید بهای خلاف خود را بپردازند. در بسیاری از زمینه ها راندن با سرعت های بیش از اندازه مجاز می تواند جان خود راننده ،خانواده او و دیگران را بگیرد رانندگی با سرعت های 10 تا 20 کیلومتر کمتر در بسیاری از زمینه ها می تواند جان بسیاری را از مرگ نجات دهد.می پرسید چگونه؟ در نظر بگیرید که شما در یک راه بیرون شهر با سرعت 100 کیلومتر در ساعتدر حال رانندگی هستید.در این روزها هوا بسیار خوب ،ترافیک روان و اتومبیل شما نیز از بهترین سیستم ترمز برخوردار است.جلوتر در یک راه فرعی اتومبیل دیگری در راه رسیدن به سه راهی و وارد شدن به همان راه است که شما در آن میرانید. بافاصله 70 متر پیش از این که شما به این سه راهی برسید آن اتومبیل به تندی وارد راه اصلی میشود و شما با آن که دید خوبی به جلو دارید و در زمان مناسبی نیز از خود واکنش نشان می دهید ولی با این حال با ماشین جلویی برخورد سختی می کنید.در این برخورد گرچه شما به سختی آسیب می بینید ولی راننده ی ماشین جلویی بدون شک جان خواهد باخت.در این برخورد گرچه ماشین جلویی می بایست بر سر سه راهی ایست کامل می کرد ، ولی اگر شما نیز با سرعت 80 کیلومتر در ساعت رانندگی می کردید 6 متر پیش از رسیدن به ماشین جلویی (هنگام برخورد) می توانستید اتومبیل خود را به ایست کامل رسانده باشید. بدین روی خود شما از آسیب های سنگین این برخورد در امان بودید و راننده ماشین جلویی زنده بود. انسان ها معمولا حس سرعت ندارند و زمانی که تندمی رانند تنها در پی لذت راندن هستند و نه در اندیشه خطر برخورد با سرعت زیاد. بد نیست بدانید که اگر اتومبیلی با سرعت 50 کیلومتر در ساعت با یک انسان پیاده برخورد نماید این درست مانند پریدن همان انسان از طبقه سوم یک ساختمان بر روی آسفالت است. اگر همان اتومبیل با سرعت 70 کیلومتر در ساعت با انسان برخورد نماید، این مانند پریدن انسان از طبقه ششم یک ساختمان بر روی اسفالت است.از هر ده نفری که با اتومبیلی با سرعت 50 کیلومتر در ساعت برخورد می کنند 4 نفر آنها و از هر 10 نفری که با اتومبیلی با سرعت 70 کیلومتر در ساعت برخورد می نمایند، 8 نفر آنها جان خواهند باخت.برای یافتن نیروی نهفته در سصرعت می توانید در فاصله ی یک متری یک دیوار بایستید و به آرامی تا برخورد به دیوار راه بروید. در این برخورد شما دردی احساس نخواهید کرد. اکنون در فاصله 10 متری از همان دیوار بایستیدو به تندی تا برخورد با دیوار بدوید. در این برخورد شما به درستی درد را در بدن خود حس خواهید کرد. این قانون فیزیکی در ترافیک هم همین کار کرد را دارد و نکته آن آمیختگی وزن و سرعت است.در این زمینه هر چه سرعت بیشتر باشد آسیب هم گسترده تر و دردناک تر خواهد بود. از این گذشته هرگاه که شما سرعت اتومبیل خود را دو برابر می کنید، در ازای خط ترمز اتومبیل شما به 4 برابر افزایش می یابد . برای دریافت بهتر این مطلب در نظر بگیرید که در راهی درون شهر با سرعت 50 کیلومتر در ساعت در حال رانندگی هستید، با این سرعت اگر کودکی به ناگاه در چند متری ماشین شما بدود زمان کافی برای ترمز کردن خواهید داشت . حال اگر سرعت شما به 60 کیلومتر افزایش یلبد بدون شک با سرعت 44 کیلومتر در ساعت با آن کودک برخورد خواهید کرد. بدین روی خواهید دید که 10 کیلومتر افزایش سرعت شما ، در هنگام ایست کامل به 44 کیلومتر در ساعت افزایش پیدا کرده است. در برخورد با این سرعت ، 30 درصد از عابرین پیاده جان می بازند . همان گونه که می بینید با کم کردن تنها 10 کیلومتر سرعت می توان جان یک انسان را از مرگ نجات داد. حاضر جوابی شنیدنی جوان تهرانی در برابر سوال های خبرنگار تلویزیون در حمایت از نیروی انتظامی ـ۲۷۱۰ کلیک

///uk.youtube.com

همانطور که احتمالا می دانید نیروی انتظامی اخیرا با حضور در خیابان هایی که پاتوق گشت زنی جوانان با اتومبیل است مانع حرکت آنان شده و اگر به سرنشینان به هر علت مشکوک شود آنان و ماشین هایشان را توقیف می کند ( بنا بر اظهارات سرهنگ هادی هاشمی، رییس راهنمایی و رانندگی تهران بزرگ در همین ویدیو) . در این ویدیو خبرنگار به سراغ یکی از همین جوان های مثلا خلافکار رفته و از او می پرسد چند بار اینجا دور زدی؟ / جوان: من خونه ام اینجاست. بار اولمه . اگه شما اجازه بدید می خوام 7- 8-10بار دیگه دور بزنم. / خبرنگار: چرا؟ / جوان: بیکاریم. تفریح نداریم. باید دور بزنیم. / خبرنگار: فکر می کنی دور زدن توی خیابون تفریح مناسبیه؟ / جوان: شما تفریح مناسب تری دارید؟ / خبرنگار: نمی تونی بری باشگاه وررزشی؟ / جوان: اتفاقا دارم از باشگاه می آم/ خبرنگار: پس می خوای پشت سر هم تفریح کنی؟ / جوان: نه، آخه از باشگاه انداختنمون بیرون/ خبرنگار: چرا؟ / جوان: چون وقتش تموم شده بود. / خبرنگار: خب . هر چیزی وقت خودش رو داره. / جوان: الان ساعت

آیا این طرح یک برنامه ی سازماندهی شده برای نابود کردن قدرت بینایی ایرانیان از سوی CIA است ؟

آیا کسی سردار رویانیان را مجبور کرده بود که این اقدام را مرتکب شود ؟

آیا گروهی از فضانوردهای اورانوسی با تحصن در منظومه ی شمسی مقامات را وادار به انجام این کار کردند ؟

آیا طراح این کارت ها جاسوس بوده ؟ یا در اثر مشکلات زندگی مجبور شده که گرافیک را به عنوان شغل خود انتخاب کند ؟

آیا طراح فوق خواهر زاده ی داماد آقای احمدی مقدم بوده است ؟

آیا این اقدامات یک شوخی برای تعیین درجه ی هوشی ایرانیان از سوی وزارت اطلاعات است ؟

آیا "ما" چه گناهی مرتکب شده ایم که باید چنین شطحیات تصویری را هر روزه مشاهده کنیم ؟!

/

بهبود سرعت یادگیری شبکه های عصبی 27ص

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 24

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

(1)

(2)

به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.

با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:

- اولاً سرعت همگرایی الگوریتم BP آهسته است.

همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.

در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد

بهبود سرعت یادگیری شبکه های عصبی 27ص

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 24

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

(1)

(2)

به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.

با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:

- اولاً سرعت همگرایی الگوریتم BP آهسته است.

همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.

در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد