بهبود سرعت یادگیری شبکه های عصبی 27ص

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 24

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

(1)

(2)

به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.

با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:

- اولاً سرعت همگرایی الگوریتم BP آهسته است.

همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.

در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد

مقاله درباره. ابزارهای موثر در حل مشکلات و بالا بردن سرعت کامپیوتر

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 14

WinSpeedUp 2.5.2

ابزارهای موثر در حل مشکلات و بالا بردن سرعت کامپیوتر

WinSpeedUp ابزارهایی را ارائه می دهد که میتواندبه حل مشکلاتی همچون خرابی Registry Editorبپردازد یا اینکه آیکن های راترکیب نماید.در صورتی که راه حلی برای این مشکلات نداشته

باشید، همین مسائل کوچک و پیش پا افتاده میتوانند موجب رنجش خاطر شما شوند.قبل از آن که کار با برنامه WinSpeedUp را آغاز کنید، از شما پرسیده می شود که آیا کاربر مبتدی هستید یا حرفها ی. اگر کاربر مبتدی باشید،برخی گزینهها که ممکن است خطرات بالقوه بیشتری را به دنبال داشته باشند، غیر فعال می شوند.در مورد تمام کاربران، این نرم افزار از تنظیمات موجود پشتیبان میگیرد، به عبارت دیگر چنانچه با انجام هرگونه تغییری وضعیت کامپیوتر نسبت به قبل بدتر شود، میتوانید آن را مجدداً به حالت اول بازگردانید. شما میتوانید کامپیوتر خود را بهینه سازی کنید و فضای هارد دیسک را بیشتر نمائید.WinSpeedUp پر از ابزارهای مفیدی است که می توانند همه نوع کاری را از تغییر ظاهر Internet Explorer گرفته تا پاک کردن History انجام دهند و به شما در تنظیم

DirectX کمک نمایند یا اینکه به شما بگویند که چقدر از حافظه را استفاده کرده اید.این نرم افزار دارای یک ابزار برگشت به حالت قبل ( roll back ) است، به عبارت دیگر تغییراتی که شما انجام می دهید،آسیبی به کامپیوتر نمیرساند.با استفاده از بخش Advanced برنامه WinSpeedUp

میتوانید دستورالعملهای بیشتری را به WindowsExplorer بیافزائید.

ابزارهای کمکی ویندوزXPTuner 1.05یک برنامه tweak کننده با امکانات بسیار زیاد

از جمله مزایای ویندوز این است که راههای بسیاری برای tweak کردن آن وجود دارد، چه به طریق

دستی و چه با نرم افزاری شبیه به XPTuner . زمانیکه این برنامه را باز می کنید،یک پنجره باز میشود که تقریباً تمام کارهایی که میتوانید با این برنامه انجام دهید را خلاصه میکند. علیرغم ماهیت پیچیده برخی از tweak ها،میتوان به وضوح آن ها را شرح داد.نمونهای از این tweak ها زمانی است که وارد تب Edit Other Settings می شوید. در این قسمت ابزار بسیار مفیدی وجود دارد که آیتمها را از پنجره Add orRemove Programs در Control Panel حذف میکند.

گاهی اوقات زمانیکه نرم افزاری را حذف میکنید، آیکن مربوط به آن در Add orRemove Programs باقی میماند، اما باXPTuner میتوانید آیکن را حذف کنید طوری که دیگر اثری از آن باقی نماند. گرچه تمام این کارها را می توان به طور دستی انجام داد اما اگر نسبت به انجام آن مطمئن نیستید، XPTuner دارای ویزاردهایی است که u1605 میتوانند به شما کمک کنند. اگر جرات و اطمینان لازم را دارید، گزینه هایی وجود دارند که با آنها میتوانید تنظیمات کش را در مور

CPU خود تغییر دهید.

Security and Privacy Pack

از کامپیوتر خود در مقابل تهدیدات آنلاین محافظت کنید و فایلهای خود را با این

مجموعه امنیتی حفظ نمائید.

به عنوان یک کاربر کامپیوتر دیگر نمیتوانید نسبت به ایمنی آن بی تفاوت باشید. این کار درست همانند این است که والدین به فرزندان بگویند که بدون هیچ نگرانی از ورود افراد ناشناس به خانه می توانند منزل را بدون قفل کردن در، ترک کنند. خطراتی که حریم خصوصی شما را تهدید میکنند، میتوانند از جانب منابع داخلی یا خارجی باشند. به محض اینکه به اینترنت وصل میشوید، سیستم شما در معرض

حملاتی از جمله هکرها، ویروسها، جاسوس افزارها و برنامه های بدخواه افزار دیگر قرارمیگیرد.

مایکروسافت امکانات امنیتی را در قالب Windows Firewall ارائه میدهد که در واقع مانع از نفوذ هکرها میگردد و همچنین Microsoft AntiSpyware را عرضه میکند که کامپیوتر شما را در مقابل جاسوسافزارها و دیگر برنامه های ناخواسته محافظت مینماید.

با وجود اینکه این دو ابزار از ابزارهای مفید و قدرتمندی به شمار میروند، بهتر است برای کامل کردن امنیت سیستم خود از برنامه های دیگر شرکتها نیز استفاده نمائید. به خاطر داشته باشید که تهدیدات امنیتی فقط منشأ خارجی و بیرونی ندارند.اگر اشخاص دیگری به طور فیزیکی به کامپیوتر شما دسترسی دارند، میتوانند فایل هایی را باز کنند که در واقع شما نمیخواهید این فایل ها در دسترس آنها باشد.

Security and Privacy Pack از بهترین نرم افزارهای طراحی شده در حفظ اطلاعات

شخصی است که کامپیوتر شما را در برابر حملات و آلودگی های ناشی از ویروس و دیگر بدخواه افزارها ایمن می کند. شما می توانید برای ایمن کردن سیستم خود از برنامه های دیگری نیز استفاده کنید، اما ما به شرح ۳ برنامه از این دست اکتفا می کنیم.

AntiVir PE 6 محافظ ویروس

خطر حمله ویروسها همیشه سیستم مارا تهدید می کند و هیچ نشانهای دال بر این موضوع وجود ندارد که در آینده نزدیک از این گونه حملات در امان خواهیم ماند. قبل از نصب این نرم افزار، حتماً باید به صورت یک کاربر با حقوق اجرا کننده وارد سیستم شوید و نکته مهم دیگر اینکه نرم افزار ضد ویروس دیگری در سیستم نصب نباشد، در این صورت ممکن است با AntiVir تداخل پیدا کند.

اگر از ارتباط تلفنی استفاده می کنید،بالا: کاربرد XPTunerبسیار ساده است،همچنین از طریق آن

میتوان به جزئیات بیشتری دست u1610 یافت.

پائین: اگر مطمئن نیستید که کار را از کجا آغاز کنید، ویزاردهایی وجود دارند که در این رابطه به

شما کمک می کنند.میتوانید مولفه Dialer-Recognitionرا نصب کنید. این مولفه شما را در مقابل شمارهگیرهای فریب دهنده که میتوانند صورت حسابهای تلفنی کلانی برایتان به ارمغان بیاورند، حفظ می کند.در صورتیکه تعاریف سیستم شما قدیمی و منسوخ شده باشند، برنامه AntiVir به شما

هشدار میدهد و از شما می خواهد آخرین نسخهها را دانلود کنید، به این ترتیب سیستم شما در مقابل آخرین تهدیدات و حملات ایمن میگردد. گزینه زمانبندی این برنامه به این معنی است که شما میتوانید کامپیوتر خود را در فواصل زمانی معین اسکن کنید تا از نظر وجود مشکل بررسی شود، بنابراین دیگر

نیازی نیست که انجام این کار را به خاطر بسپارید.

بهبود سرعت یادگیری شبکه های عصبی 27ص

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 24

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

(1)

(2)

به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.

با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:

- اولاً سرعت همگرایی الگوریتم BP آهسته است.

همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.

در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد

بهبود سرعت یادگیری شبکه های عصبی 27ص

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 24

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

(1)

(2)

به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.

با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:

- اولاً سرعت همگرایی الگوریتم BP آهسته است.

همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.

در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد

بهبود سرعت یادگیری شبکه های عصبی 27ص

لینک دانلود و خرید پایین توضیحات

فرمت فایل word  و قابل ویرایش و پرینت

تعداد صفحات: 24

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

1. Multi-Layer Feedforward Neural Networks

2. Back-Propagation Algorithm

3. Steepest Descent (S.D)

4. Performance Learning

5. Multi Layer Perceptron

6. Forward Path

7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

(1)

(2)

به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.

(3)

(4)

(5)

به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.

_________________________________

1. Error-Correctting Learning Rule

2. Chain Rule

3. Learning Rate

معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)

الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.

با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:

- اولاً سرعت همگرایی الگوریتم BP آهسته است.

همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.

از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:

در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.

_________________________________

1. Standard Back-Propagation Algorithm

شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.

در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.

به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد