لینک دانلود و خرید پایین توضیحات
دسته بندی : وورد
نوع فایل : .doc ( قابل ویرایش و آماده پرینت )
تعداد صفحه : 10 صفحه
قسمتی از متن .doc :
سازمان آموزش و پرورش تهران
اداره آموزش و پرورش منطقه 11
موضوع :
بهبود سازمان و مدیریت دانش
گردآورنده :
سیده صدیقه میرجلال
«سازمانها و دانایی»
در سالهای اخیر «مدیریت دانش» به یک موضوع مهم و حیاتی و مورد بحث در متون تجاری تبدیل شده است. جوامع علمی و تجاری هر دو بر این باورند که سازمانهای با قدرت دانش میتوانند برتریهای بلند مدت خود را در عرصههای رقابتی حفظ کنند. منابع نقد و بررسی و چشماندازهای رقابتی سازمانها نشان دهندة تأثیرات این دیدگاه در عرصههای استراتژیک سازمانهای تجاری است. (نلسون و وینتر، 1982) اگر چه مدیریت، آگاهی از پتانسیلهای منابع دانش است، اما هنوز اتفاق نظری دربارهی ویژگیهای این دانش و روشهای بهرهگیری از آن وجود ندارد. محققین و دانشگاهیان دیدگاه متفاوتی در خصوص مدیریت دانش اتخاذ کرده و گسترهای از راهحلهای فناوری تا مجموعهای از دستورات عملی را در نظر دارند. به عنوان مثال اکثر مدیران تجاری، قابلیتهای کامپیوترها و فناوریهای ارتباطی را در مدیریت دانش باور دارند، این افراد استدلال میکنند که فناوری اطلاعات میتو اند از انبوه اطلاعات ذخیره شده در منابع قدیمی مانند مراکز فروش، کارتهای اعتباری مشتریان، فروشهای تبلیغاتی و اطلاعات مربوط به تخفیفهای مقطعی، «دانش» در ذهن انسانها است و آموزش کارکنان و انگیزهی عوامل کلیدی مدیریت آن به شمار میروند.
دانایی مهمترین سرمایه هر سازمان است چرا که منجر به ارزش افزوده بوده و عدم برخورداری از این موهبت در هر انسان رقابت و برخورد با چالشها را مشکلتر مینماید. در عصر حاضر مبنای ثروت آفرینی، دانش و تخصص است. صنعت بیش از هر زمان دیگر به علم و دانش فکر متکی شده است. دانش پایه جدید ثروت است وقتی به برههای برسیم که دانش مبنای خلق ثروت باشد کارکردن و یاد گرفتن مفهومی یکسان خواهند داشت. در این عرصه وجود افراد دانش پذیر اساس رقابت در فضای جهانی شدن است و کامیابی یا ناکامی اقتصادی شرکتهای امروز به کم و کیف دانش و تخصص آنها بستگی دارد. این تفکر نیز بطور روز افزونی گسترش یافته که هر سرمایهای با هزینه کردن کاهش مییابد مگر سرمایه دانایی و دانش سازمان که هر چه بیشتر هزینه شود انبوه تر و ثمربخش تر میشود. اکثر سازمانها پذیرفتهاند که باید بعنوان تنها مزیت رقابتی پایدار بر کارکنان خود متکی باشند و به ارتقای دانش، مهارت و قابلیتهای آنان اهتمام ورزند. لذا بقای سازمان در عرصه رقابت به حفظ، توسعه و بهره برداری از قابلیتهای کارکنان آن منوط شده است و سازمانی که نتواند مهارت، دانش و توانایی خود را توسعه دهد و از آن در افزایش بهره وری استفاده کند قادر نیست هیچ یک از منابع خود را به نحو مطلوب توسعه دهد. در این میان سازمان یادگیرنده سازمانی است که در آن افراد بطور مستمر قابلیتهای خود را افزایش میدهند تا نتایجی را که واقعاً میخواهند ایجاد نمایند. جایی که الگوهای جدید و گسترده تفکر، پرورش مییابد و جایی که افراد بصورت مداوم یاد میگیرند و به یکدیگر یاد میدهند. بهرحال سیستم پذیرش و بررسی پیشنهادات کارکنان از جمله تکنیکهای موثر در نظام مدیریت نوین است که اغلب صنایع و کارخانجات علاوه بر اثرات چشمگیر اقتصادی، موجبات مشارکت هر چه بیشتر کارکنان در اداره امور را فراهم ساخته است. یکی از ابزارهای کارآمد به منظور انتقال و تسهیم دانش در سازمان یادگیرنده، مدیریت دانش میباشد. مدیریت دانش، مدیریت آشکار و نظامند دانش اساسی و فرآیندهای خلق، جمع آوری، سازماندهی، پخش و استفاده بهرهبرداری مرتبط با آن است که مستلزم انتقال دانش شخصی به دانش شرکت است. تعریف دیگر آن است که مدیریت دانش استفاده از روش سیستماتیک برای ایجاد محیطی است که دانش بتواند به آسانی به اشتراک گذاشته شود و در دسترس همه باشد و شامل سلسله فعالیتهای پویا از جمله : ایجاد، تشخیص، مرور کردن و اعتبار بخشیدن، تطبیق و استفاده از دانش است. اگر جریان خوب مدیریت شود دانش فردی تبدیل به دانش گروهی و سپس سازمانی میگردد که قابلیت اجرایی دارد.
دلایل گرایش به مدیریت دانش در سازمانها:
لینک دانلود و خرید پایین توضیحات
فرمت فایل word و قابل ویرایش و پرینت
تعداد صفحات: 24
مقدمه
شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.
الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.
عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.
علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:
- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- سرعت همگرایی الگوریتم BP، خیلی آهسته است.
از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.
در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.
خلاصه ای از الگوریتم BP
از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.
بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .
در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه
_________________________________
1. Multi-Layer Feedforward Neural Networks
2. Back-Propagation Algorithm
3. Steepest Descent (S.D)
4. Performance Learning
5. Multi Layer Perceptron
6. Forward Path
7. Backward Path
نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.
در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.
در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.
فرمول بندی الگوریتم BP
الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.
الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:
(1)
(2)
به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.
(3)
(4)
(5)
به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.
_________________________________
1. Error-Correctting Learning Rule
2. Chain Rule
3. Learning Rate
معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)
الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.
با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:
- اولاً سرعت همگرایی الگوریتم BP آهسته است.
همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.
از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:
در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.
_________________________________
1. Standard Back-Propagation Algorithm
شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR
- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.
در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.
به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد
لینک دانلود و خرید پایین توضیحات
فرمت فایل word و قابل ویرایش و پرینت
تعداد صفحات: 24
مقدمه
شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.
الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.
عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.
علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:
- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- سرعت همگرایی الگوریتم BP، خیلی آهسته است.
از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.
در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.
خلاصه ای از الگوریتم BP
از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.
بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .
در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه
_________________________________
1. Multi-Layer Feedforward Neural Networks
2. Back-Propagation Algorithm
3. Steepest Descent (S.D)
4. Performance Learning
5. Multi Layer Perceptron
6. Forward Path
7. Backward Path
نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.
در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.
در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.
فرمول بندی الگوریتم BP
الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.
الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:
(1)
(2)
به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.
(3)
(4)
(5)
به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.
_________________________________
1. Error-Correctting Learning Rule
2. Chain Rule
3. Learning Rate
معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)
الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.
با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:
- اولاً سرعت همگرایی الگوریتم BP آهسته است.
همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.
از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:
در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.
_________________________________
1. Standard Back-Propagation Algorithm
شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR
- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.
در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.
به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد
لینک دانلود و خرید پایین توضیحات
فرمت فایل word و قابل ویرایش و پرینت
تعداد صفحات: 24
مقدمه
شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.
الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.
عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.
علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:
- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- سرعت همگرایی الگوریتم BP، خیلی آهسته است.
از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.
در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.
خلاصه ای از الگوریتم BP
از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.
بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .
در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه
_________________________________
1. Multi-Layer Feedforward Neural Networks
2. Back-Propagation Algorithm
3. Steepest Descent (S.D)
4. Performance Learning
5. Multi Layer Perceptron
6. Forward Path
7. Backward Path
نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.
در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.
در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.
فرمول بندی الگوریتم BP
الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.
الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:
(1)
(2)
به طوری WLji و bLj، پارامترهای نرون j ام در لایه iام است. α، نرخ یادگیری2 و F، میانگین مربعات خطا می باشد.
(3)
(4)
(5)
به طوریکه SLj(k)، حساسیت رفتار شبکه در لایه L ام است.
_________________________________
1. Error-Correctting Learning Rule
2. Chain Rule
3. Learning Rate
معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)
الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.
با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:
- اولاً سرعت همگرایی الگوریتم BP آهسته است.
همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه و α، طول قدم یادگیری است.
از این، هر قدر طول قدم یادگیری، α، کوچکتر انتخاب گردد، تغییرات ایجاد شده در پارامترهای شبکه، پس از هر مرحله تکرار الگوریتم BP، کوچکتر خواهد بود، که این خود منجر به هموار گشتن مسیر حرت پارامترها به سمت مقادیر بهینه در فضای پارامترها می گردد. این مسئله موجب کندتر گشتن الگوریتم BP می گردد. بر عکس با افزایش طول قدم α، اگرچه نرخ یادگیری و سرعت یادگیری الگوریتم BP افزایش می یابد، لیکن تغییرات فاحشی در پارامترهای شکه از هر تکراربه تکرار بعد ایجاد می گردد، که گاهی اوقات موجب ناپایداری و نوسانی شدن شبکه می شود که به اصطلاح می گویند پارامترهای شبکه واگرا شده اند:
در شکل زیر، منحنی یادگیری شبکه برای جدا سازیالگوها در مسأله XOR، به ازای مقادیر مختلف نرخ یادگیری، نشان داده شده است. به ازای مقادیر کوچک، α، شبکه کند اما هموار، یاد نمی گیرد الگوهای XOR را از هم جدا نماید، ددر صورتی که به ازای 9/0= α شبکه واگرا می شود.
_________________________________
1. Standard Back-Propagation Algorithm
شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR
- ثانیاً احتمالاً به دام افتادن شبکه در نقاط مینیمم محلی وجود دارد.
در شبکه های MLP، میانگین مجوز خطا، در حالت کلی خیلی پیچیده است و از تعداد زیادی نقطه اکسترمم در فضای پارامترهای شبکه برخوردار می باشد. بنابراین الگوریتم پس انتشار خطا با شروع از روی یک سری شرایط اولیه پارامترهای شبکه، به نقطه مینیمم سراسری و با شروع از یک مجموعه شرایط اولیه دیگر به تقاط مینیمم محلی در فضای پارامترها همگرا می گردد، بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- ثالثاً: همگرایی الگوریتم BP، به یقین مقادیر اولیه پارامترهای شبکه عصبی MLP وابسته است، بطوری که یک انتخاب خوب می تواند کمک بزرگی در همگرایی سریعتر الگوریتم BP فراهم آورد. برعکس انتخاب اولیه نادرست پارامترهای شبکه MLP، منجر به گیر افتادن شبکه در نقاط مینیمم محلی در فضای برداری پارامترهای شبکه می گردد که این خود منجر به این می شود که شبکه خیلی زودتر از معمول به موضعی بیفتد که منحنی یادگیری شبکه برای تعداد بزرگی از دفعات تکرار، تغییر نکند.
به عنوان مثال، فرض می کنیم مقدار اولیه پارامترهای شبکه خیلی بزرگ باشند، در حالی که می دانیم توابع تبدیل نرونها مخصوصاً در لایه های میانی از نوع زیگموئید هستند. در این حالت برای نرون i ام، اندازه ورودی تابع تبدیل (ni) خیلی بزرگ می باشد و خروجی نرون (ai) به مقدار 1± میل می کند. لذا مشتق بردار خروجی شبکه، a ، خیلی کوچک می باشد. فرض کنیم که باید مقدار واقعی ai، 1 باشد
لینک دانلود و خرید پایین توضیحات
دسته بندی : وورد
نوع فایل : .doc ( قابل ویرایش و آماده پرینت )
تعداد صفحه : 9 صفحه
قسمتی از متن .doc :
بهبود سازمان ها
مقدمه
تعریف پروژههای بهبود تا حصول نتیجه فرآیندی منحصر به فرد و متشکل از مجموعهای فعالیتهای هماهنگ و کنترل شده همراه با تاریخهای شروع و پایان، که جهت دستیابی به هدفی منطبق با الزامات معین انجام میگیرد و محدودیتهای زمان، هزینه و منابع را شامل میگردد. به عبارت دیگر پروژههای بهبود ابزاری جهت تبدیل توانمندیهای سازمانی جهت حصول نتایج مورد نظر در مدت زمان معین و منابع مشخص میباشد. به شرط آنکه سازمان با رویکرد فرآیندگرایی و فرآیندنگری استقرار یافته و نهادینه شده، استراتژی و اهداف کلان صنعت مدون و شفاف باشد. آنگاه میتوان با مدلی که در این مقاله ارائه میشود در سازمان خود پروژههای بهبود را تعریف، تصویب، اجراء، کنترل و از نتایج حاصل سازمان خود را بهره مند ساخت. این مدل بر اساس اهدافی که دنبال میکند سازمان را به سمت اندازهگیری پارامترهایی سوق میدهد که بر افزایش کیفیت، کاهش هزینه، افزایش رضایتمندی مشتری تمرکز دارند.
تعریف اصطلاحات
· رویکرد ماتریسی: انجام فعالیتها و فرآیندهای سازمانی در کنار هم به صورت پروژههای مستقل که هریک قابلیت تعریف در فرآیند بهبود به صورت پروژهای را داراست.
· پروژه بهبود: برنامه، طرح و پروژهای که حداقل به یکی از اهداف افزایش کیفیت محصول، کاهش هزینه و افزایش رضایت مشتری دست یابد.
· کیفیت : معیاری که مجموعهای از ویژگیهای ماهیتی، الزامات و یا خواستهها را برآورده میسازد.
· اثر بخش: میزانی که فعالیتهای برنامهریزی شده تحقق یافته و نتایج برنامه ریزی شده بدست آمده است.
· استراتژی: اقدامات کلی مرتبط به هم که برای رسیدن به هدف طی میشود و با توجه به تهدیدات و فرصتهای محیطی و مقدورات سازمان تدوین میگردد.
· محصولات کلیدی: آن دسته از محصولات اصلی صنعت که دارای اهمیت استراتژیک یا اقتصادی بالایی بوده و برای آن صنعت جنبه حیاتی داشته باشند.
اهمیت مدیریت پروژههای بهبود در سازمان
سازمانی که فعالیتهای آن براساس مدل تعریف شده و مشخص طرحریزی و انجام میشود و منابع سازمان در جهت نیل به اهداف برنامهریزی شده قرار میگیرند و میتوان توقع داشت که هر سال بر بهبود (افزایش) عملکرد سازمان اضافه شود. در راستای رسیدن به این افق، تجارب زیر کسب خواهد شد:
× تحویل با کیفیتترین محصول (محصولات و خدمات بدون ایراد)،
× تحویل به موقع (کاهش سیکل زمانی)
× قیمت مناسب (که متأثر از هزینههای تولید و فروش میباشد).
× بهبود هزینههای جاری.
× افزایش ظرفیت تولید و توزیع.
× کاهش هزینههای نیروی انسانی و رسیدن به حد مطلوب.
× کاهش درصد سرمایهگذاری غیر مولد.
مدل مدیریت پروژههای بهبود در سازمان
این مدل با نگرش فرآیندی و برگرفته از تکنیک شش سیگما، تروشهای حل مسئله و تاکتیکهای خود ارزیابی بر اساس اهدافی که دنبال میکند سازمان را به سمت حل مسائل و مشکلات کلیدی مرتبط با فرآیندهای کلیدی سوق میدهد، تدوین شده و توسط صاحب نظران بازنگری و یک دوره پیادهسازی و مجدد اصلاح و بازنگری شده و قابلیت انطباق با شرایط سازمانی را در خود دارد.در این مدل ابتدا شناسایی دقیق مشکل حول سه محور افزایش کیفیت، کاهش هزینه، افزایش رضایتمندی مشتری مورد تأکید قرار میگیرد، چگونگی شناسایی معضلات، درک شرایط درون سازمانی و برون سازمانی در قبال معضلات، آنالیز پیآمدهای ناشی از معضلات و چگونگی دستیابی به راه حل مناسب در رفع معضلات مسائلی است که در شناسایی مسئله باید مورد نظر باشد.
الف) تبیین مسأله شناسایی و تعریف مسائل کلیدی جهت حل مسائل اصلی سازمان، همواره دشوارترین و بحرانیتر از حل آن است. بسیاری از مدیران سازمانها از همسو بودن پروژههای خود با اهداف و نیازهای سازمان اطمینان ندارند چرا که فرآیند انتخاب مناسب، تبدیل به فرآیند مبهم گشته و مورد توجه قرار نمیگیرد.هدف از این مرحله تشریح چگونگی مسئله از طریق شناسایی “موارد خطا” و ارتباط آن با سایر موارد میباشد. در این مرحله مسئله به اجزاء کوچکتر تقسیم میشود تا کلیه موارد قابل اندازهگیری باشد. باید مسئله تا حد امکان به صورت صحیح و دقیق تعریف شود چرا که هر گونه ابهام و عدم دقت در تشریح مسئله، منجر به هدایت نادرست تیم میگردد و به دنبال آن اقدام اصلاحی نادرست انجام میپذیرد. شروع روند بررسی موضوع با بکارگیری سؤال "چه خطایی در آن فرآیند ایجاد مشکل نموده است؟" قابل انجام میباشد. سئوال "چه خطایی؟" نشان دهنده مشکل و جمله "در آن فرآیند" موضوع را مشخص میسازد. "خطا" یک مشخصه ناخواسته بوجود آمده در محصول یا فرآیند و "موضوع" اسم یک محصول یا فرآیند خاص است که در معرض عیب قرار گرفته است. هنگامی که خطا و موضوع مشخص گردید، باید مشخص شود که "چرا این اتفاق برای آن موضوع رخ میدهد؟" سؤال فوق تا زمانی که علت نامعلوم باشد و نیاز به پیدا کردن علت ریشهای وجود داشته باشد میتواند تکرار گردد. از جمله روشهای دیگر جهت تبیین دقیق مسئله نمودار استخوان ماهی، نمودار پارتو، نمودار جریان و ... است.چنانچه برای سؤالات زیر پاسخ مناسبی یافته باشیم، مرحله تشریح مسئله را با موفقیت به پایان رساندهایم.· چه چیزی مشکل محسوب میشود و چه چیزی مشکل محسوب نمیشود ولی میتواند مشکل ساز گردد؟· مسئله در کجا رخ داده است و در کجا رخ نداده است، ولی میتواند رخ دهد؟· مسئله در چه زمانی رخ داده است و در چه زمانی رخ نداده است ولی میتواند اتفاق افتد؟ مشکل چقدر اهمیت دارد و چقدر در آینده میتواند اهمیت داشته باشد؟
ب ) شناسائی عوامل ریشهای هدف از این مرحله بررسی علل ریشهای بالقوه و بالفعل، از طریق آزمون هر یک از فرضیات با استفاده از دادههایی که در مرحلة قبل جمعآوری شدهاند، میباشد. در این مرحله کسانی موفقتر خواهند بود که سازمان و موضوع مورد بررسی در صنعت مورد نظر را خوب و دقیق بشناسند و در ان حوزه تخصص و اطلاعات کافی داشته باشند.
ج ) اولویتبندی عوامل برای تعیین اولویتبندی علل بروز مسئله و اولویتبندی عوامل مؤثر بر ارتقاء وضع موجود یا هدف تعیین شده، باید سیستم کنترل و نقاط کنترل تعریف شوند و سپس با یک بررسی مشخص گردد که در چه بخشی از فرآیند، علت ریشهای بروز خطا نموده است. آنالیز ریسک یکی از فعالیتهای بسیار مهم و کلیدی در این مرحله محسوب میشود. عدم توجه به این موضوع ممکن است سبب بروز مشکلات و مسائل جدیدی در سیستم شود.
د ) اولویت بندی برنامههای بهبود در سازمان مفهوم کلیدی دیگری که پس از شناسایی، تعریف و تعیین قلمرو پروژههای بهبود باید مورد توجه قرار گیرد، اولویت دهی به برنامههای بهبود و رتبه بندی آنها میباشد. اگر چه با توجه به رویکرد ماتریسی در تسهیم منابع موجود و سیستم مدیریت و کنترل پروژه منسجم، چندین پروژهه بهبود به صورت هم زمان قابل اجرا به میباشد، ولی با این وجود بدیهی است که پس از تعریف انبوهی از پروژههای بهبود رتبه بندی امری ضروری میباشد. نوع سازمان، قلمرو و مأموریت آن تعیین کننده معیارهای رتبه بندی پروژهها هستند:1- اثرگذاری بر مشتری و کسب و کار: شامل تاثیرات بر مشتریان برون سازمانی و الزامات آنها، اثر گذاری بر راهبرد کسب و کار و قدرت رقابتی سازمان، فوائد مالی مستقیم و غیر مستقیم، فوریت پروژه، استقلال یا وابستگی به سایر پروژهها میباشد.2- امکانپذیری: منابع مورد نیاز، پشتیبانی و تخصص مورد نیاز، احتمال موفقیت.3- یادگیری و رفتار سازمانی: آموزش و یادگیری، درهم شکستن وضعیت مشکل ساز و پذیرش وضعیت بهبود یافته.