وضوع پایان نامه: وب کاوی در صنعت(word)

وضوع پایان نامه:وب کاوی در صنعتچکیده:

با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند.  طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.

 و . . .

فهرست مطالب

عنوان                                                                                                                شماره صفحه

فصل اول:مقدمه

مقدمه. 1

فصل دوم:داده کاوی

2- 1 مقدمه ای بر داده کاوی.. 6

2-1-1 چه چیزی سبب پیدایش داده کاوی شده است؟ 7

2-2 مراحل کشف دانش... 9

2- 3 جایگاه داده کاوی در میان علوم مختلف.. 12

2-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟ 14

2-5 داده کاوی و انبار داده ها 14

2-6 داده کاوی و OLAP. 15

2-7 کاربرد یادگیری ماشین و آمار در داده کاوی.. 16

2-8 توصیف داده ها در داده کاوی.. 16

2-8-1 خلاصه سازی و به تصویر در آوردن داده ها 16

2-8-2 خوشه بندی.. 17

2-8-3 تحلیل لینک... 18

2-9 مدل های پیش بینی داده ها 18

2-9-1 دسته بندی.. 18

2-9-2 رگرسیون. 18

2-9-3 سری های زمانی.. 19

2-10 مدل ها و الگوریتم های داده کاوی.. 19

2-10-1 شبکه های عصبی.. 19

2-10-2 درخت تصمیم. 22

2-10-3 Multivariate Adaptive Regression Splines(MARS) 24

2-10-4 Rule induction. 25

2-10-5 K-nearest neibour and memory-based reansoning(MBR) 25

2-10-6 رگرسیون منطقی.. 26

2-10-7 تحلیل تفکیکی.. 27

2-10-8 مدل افزودنی کلی (GAM) 28

2-10-9 Boosting. 28

2-11 سلسله مراتب انتخابها 28

2-12داده کاوی و مدیریت بهینه وب سایت ها 30

2-13داده‌کاوی و مدیریت دانش... 31

فصل سوم: وب کاوی

3-1 تعریف وب کاوی.. 33

3-2 مراحل وب کاوی.. 33

3-3 وب کاوی و زمینه های تحقیقاتی مرتبط.. 34

3-3-1 وب کاوی و داده کاوی.. 34

3-3-2 وب کاوی و بازیابی اطلاعات.. 35

3-3-3 وب کاوی و استخراج اطلاعات.. 36

3-3-4 وب کاوی و یادگیری ماشین.. 37

3-4 انواع وب کاوی.. 37

3-5 چالش های وب کاوی.. 38

3-6مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان. 39

3-7 محتوا کاوی وب.. 40

فصل چهارم: وب کاوی در صنعت

4-1 انواع وب کاوی در صنعت.. 43

4-1-1وب کاوی در صنعت نفت، گاز و پتروشیمی.. 43

4-1-1-1 مهندسی مخازن/ اکتشاف.. 43

4-1-1-2مهندسی بهره برداری.. 44

4-1-1- 3مهندسی حفاری.. 44

4-1-1-4بخشهای مدیریتی.. 44

4-1-2 کاربرد های دانش داده کاوی در صنعت بیمه. 45

4-1-3کاربردهای دانش داده کاوی در مدیریت شهری.. 46

4-1-4کاربردهای داده کاوی در صنعت بانکداری.. 47

4-1-4-1بخش بندی مشتریان. 47

4-2 پژوهش های کاربردی.. 48

نتیجه گیری.. 50

منابع و ماخذ فارسی.. 51

مراجع و ماخذ لاتین و سایتهای اینترنتی.. 52

 فهرست اشکال

عنوان                                                                                                       شماره صفحه

شکل(2-1) داده کاوی به عنوان یک مرحله از فرآیند کشف دانش.... 8

شکل(2-2) سیر تکاملی صنعت پایگاه داده. 10

شکل (2-3) معماری یک نمونه سیستم داده کاوی.. 11

شکل (2-4) داده ها از انباره داه ها استخراج می گردند.. 14

شکل(2-5( داده ها از چند پایگاه داده استخراج شده اند.. 15

شکل(2-6) شبکه عصبی با یک لایه نهان.. 20

شکل(2-7) Wx,y وزن یال بین X و Y است. 21

شکل(2-8) درخت تصمیم گیری.. 23

شکل(2-9( روش MBR... 26

فصل اول

مقدمه

مقدمه

با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان ها مبدل گشته است. بنابراین روش ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش ها و تکنیک ها بیش از پیش احساس می شود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر می کنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 3/7 میلیون صفحه در روز افزایش مییابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریبا غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است. به طور کلی کاربران وب در استفاده از آن با مشکلات زیر روبرو هستند:

یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار می باشد. روش های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده ها به کار می روند، قابل استفاده در وب نمی‌باشند وکاربران معمولا از موتورهای جستجو که مهمترین و رایج ترین ابزار براییافتن اطلاعات در وب می باشند، استفاده می کنند. این موتورها، یک پرس و جوی[1] مبتنی بر کلمات کلیدی از کاربر دریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که بر اساس میزان ارتباط با این پرس و جو مرتب شده اند، به وی ارائه می کنند. اما موتورهای جستجو دارای دو مشکل اصلی هستند. اولا دقت[2] موتورهای جستجو پایین است، چراکه این موتورها در پاسخ به یک پرس و جوی کاربر صدها یا هزاران سند را بازیابی می کنند، در حالی که بسیاری از اسناد بازیابی شده توسط آنها با نیاز اطلاعاتی کاربر مرتبط نمی باشند. دوما میزان فراخوان[3] این موتورها کم می باشد، به آن معنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند. چراکه حجم اسناد در وب بسیار زیاد است و موتورهای جستجو قادر به نگهداری اطلاعات کلیه اسناد وب، در پایگاه داده های خود نمی باشند. ایجاد دانش جدید با استفاده از اطلاعات موجود در وب: این مشکل در واقع بخشی از مشکل مطرح شده در قسمت قبل می باشد. در حال حاضر این سوال مطرح است که چگونه می توان داده های فراوان موجود در وب را به دانشی قابل استفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت بگیرد. همچنین چگونه می توان با استفاده از داده های وب به اطلاعات و دانشی جدید دست یافت.خصوصی سازی[4] اطلاعات: از آن جا که کاربران متفاوت هر یک درباره نوع و نحوه بازنمایی اطلاعات سلیقه خاصی دارند،این مسئله باید توسط تامین کنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این منظور با توجه به خواسته ها و تمایلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها باید سفارشی گردد.

تکنیک های وب کاوی[5]قادر به حل این مشکلات می باشند. دروب کاویبه صورت زیر تعریف شده است:

وب کاوی به کارگیری تکنیک های داده کاوی[6] برای کشف و استخراج خودکار اطلاعات از اسناد و سرویس های وب می باشد.

البته تکنیک های وب کاوی تنها ابزار موجود برای حل این مشکلات نیستند. بلکه تکنیک های مختلفی از سایر زمینه های تحقیقاتی همچون پایگاه داده ها، بازیابی اطلاعات، پردازش زبان طبیعی قابل استفاده در این زمینه می باشند. همچنین تکنینک های وب کاوی می توانند به صورت مستقیم یا غیر مستقیم برای حل این مشکلات به کار روند. منظور از رویکرد مستقیم آن است که کاربرد تکنیک های وب کاوی به صورت مستقیم مشکلات مطرح شده را حل می نماید. یک عامل گروه خبری که مرتبط بودن یک خبر به یک کاربر را تعیین می کند، مثالی از این رویکرد می باشد. اما در رویکرد غیر مستقیم، تکنیک های وب کاوی به عنوان بخشی از یک روش جامع تر که به حل این مشکلات می پردازد، مورد استفاده قرار می گیرند.

و . . .

تعداد صفحات: