کلان داده ترجمه اصطلاح big data ، یک حوزه پژوهشی بالقوه قابل توجهی در دانشگاه ها و جوامع IT امروزی می باشد . در دنیای دیجیتال، میزان داده های تولید شده و ذخیره شده در مدت زمان کوتاهی گسترش یافته است. در نتیجه، این نرخ رشد سریع داده ها با چالش های بسیاری روبرو بوده است. در این تحقیق به یکی از شاخه های مهم Big Data ، با استفاده از پارادایم های ساختارگرایی و کارکردگرایی به تحلیل ریشه ی اپلیکشن های big data و روند فعلی آن می پردازیم. و همچنین بحث جامعی از پیشرفته ترین تکنولوژی های کلان داده از جمله پردازش های دسته ای و سیر داده ها (stream data) ارائه خواهیم داد . حجم داده ها (data volume) همه ساله در جهان انتظار می رود 40٪ ، و 50 بار تا سال 2020 رشد کند (وال مونتگمری، سال 2016). با توجه به وبگاه خبری ساینس دیلی (ScienceDaily ) ، حدود 90 درصد از داده های امروزی در دو سال گذشته ایجاد شده است (ساینس دیلی ، 2016). ارزش بازار کلان داده ها در سال 2010 ، 3.2 میلیارد دلار بود، و انتظار می رود این ارزش در آینده ای نزدیک به 16.9 بیلیون افزایش یابد. (وال-مونتگمری، سال 2016)، پیش بینی شده است که تقاضای مهارت های کلان داده از هم اکنون تا سال 2020 افزایش خواهد یافت. همچنین ، انتظار می رود این تقاضا به تنهایی در انگلستان 160٪ رشد داشته باشد. پردازش و ذخیره ی داده های شرکت وال مارت – که از بزرگترین شرکت های خرده فروشی آمریکایی می باشد بیش از 1 میلیون تراکنش مشتریان در پایگاه های داده مشاهده شده است ، و طبق برآورد های صورت گرفته ، این میزان بیش از 2.5 پتا بایت داده در هر ساعت را شامل می شود.
چکیده
مقدمه
پیدایش اپلیکشن های بیگ دیتا
روند کنونی بیگ دیتا
منابع بیگ دیتا
پیشرفته ترین شیوه ها و تکنولوژی های بیگ دیتا
تکنولوژی های مبتنی بر پردازش دسته ایی
تکنولوژی های مبتنی بر پردازش جریان
شیوه های پردازش کلان داده ها
هشینگ یا درهم سازی
Indexing
فیلتر بلوم
محاسبات موازی یا رایانش ابری
تکنیک های تحلیل کلان داده ها
داده کاوی
وب کاوی
روش نمایش
یادگیری ماشین
روش های بهینه سازی
تجزیه و تحلیل شبکه های اجتماعی
فرصت ها و چالش های کلان داده ها
سیستم تحلیل گر داده ها
چالش های پژوهش باز برای کلان داده ها
پایگاه داده های NoSql
سیستم های محاسباتی با عملکرد بالا
طرح های ایندکس بیگ دیتا
سیستم های تحلیل گر
کیفیت داده ها
نمایش
امنیت بیگ دیتا
فناوری های نوظهور
مثال کاربردی از یادگیری ماشین جهت تجزیه و تحلیل بیگ دیتا
نتیجه گیری
منابع
کلان داده ترجمه اصطلاح big data ، یک حوزه پژوهشی بالقوه قابل توجهی در دانشگاه ها و جوامع IT امروزی می باشد . در دنیای دیجیتال، میزان داده های تولید شده و ذخیره شده در مدت زمان کوتاهی گسترش یافته است. در نتیجه، این نرخ رشد سریع داده ها با چالش های بسیاری روبرو بوده است. در این تحقیق به یکی از شاخه های مهم Big Data ، با استفاده از پارادایم های ساختارگرایی و کارکردگرایی به تحلیل ریشه ی اپلیکشن های big data و روند فعلی آن می پردازیم. و همچنین بحث جامعی از پیشرفته ترین تکنولوژی های کلان داده از جمله پردازش های دسته ای و سیر داده ها (stream data) ارائه خواهیم داد . حجم داده ها (data volume) همه ساله در جهان انتظار می رود 40٪ ، و 50 بار تا سال 2020 رشد کند (وال مونتگمری، سال 2016). با توجه به وبگاه خبری ساینس دیلی (ScienceDaily ) ، حدود 90 درصد از داده های امروزی در دو سال گذشته ایجاد شده است (ساینس دیلی ، 2016). ارزش بازار کلان داده ها در سال 2010 ، 3.2 میلیارد دلار بود، و انتظار می رود این ارزش در آینده ای نزدیک به 16.9 بیلیون افزایش یابد. (وال-مونتگمری، سال 2016)، پیش بینی شده است که تقاضای مهارت های کلان داده از هم اکنون تا سال 2020 افزایش خواهد یافت. همچنین ، انتظار می رود این تقاضا به تنهایی در انگلستان 160٪ رشد داشته باشد. پردازش و ذخیره ی داده های شرکت وال مارت – که از بزرگترین شرکت های خرده فروشی آمریکایی می باشد بیش از 1 میلیون تراکنش مشتریان در پایگاه های داده مشاهده شده است ، و طبق برآورد های صورت گرفته ، این میزان بیش از 2.5 پتا بایت داده در هر ساعت را شامل می شود.
چکیده
مقدمه
پیدایش اپلیکشن های بیگ دیتا
روند کنونی بیگ دیتا
منابع بیگ دیتا
پیشرفته ترین شیوه ها و تکنولوژی های بیگ دیتا
تکنولوژی های مبتنی بر پردازش دسته ایی
تکنولوژی های مبتنی بر پردازش جریان
شیوه های پردازش کلان داده ها
هشینگ یا درهم سازی
Indexing
فیلتر بلوم
محاسبات موازی یا رایانش ابری
تکنیک های تحلیل کلان داده ها
داده کاوی
وب کاوی
روش نمایش
یادگیری ماشین
روش های بهینه سازی
تجزیه و تحلیل شبکه های اجتماعی
فرصت ها و چالش های کلان داده ها
سیستم تحلیل گر داده ها
چالش های پژوهش باز برای کلان داده ها
پایگاه داده های NoSql
سیستم های محاسباتی با عملکرد بالا
طرح های ایندکس بیگ دیتا
سیستم های تحلیل گر
کیفیت داده ها
نمایش
امنیت بیگ دیتا
فناوری های نوظهور
مثال کاربردی از یادگیری ماشین جهت تجزیه و تحلیل بیگ دیتا
نتیجه گیری
منابع