انتخاب ویژگی با یادگیری ماشین/عمیق

انتخاب ویژگی چیست؟

مساله انتخاب ویژگی، یکی از مسائلی است که در مبحث یادگیری ماشین و همچنین شناسائی آماری الگو مطرح است. ویژگی‌ها تاثیر زیادی بر عملکرد، دقت و کارایی سیستم خواهند داشت. شاید مهم‌ترین بخش برای عملیاتِ داده‌کاویْ و مدسازی هوشمند عملیاتِ انتخابِ ویژگی است. چون، ویژگی‌های نامرتبط یا تا حدودی مرتبط می‌توانند تاثیر منفی بر عملکرد سیستم داشته باشند. پیاده‌سازی روش های انتخاب ویژگی اولین و مهم‌ترین مرحله در طراحی سیستم های هوشمند یادگیری هستند. همچنین، وقتی که ابعاد فضای ویژگی داده‌ها بسیار زیاد است و با معضل بعد مواجه هستیم، استفاده از مجموعه ویژگی‌های مناسب، «هزینه‌های محاسباتی» لازم برای آموزش بهینه سیستم را به شدت کاهش می‌دهد. از سوی دیگر، انتخاب ویژگی با حذف ویژگی‌های غیر مرتبط و تکراری به کاهش ابعاد منجر می‌شود. انتخاب ویژگی در بسیاری از کاربردها اهمیت زیادی دارد، زیرا در این کاربردها تعداد زیادی ویژگی وجود دارد، که بسیاری از آنها یا بلااستفاده هستند و یا اینکه بار اطلاعاتی چندانی ندارند. حذف نکردن این ویژگی­ها مشکلی از لحاظ اطلاعاتی ایجاد نمی­کند ولی بار محاسباتی را برای کاربرد مورد نظر بالا می­برد. و علاوه بر این باعث می­شود که اطلاعات غیر مفید زیادی را به همراه داده­های مفید ذخیره کنیم. انتخاب ویژگی را می‌توان به عنوان فرآیند شناسایی ویژگی‌های مرتبط و حذف ویژگی‌های غیر مرتبط و تکراری تعریف کرد. این کار مزایای زیادی دارد از جمله:

• افرایش دقت و کارایی روش های یادگیری ماشین
• ساده سازی و درک درست از داده
•  کاهش هزینه‌ها و محاسبات زمان و حافظه
• جلوگیری از بیش برازش
• سادگی و قابلیت اطمینان و افزایش سرعت پردازش

برای مساله انتخاب ویژگی، راه حل­ها و الگوریتم­های فراوانی ارائه شده است که بعضی از آنها قدمت سی یا چهل ساله دارند. مشکل بعضی از الگوریتم­ها در زمانی که ارائه شده بودند، بار محاسباتی زیاد آنها بود، اگر چه امروزه با ظهور کامپیوترهای سریع و منابع ذخیره سازی بزرگ این مشکل، به چشم نمی­آید ولی از طرف دیگر، مجموعه­های داده­ای بسیار بزرگ برای مسائل جدید باعث شده است که همچنان پیدا کردن یک الگوریتم سریع برای این کار مهم باشد.

روش های انتخاب ویژگی کدامند؟

روش های Filter

• Mutual-Information
• Roc-auc Or Mse
• Correlation

روش های wrapper

• forward feature selection
• backward feature selection
• Exhaustive feature selection

چالش های انتخاب ویژگی؟

• تنوع داده ها
• ویژگی های مهم کدامند؟
• شباهت و همپوشانی داده ها
• زمان پردازش
• بیش برازش
•  تغییر داده
• مشخص نبودن ویژگی های خوب
• کمبود داده

ویژگی های خوب کدامند؟

• از خود داده انتخاب شوند
• افزونه نباشند
• مرتبط با خروجی باشند
• تمایز بیشتر بین کلاس ها ایجاد کنند
• واریانس درون کلاسی کمینه و واریانس برون کلاسی بیشینه
• …

هدف از این دوره آموزشی: