پایان نامه با کلید واژگان آزمون و خطا، تابع کرنل

نيستند را بطور کارا حل نمايد. با استفاده از بجاي در (25)، ابرصفحه بهينه برابر خواهد بود با :
(معادله 2-27) [3]
با توجه به مسائل گفته، Kernel Trick محاسبات مورد نياز را ساده مي کند شکل(2-5).
1-3-5-2) انواع کرنل ها :
1- چند جمله اي:
2- گوسي:
3- MLP:
4-5-2) مقايسه ماشين هاي بردار پشتيبان با شبکه هاي عصبي :
توسعه شبکه هاي عصبي قبل از آنکه بر اساس اصول نظري انجام گرفته باشد، بر اساس روش هاي ابتکاري و تعداد زيادي از کاربردها و آزمايش ها صورت گرفته است. از سوي ديگر، توسعه ماشين هاي بردار پشتيبان در ابتدا براساس اصول نظري منسجم صورت گرفت و سپس کاربردها و آزمايش ها نيز مورد توجه قرار گرفتند. يکي از مزيت هاي اصلي SVM ها آن است که جواب يک SVM سراسري و يکتا مي باشد. در حاليکه شبکه هاي عصبي عمدتا از وجود چندين کمينه محلي رنج مي برند. برخلاف شبکه عصبي، پيچيدگي محاسباتي مربوط به ماشين هاي بردار پشتيبان به ابعاد فضاي ورودي بستگي ندارد. يکي از دلايلي که به موجب آن عملکرد ماشين هاي بردار پشتيبان در اغلب موارد از عملکرد شبکه هاي عصبي بهتر است، کمتر رخ دادن مشکل برازش در SVM ها مي باشد.
1- 4-5-2) در مرحله آموزش SVM ، هميشه يک کمينه سراسري يافت مي شود. ويژگي هاي هندسي مربوط به ماشين هاي بردار پشتيبان، امکان بررسي بهتر فضاي جواب را فراهم مي سازد.
2-4-5-2) در اغلب موارد از کرنل هاي گوسي استفاده مي شود. نورون هاي پنهان در شبکه هاي عصبي متناظر با بردارهاي پشتيبان مي باشند.
3-4-5-2) برخلاف آنچه در روش هاي مرسوم آماري و شبکه هاي عصبي شاهد هستيم، در ماشين هاي بردار پشتيباني سعي نمي شود تا پيچيدگي مدل با توجه به تعداد خصيصه ها کنترل شود.
4-4-5-2) سيستم هاي يادگيري کلاسيک مانند شبکه هاي عصبي از اين تئوريک رنج مي برند که، معمولا به جواب هاي بهينه محلي همگرا هستند. دراين رابطه، ماشين هاي بردار پشتيباني پيشرفت قابل ملاحضه اي را به نمايش گذاشته اند.
5-4-5-2) ماشين هاي بردار پشتيبان برخلاف شبکه هاي عصبي، بطور خودکار اندازه مدل را انتخاب مي کنند (ازطريق انتخاب بردارهاي پشتيبان)
3-5-2) نقاط ضعف ماشين هاي بردار پشتيبان :
با وجود آنکه SVM ها از ديدگاه عملي و کابردي داراي مزيت هاي قابل توجهي هستند، اما محدوديت هايي نيز دارند. يکي از پرسش هايي که هنوز پاسخ کاملي براي آن يافت نشده است ، نحوه انتخاب پارامترهاي تابع کرنل مي باشد (شکل 2-6 و شکل 2-7.)
شکل2-6 : نمايش خط تفکيک کننده دو کلاس توسط ماشين بردار پشتيبان غيرخطي با C=10 و Sigma=1
شکل2-7 : نمايش خط تفکيک کننده دو کلاس توسط ماشين بردار پشتيبان غيرخطي با C=10 و Sigma=3
قابل ملاحظه است که هرچه مقدار Sigma کمتر باشد تعداد بردارهاي پشتيبان بيشتر خواهد شد. بنابراين بايد براي اين پارامترها مقداري پيدا کنيم که ميزان دقت دسته بندي ما را بهينه کند.
محدوديت دوم در رابطه با اندازه و سرعت مي باشد (هم در آموزش و هم در آزمايش)
SVM ها به محاسبات پيچيده و زمان بر نياز دارند. شايد جدي ترين نقطه ضعف ماشين هاي بردار پشتيبان از نقطه نظر علمي، پيچيدگي الگوريتم بالاي آن ها و همچنين نيزشان به يک حافظه زياد مي باشد.
پردازش داده هاي گسسته، يکي ديگر از مشکلات است.
با اين وجود، SVM ها داراي يک شالوده نظري منسجم بوده و جواب هاي توليد شده توسط آن ها، سراسري و يکتا مي باشد. امروزه ماشين هاي بردار پشتيبان به متداول ترين تکنيک هاي پيش بيني در داده کاوي تبديل و در بيشتر ابزارهاي تجاري داده کاوي بکارگرفته شده اند[3].
فصل سوم : روش تحقيق
1-3) بهينه سازي45
بهينه سازي به فرآيندي گفته مي شود که طي آن چيزي رابهبود مي بخشيم. به عبارت ديگر، بهينه سازي يعني آزمودن حالت هاي مختلف روي يک ايده اوليه و استفاده از اطلاعات بدست آمده جهت بهبود آن ايده.
بصورت دقيق تر مي توان گفت بهينه سازي يعني تنظيم ورودي ها يا ويژگيهاي يک دستگاه، عمليات رياضياتي يا يک آزمايش به منظور دستيابي به خروجي يا جواب کمينه يا بيشينه,[11],[30]. منظور از ورودي، متغيرها هستند. فرآيند يا تابع با عنوان تابع هزينه46 ، تابع هدف47 ويا تابع برازش48 شناخته مي شود و خروجي هم ميزان هزينه يا برازش است.
با توجه به اينکه هزينه چيزي است که بايد کمينه شده و به حداقل برسد، ما بهينه سازي را معادل کمينه سازي49 در نظر مي گيريم. البته گاهي اوقات بيشينه سازي50 يک تابع منطقي تر بنظر مي رسد. براي بيشينه سازي يک تابع کافي است يک علامت منفي جلوي خروجي قرار داده و به انجام کمينه سازي پرداخت. به عنوان مثال بيشينه سازي عبارت در بازه معادل کمينه سازي عبارت در همين بازه مي باشد.
2-3) مقايسه ريشه يابي51 با بهينه سازي:
روش هاي بهينه سازي مشابه روش هاي ريشه يابي هستند، با اين تفاوت که مشکل ترند. احاطه کردن ريشه يا مقدار بهينه گامي بزرگ در دستيابي به آن محسوب مي شود. مثلا در ريشه يابي و در حالت تک متغيره با يافتن يک نقطه مثبت و يک نقطه منفي مي توان ريشه را احاطه کرد. اما در بهينه سازي احاطه کردن نقطه کمينه مستلزم داشتن سه نقطه است، که نقطه مياني داراي مقداري کمتر از هر يک از دو نقطه ي انتهايي است.
3-3) انواع بهينه سازي:
الگوريتم هاي بهينه سازي به شش دسته کلي تقسيم بندي مي شوند:
1-3-3) روش بهينه سازي آزمون و خطا52 : عبارت است از فرآيند تنظيم متغيرهايي که روي خروجي تاثيرگذارند، بدون اينکه در مورد فرآيند سازنده ي خروجي چيز زيادي بدانيم مانند کاري که در کشف و پالايش پني سيلين به عنوان يک آنتي بيوتيک انجام گرفت.
2-3-3) بهينه سازي يک بعدي و چند بعدي: اگر مسئله ما فقط يک متغير داشته باشد مي گوييم بهينه سازي يک بعدي53 است. مسئله اي که بيش از يک متغيير دارد مستلزم بهينه سازي چند بعدي54 است. با افزايش تعداد ابعاد، بهينه سازي هم مشکل تر مي شود. به همين خاطر بسياري از روش هاي بهينه سازي چند بعدي به يک سري روش هاي يک بعدي تعميم پيدا مي کنند.
3-3-3) بهينه سازي ايستا و پويا: در بهينه سازي پويا خروجي تابع زمان است، در حاليکه در بهينه سازي ايستا55 خروجي مستقل از زمان است.مثل پيدا کردن بهترين مسير از منزل تا محل کار که از لحاظ مسافت حالت ايستا مي باشد. اما مي دانيم که کوتاه ترين مسير لزوما سريع ترين مسير نمي باشد. يافتن سريع ترين مسير يک مسئله پويا مي باشد که راه حل آن به مواردي چون زمان روز،آب و هوا، تصادفات و مانند اينها بستگي دارد.
4-3-3) بهينه سازي گسسته و پيوسته: از جنبه ديگر متغيرهاي بهينه سازي به دو دسته گسسته و پيوسته تبديل مي شود.متغيرهاي گسسته مي توانند تنها تعداد متنهاي از مقادير را بگيرند، درحاليکه متغيرهاي پيوسته مي توانند تعدادي متنهاي از مقادير را اختيار بکنند.مثلا اگر بخواهيم بدانيم کارهاي موجود در ليست را به چه ترتيبي انجام بدهيم بهينه سازي گسسته مي باشد.
5-3-3) بهينه سازي مقيد و نامقيد: متغيرها اغلب داراي محدوده ها يا قيودي هستند. بهينه سازي مقيد، تساوي ها و ناتساوي هاي متناظر را در تابع هزينه ترکيب مي کند. اين در حاليست که بهينه سازي نامقيد اجازه مي دهد متغيرها هر مقدار دلخواهي بگيرند.
6-3-3) بهينه سازي کمينه يابي و تصادفي: بعضي از الگوريتم ها براي کمينه سازي هزينه کار خود را با يک مجموعه اوليه از مقادير متغيرها آغاز مي کنند. اينگونه کمينه ياب ها براحتي درون کمينه هاي محلي گرفتار مي شوند، اما داراي سرعت همگرايي56 بالايي هستند. اين الگوريتم ها با عنوان الگوريتم هاي بهينه سازي سنتي57 شناخته مي شوند و عموما بر اساس روش هاي مبتني بر حساب عمل مي کنند. در اين روش ها حرکت از يک مجموعه متغير به مجموعه ي ديگر بر اساس يک دنباله معين از مراحل انجام مي شود. در طرف مقابل روش هاي تصادفي قرار دارند که براي يافتن مجموعه متغيرها از محاسبات مبتني بر احتمال استفاده مي کنند. روش هاي تصادفي ديرتر همگرا مي شوند اما در يافتن کمينه سراسري موفق ترند[2].
4-3) فراابتکاري58
سيستم‌هاي پيچيد? اجتماعي، تعداد زيادي از مسائل داراي طبيعت ترکيباتي را پيش روي ما قرار مي‌دهند. مسير کاميون‌هاي حمل‌ونقل بايد تعيين شود، انبارها يا نقاط فروش محصولات بايد جايابي شوند، شبکه‌هاي ارتباطي بايد طراحي شوند، کانتينرها بايد بارگيري شوند، رابط‌هاي راديويي مي‌بايست داراي فرکانس مناسب باشند، مواد اوليه چوب، فلز، شيشه و چرم بايد به اندازه‌هاي لازم بريده شوند؛ از اين دست مسائل بي‌شمارند[19],[12],[31]. تئوري پيچيدگي به ما مي‌گويد که مسائل ترکيباتي اغلب چندجمله‌اي59 نيستند. اين مسائل در اندازه‌هاي کاربردي و عملي خود به قدري بزرگ هستند که نمي‌توان جواب بهينه آنها را در مدت زمان قابل پذيرش به دست آورد. با اين وجود، اين مسائل بايد حل شوند و بنابراين چاره‌اي نيست که به جواب‌هاي زير بهينه بسنده نمود؛ به گونه‌اي که داراي کيفيت قابل پذيرش بوده و در مدت زمان قابل پذيرش به دست آيند. چندين رويکرد براي طراحي جواب‌هاي با کيفيت قابل پذيرش تحت محدوديت زماني قابل پذيرش پيشنهاد شده است. الگوريتم‌هايي وجود دارند که مي‌توانند يافتن جواب‌هاي خوب در فاصله مشخصي از جواب بهينه را تضمين کنند که به آنها الگوريتم‌هاي تقريبي مي‌گويند. الگوريتم‌هاي ديگري هستند که تضمين مي‌دهند با احتمال بالا جواب نزديک بهينه توليد کنند که به آنها الگوريتم‌هاي احتمالي گفته مي‌شود. جداي از اين دو دسته، مي‌توان الگوريتم‌هايي را پذيرفت که هيچ تضميني در ارائه جواب ندارند اما بر اساس شواهد و سوابق نتايج آنها، به طور متوسط بهترين تقابل کيفيت و زمان حل براي مسأله مورد بررسي را به همراه داشته‌اند؛ به اين الگوريتم‌ها، الگوريتم‌هاي ابتکاري گفته مي‌شود.
ابتکاري ‌ها عبارتند از معيارها، روشها يا اصولي براي تصميم‌گيري بين چندين خط‌مشي و انتخاب اثربخش‌ترين براي دستيابي به اهداف موردنظر. الگوريتم‌هاي ابتکاري نتيج? برقراري اعتدال بين دو نياز هستند: نياز به ساخت معيار‌هاي ساده و در همان زمان توانايي تمايز درست بين انتخاب‌هاي خوب و بد.
يک عمل ابتکاري مي‌تواند حسابي سرانگشتي باشد که براي هدايت يک دسته از اقدامات به کار مي‌رود. براي مثال، يک روش مشهور براي انتخاب طالبي رسيده عبارتست از فشار دادن محل اتصال به ريشه از يک طالبي نامزدِ انتخاب و سپس بو کردن آن محل؛ اگر بوي آن محل مانند بوي داخل طالبي باشد آن طالبي به احتمال زياد رسيده است. اين قاعده سرانگشتي نه تضمين مي‌کند که تنها طالبي‌هاي رسيده به عنوان نامزد انتخاب شوند و نه تضمين مي‌کند که طالبي‌هاي رسيده آزمايش‌شده، رسيده تشخيص داده شوند اما به هر حال اين روش، اثربخش‌ترين روش شناخته شده است.
به عنوان مثالي ديگر از استفاده ابتکاري ‌ها، يک استاد بزرگ شطرنج را در نظر بگيريد که با انتخاب بين چندين حرکت ممکن روبرو شده است. وي ممکن است تصميم بگيرد که يک حرکت خاص، اثربخش‌ترين حرکت خواهد بود زيرا موقعيتي فراهم مي‌آورد که به نظر مي‌رسد بهتر از موقعيت‌هاي حاصل از حرکت‌هاي ديگر باشد. به کارگيري معيار به نظر مي‌رسد خيلي ساده‌تر از تعيين دقيق حرکت يا حرکاتي خواهد بود که حريف را مجبور به مات کند. اين واقعيت که اساتيد بزرگ شطرنج همواره پيروز بازي نخواهند بود نشان دهنده اين است که اعمال ابتکاري آنها انتخاب اثربخش‌ترين حرکت را تضمين نمي‌کنند. نهايتا‏ً وقتي از آنها خواسته ‌مي‌شود که حرکت ابتکاري خود را تشريح نمايند آنها فقط توصيفي ناقص از قواعدي ارائه مي‌دهند و به نظر خود آنها،

Author: y7oozita

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *