یادگیری ماشین (Machine Learning) چیست؟
یادگیری ماشین روشی برای تجزیهوتحلیل داده جهت اتوماسیون ساخت مدل تحلیلی است. این فناوری شاخهای از هوش مصنوعی و مبتنی بر این ایده است که سیستمها میتوانند از دادهها یاد بگیرند، الگوها را شناسایی کنند و با کمترین دخالت انسان تصمیم بگیرند. آرتور ساموئل واژه Machine Learning را در سال ۱۹۵۹ ابداع کرد. او پیشگام در هوش مصنوعی و بازیهای رایانهای بود و ماشین لرنینگ را بهعنوان رشته مطالعهای که به رایانهها توانایی یادگیری بدون برنامهریزی صریح را میدهد تعریف نمود.
توماس اچ. داونپورت رهبر فکری آنالیتیکس در روزنامه وال استریت ژورنال (یکی از مهمترین و پرنفوذترین روزنامههای اقتصادی و سیاسی در جهان) میگوید: «معمولاً انسانها میتوانند یک یا دو مدل خوب در هفته ایجاد کنند؛ اما یادگیری ماشین میتواند هزاران مدل در هفته ایجاد نماید.» این عبارت بیانگر اهمیت بسیار بالای این فناوری است.
فهرست مطالب:
بهترین زبان برنامهنویسی برای يادگيري ماشين کدام است؟
چه صنایعی از يادگيري ماشين استفاده میکنند؟
يادگيري ماشين چگونه کار میکند؟
روشهای محبوب يادگيري ماشين کداماند؟
تفاوت میان داده کاوی، يادگيري ماشين و یادگیری عمیق چیست؟
برخی از اصطلاحات یادگیری ماشین
- مدل: مدل که بهعنوان فرضیه نیز شناخته میشود، برگرفته از نمایش ریاضی یک فرآیند دنیای واقعی است. الگوریتمها به همراه دادههای آموزشی یک مدل از این مفهوم را ایجاد میکنند.
- ویژگی: یک ویژگی یا پارامتر قابلاندازهگیری از مجموعه داده است. (ویژگی در این دانش همان متغیر در آمار است و تغییر در آمار، ایجاد ویژگی در این فناوری نامیده میشود.)
- بردار ویژگی: مجموعهای از ویژگیهای عددی متعدد است که متخصصان از آن بهعنوان ورودی مدل این فناوری برای رسیدن به اهداف آموزشی و پیشبینی استفاده میکنند.
- آموزش: یک الگوریتم مجموعهای از دادهها را بهعنوان ورودی دریافت میکند. الگوریتم یادگیری الگوهایی را در دادههای ورودی پیدا میکند و مدل را برای نتایج مورد انتظار آموزش میدهد. خروجی فرآیند آموزش مدل این فناوری است.
- پیشبینی: هنگام آمادهشدن مدل این فناوری میتوان آن را با دادههای ورودی برای ارائه یک خروجی پیشبینیشده تغذیه کرد.
- هدف (برچسب): میزانی که مدلها باید پیشبینی کنند، هدف یا برچسب نامیده میشود. (در این علم منظور از هدف برچسب است، اما در علم آمار منظور از هدف متغیر وابسته است.)
- تطبیق بیش از حد: مدلهای این فناوری هنگام آموزش، حجم عظیمی از دادهها تمایل به تجربه کسب کردن از نویز و ورودیهای دادههای نادرست دارند. در این مرحله مدل نمیتواند دادهها را بهدرستی مشخص نماید.
- عدم تناسب: عدم تناسب هنگامی رخ میدهد که مدل نتواند روند اساسی در دادههای ورودی را رمزگشایی کند و دقت این مدل را از بین میبرد. به عبارت ساده، مدل یا الگوریتم به اندازه کافی با دادهها تناسب ندارد.
نگاهی گذرا به تاریخچه
پیش از چند دهه گذشته (حدود ۴۰ تا ۵۰ سال قبل)، این فناوری علمی تخیلی بود، اما امروزه به بخشی از زندگی روزمره انسانها تبدیل شده است. این فناوری از ماشینهای خودران گرفته تا دستیار مجازی آمازون همانند الکسا را شامل میشود. بااینحال، ایده این مفهوم بسیار قدیمی است و سابقه طولانی دارد. در ادامه به ذکر برخی از نقاط عطف تاریخچه Machine Learning میپردازیم:
-
تاریخچه اولیه (قبل از ۱۹۴۰)
سال ۱۸۳۴: چارلز بابیج (فیلسوف، تحلیلگر و ریاضیدان انگلیسی) دستگاهی را ابداع کرد که میتوانست با کارتهای پانچ برنامهریزی شود. با وجود اینکه این دستگاه هرگز ساخته نشد، اما تمام کامپیوترهای مدرن بر ساختار منطقی آن تکیه دارند.
سال ۱۹۳۶: آلن تورینگ نظریهای ارائه کرد که چگونه یک ماشین میتواند مجموعهای از دستورالعملها را تعیین و اجرا کند.
-
عصر کامپیوترهای دارای برنامه ذخیرهشده
سال ۱۹۴۰: اولین کامپیوتر دستی به نام ENIAC اختراع شد که ابتداییترین رایانه همه منظوره الکترونیکی محسوب میگشت. پسازآن کامپیوترهای دارای برنامههای ذخیرهشده مانند EDSAC در سال ۱۹۴۹ و EDVAC در سال ۱۹۵۱ اختراع شدند.
سال ۱۹۴۳: یک شبکه عصبی انسانی همراه با یک مدار الکتریکی مدلسازی شد. در سال ۱۹۵۰، دانشمندان استفاده از ایده خود در کار را آغاز کردند و چگونگی عملکرد نورونهای انسانی را تجزیهوتحلیل نمودند.
-
ماشینآلات کامپیوتری و هوشمند
سال ۱۹۵۰: آلن تورینگ مقاله مهمی با عنوان ماشین آلات کامپیوتری و هوش در موضوع هوش مصنوعی منتشر کرد. او در مقاله خود میپرسد: «آیا ماشینها میتوانند فکر کنند؟!»
-
هوش ماشینی در بازیها
سال ۱۹۵۲: آرتور ساموئل که از پیشگامان این فناوری بهشمار میرود، برنامهای را ایجاد کرد که به کامپیوتر IBM برای انجام یک بازی چکرز کمک میکرد.
سال ۱۹۵۹: اصطلاح یادگیری ماشین برای اولین بار توسط آرتور ساموئل ابداع شد.
-
اولین زمستان هوش مصنوعی
مدت زمان ۱۹۷۴ تا ۱۹۸۰ زمان سختی برای محققان هوش مصنوعی و این فناوری بود و این مدت به عنوان زمستان هوش مصنوعی نامیده شده است. در این مدت، شکست ترجمه ماشینی رخ داد و مردم علاقه و رغبت خود را به هوش مصنوعی کاهش دادند که منجر به کاهش بودجه به تحقیقات توسط دولت گشت.
-
از تئوری تا واقعیت
سال ۱۹۵۹: اولین شبکه عصبی برای حذف پژواک روی خطوط تلفن با استفاده از یک فیلتر تطبیقی برای حل یک مشکل واقعی استفاده شد.
سال ۱۹۸۵: تری سجنوفسکی (پروفسور موسسه سالک) و چارلز روزنبرگ یک شبکه عصبی NETtalk را اختراع کردند که توانست به خود چگونگی تلفظ درست ۲۰۰۰۰ کلمه در یک هفته را بیاموزد.
سال ۱۹۹۷: کامپیوتر هوشمند عمیق آیبیام در بازی شطرنج مقابل گری کاسپاروف متخصص شطرنج پیروز شد و اولین رایانهای بود که یک متخصص شطرنج انسانی را شکست داد.
-
قرن ۲۱
سال ۲۰۰۶: جفری هینتون (روانشناس شناختی و دانشمند علوم کامپیوتر متولد بریتانیا) عنوان جدیدی برای تحقیقات شبکه عصبی به نام یادگیری عمیق مطرح نمود که امروزه به یکی از پرطرفدارترین فناوریها تبدیل شده است.
سال ۲۰۱۲: گوگل یک شبکه عصبی عمیق ایجاد کرد که میتوانست تصویر انسان و گربه را در ویدیوهای یوتیوب تشخیص دهد.
سال ۲۰۱۴: DeepFace یک شبکه عصبی عمیق بود که توسط فیس بوک ایجاد شد و آنها ادعا کردند که این شبکه میتواند یک شخص را با دقت مشابه انسانها تشخیص دهد.
تکامل ماشین لرنینگ
امروزه این دانش به دلیل فناوریهای محاسباتی جدید همانند گذشته نیست. این نظریه از تشخیص الگو و این تئوری که کامپیوترها توانایی آموختن بدون برنامهریزی برای انجام وظایف خاص را دارند، ایجاد شد. محققان علاقهمند به هوش مصنوعی قصد داشتند از یادگیرپذیر بودن کامپیوترها از دادهها آگاه شوند. در این فناوری روند تکراری اهمیت بسزایی دارد؛ چراکه با قرارگرفتن مدلها در معرض دادههای جدید میتوانند به طور مستقل سازگار گردند. آنها با یادگیری از محاسبات قبلی میتوانند تصمیمات و نتایج قابل اعتماد و تکرار را تولید نمایند. این علم بهتازگی مطرح نشده است اما امروزه با وجود گسترش عصر فناوری اطلاعات شتاب تازهای به خود گرفته است.
قدمت الگوریتمهای این فناوری طولانی است. توانایی اعمال خودکار محاسبات پیچیده ریاضی بر روی دادههای بزرگ به صورت مکرر و سریع جزو پیشرفتهای اخیر است.
یادگیری ماشین و هوش مصنوعی
هوش مصنوعی (AI) علمی گسترده با مضمون تقلید کامپیوترها از تواناییهای انسان است. یادگیریماشین زیرمجموعه خاصی از هوش مصنوعی است که برای ماشینها راه و رسم یادگرفتن از تجربیات خود را فراهم میکند؛ برای مثال، هنگام خرید از وبسایتها جستجوی مرتبطی مانند افرادی که خرید کردهاند، اشخاصی که محصول موردنظر را مشاهده کردهاند و مواردی از این قبیل نشان داده میشود.
چرا یادگیری ماشین مهم است؟
با استفاده از این دانش امکان تولید سریع و خودکار مدلهایی وجود دارد که میتوانند دادههای بزرگتر و پیچیدهتر را تجزیهوتحلیل نمایند و نتایج سریعتر و دقیقتری را حتی در مقیاسهای بسیار بزرگ ارائه دهند و کسبوکارها با ساخت مدلهای دقیق شانس بیشتری برای شناسایی فرصتهای سودآور یا اجتناب از خطرات ناشناخته خواهند داشت.
صاحبان کسبوکارها با کمک ماشین لرنینگ میتوانند کارهای روتین را خودکار کنند. همچنین، به اتوماسیون و ایجاد سریع مدلهایی برای کمک به تجزیهوتحلیل دادهها کمک میکند. صنایع مختلف برای بهینهسازی عملیات خود و اتخاذ تصمیمات هوشمندانه به مقادیر زیادی داده وابسته هستند. این فناوری به ایجاد مدلهایی کمک میکند که بتوانند مقادیر زیادی از دادههای پیچیده را برای ارائه نتایج دقیق پردازش و تجزیهوتحلیل نمایند. این مدلها دقیق و مقیاسپذیر بوده و با زمان چرخش کمتری به فعالیت خود ادامه میدهند. صاحبان مشاغل با ساخت مدلهای يادگيري ماشين دقیق، میتوانند از فرصتهای سودآور استفاده کرده و از خطرات ناشناخته اجتناب نمایند. کاربردهای فراوان این مفهوم زمینه را برای درخشش کارشناسان یادگیری ماشین بهعنوان یک متخصص حرفهای افزایش میدهد.
یادگیری ماشین از دیدگاه صاحبنظران
پروفسور توماس دبلیو مالون مدیر مؤسس مرکز اطلاعات جمعی MIT میگوید: « ماشین لرنینگ تنها پس از صرف پنج یا ۱۰ سال گذشته به یک روش حیاتی بدل گشته است و دستیابی به ابعاد مختلف هوش مصنوعی را امکانپذیرتر میکند.» البته به همین علت برخی افراد هوش مصنوعی را مترادف با آن میپندارند؛ درحالیکه این مفهوم تنها زیرمجموعهای از آن است.
با گسترش روزافزون این فناوری روزبهروز افراد بیشتری با آن آشنا میشوند. یک نظرسنجی Deloitte (یک شبکه خدمات حرفهای چندملیتی و یکی از چهار مؤسسه بزرگ حسابرسی جهان) در سال ۲۰۲۰ نشان داد که ۶۷ درصد از شرکتها از این فناوری استفاده میکنند و ۹۷ درصد از آنها در حال استفاده یا برنامهریزی جهت بهکارگیری این تکنولوژی در آینده هستند.
این فناوری گستره زیادی را دربر میگیرد و از تولید گرفته تا خردهفروشی و بانکداری تا نانواییها را شامل میشود. الکساندر مدری (استاد علوم کامپیوتر MIT) برای قابل استقرار بودن این دانش گفت: « Machine Learning در اغلب صنایع در حال تغییر است و یا تغییر خواهد کرد و رهبران باید اصول اساسی، پتانسیلها و محدودیتهای موجود در طول این تغییر را درک کنند. با اینکه تمام صنایع نیازی به دانستن جزئیات فنی ندارند، اما باید بدانند که فناوری چه فعالیتی انجام میدهد و قادر به انجام چه کاری نیست و با توجه به غیر پیشبینی بودن آینده کسی از اتقافات پیشرو آگاه نخواهد بود.» اتفاقات بیانشده شامل آگاهی از پیامدهای اجتماعی و اخلاقی این دانش است.
برای ایجاد سیستمهای یادگیری ماشین مناسب چه مواردی لازم است؟
- قابلیتهای آمادهسازی دادهها
- الگوریتمهای پایه و پیشرفته
- اتوماسیون و فرآیندهای تکرار شونده
- مقیاسپذیری
- مدلسازی گروه
بهترین زبان برنامهنویسی برای یادگیری ماشین کدام است؟
در ادامه برخی از زبانهای برنامهنویسی که میتوانند برای برنامههای این فناوری استفاده شوند را نام میبریم:
- python
- R
- C++
- JavaScript
- Java
- C#
- Julia
- Shell
- TypeScript
- Scala
Python زبان محبوب یادگیری ماشین
در بین موارد بیانشده، پایتون محبوبیت بیشتری دارد که در ادامه به آن میپردازیم:
پایتون به دلیل خوانایی و پیچیدگی نسبتاً کمتر در مقایسه با سایر زبانهای برنامهنویسی مشهور است. کاربردهای این فناوری شامل مفاهیم پیچیدهای مانند حساب دیفرانسیل و انتگرال و جبر خطی است که پیادهسازی آن گاو نر میخواهد و مرد کهن! و زمان و تلاش زیادی را میطلبد. استفاده از زبان برنامهنویسی پایتون حجم فعالیتهای مربیان را با پیادهسازی سریع برای تائید یک ایده میسر میکند. پایتون در انتخاب بین برنامهنویسی شیءگرا یا اسکریپت، انعطافپذیری را فراهم میکند.
همچنین، نیازی به کامپایل مجدد کد نیست و توسعهدهندگان میتوانند هرگونه تغییری را اعمال نموده و فوراً نتایج را مشاهده کنند. پایتون یک زبان برنامهنویسی همه کاره است و میتواند بر روی هر پلتفرمی از جمله ویندوز، مک او اس، لینوکس، یونیکس و غیره اجرا شود. علاوهبراین، کدها هنگام مهاجرت از یک پلتفرم به پلتفرم دیگر نیاز به تغییرات و انطباقهای جزئی دارند و آماده فعالیت بر روی پلتفرم جدید هستند. البته برای دستیابی به عملکرد و نتایج دلخواه میتوان از پایتون در کنار سایر زبانها استفاده نمود. از دیگر مزایای استفاده از پایتون در این دانش، وجود کتابخانههای از پیش ساخته شده است. در ادامه برخی از آنها را نام میبریم: بستههای مختلفی برای انواع مختلف برنامهها وجود دارد که در زیر به آنها اشاره میشود:
- استفاده از Numpy،OpenCV و Scikit هنگام کار با تصاویر
- NLTK همراه با Numpy و Scikit هنگام کار مجدد با متن
- Librosa برای برنامههای صوتی
- TensorFlow و Pytorch برای یادگیری عمیق برنامههای کاربردی
- Scipy برای محاسبات علمی
- جنگو برای یکپارچهسازی برنامههای کاربردی وب
- پانداها برای ساختارهای داده و تجزیهوتحلیل سطح بالا
چه صنایعی از یادگیری ماشین استفاده میکنند؟
اغلب صنایعی که با مقادیر زیادی داده کار میکنند، ارزش این فناوری را تشخیص دادهاند. با جمعآوری بینش از این دادهها (معمولاً در بیدرنگ (Time Real)) صاحبان کسبوکارها میتوانند با کارآمدی بیشتری فعالیت کرده و یا نسبت به رقبا برتری کسب نمایند. این الگوریتمها به ساختن سیستمهای هوشمندی کمک میکنند که میتوانند از تجربیات گذشته و دادههای تاریخی خود برای بهدست آوردن نتایج دقیق بیاموزند. ازاینرو، بسیاری از صنایع از راهحلهای این فناوری برای مشکلات تجاری خود یا ایجاد محصولات و خدمات جدید و بهتر استفاده میکنند. در ادامه به ذکر برخی از آنها میپردازیم:
-
خدمات مالی
بانکها و سایر مشاغل در صنعت مالی از این فناوری برای دو هدف کلیدی استفاده میکنند:
- شناسایی بینشهای مهم در دادهها
- جلوگیری از تقلب
این بینش میتواند فرصتهای سرمایهگذاری را شناسایی کند و یا به سرمایهگذاران کمک نماید تا در بهترین زمان ممکن به معاملات خود بپردازند. علاوهبراین، ماشین لرنینگ و داده کاوی میتوانند مشتریان دارای پروفایلهای پرخطر را شناسایی کنند و یا از نظارت سایبری برای مشخصکردن علائم هشداردهنده کلاهبرداری استفاده نمایند.
همچنین، این فناوری با کمک الگوریتمهایی که توانایی تجزیهوتحلیل هزاران منبع داده را به طور همزمان دارند، به تصمیمگیری بهتر در معاملات کمک میکند. امتیازدهی اعتباری و پذیرهنویسی از دیگر برنامههای کاربردی خدمات مالی بهشمار میروند. رایجترین برنامه در فعالیتهای روزمره افراد نیز دستیارهای شخصی مجازی مانند سیری و الکسا هستند.
-
دولت
سازمانهای دولتی مانند امنیت عمومی و شرکتهای خدماتی نیاز خاصی به این تکنولوژی دارند، چراکه آنها با دارا بودن منابع متعددی از دادهها میتوانند برای کسب بینش استخراج شوند؛ برای مثال، تجزیهوتحلیل دادههای حسگر شیوههایی را برای افزایش کارایی و صرفهجویی در هزینهها شناسایی میکنند. همچنین، میتوانند در شناسایی تقلب و به حداقل رساندن سرقت هویت کمک نمایند.
-
مراقبتهای بهداشتی
این فناوری روندی رو به رشد با یک نمودار نمایی در صنعت مراقبتهای بهداشتی است که به لطف ظهور دستگاههای پوشیدنی و حسگرهایی پدید آمده است. این دستگاهها میتوانند از دادهها برای ارزیابی سلامت بیمار در بیدرنگ استفاده کنند. علاوهبراین، این فناوری میتواند به کارشناسان پزشکی کمک کند تا دادهها را برای شناسایی روندها یا علائم قرمزی که ممکن است منجر به تشخیص و درمان بهتر شوند، تجزیهوتحلیل کنند.
کشف دارو در مراحل اولیه یکی دیگر از کاربردهای مهم این فناوری محسوب میشود که شامل فناوریهایی مانند توالییابی نسل بعدی است. آزمایشات بالینی برای تکمیل و ارائه نتایج هزینه و زمان زیادی را صرف میکنند. استفاده از تجزیهوتحلیل پیشبینیکننده مبتنی بر این دانش میتواند عوامل ذکرشده را بهبود ببخشد و نتایج بهتری به همراه داشته باشد. فناوریهای این تکنولوژی برای پیشبینی شیوع بیماریها امری حیاتی هستند. دانشمندان در سراسر جهان از این فناوریها برای پیشبینی شیوع بیماریهای همهگیر استفاده میکنند.
-
بازاریابی و فروش
این فناوری الگوریتمهای امتیازدهی سرنخ را با گنجاندن پارامترهای مختلف مانند بازدید از وبسایت، ایمیلهای باز شده، بارگیریها و کلیکها برای امتیاز دادن به هر لید (مشتری راغب) بهبود میبخشد. همچنین این فناوری به کسبوکارها کمک میکند تا مدلهای قیمتگذاری خود را با استفاده از تکنیکهای رگرسیون برای پیشبینی بهینه کنند.
یکی دیگر از برنامههای ضروری برای سنجش پاسخ مصرفکننده به یک محصول خاص یا یک ابتکار بازاریابی، تجزیهوتحلیل احساسات است. ماشینلرنینگ به برندها برای بینایی کامپیوتر کمک میکند تا محصولات خود را در تصاویر و ویدیوهای آنلاین شناسایی نمایند. چت باتها نیز با کمک این مفهوم پاسخگوتر و هوشمندتر میگردند.
وبسایتهای آنلاینی که محصولات احتمالی مشتریان را بر اساس علاقهمندیها و خریدهای قبلی آنها توصیه میکنند؛ از این تکنولوژی برای تجزیهوتحلیل سابقه خرید افراد استفاده مینمایند. خردهفروشها برای جمعآوری دادهها، تجزیهوتحلیل و استفاده از آن برای شخصیسازی تجربه خرید، اجرای کمپینهای بازاریابی، بهینهسازی قیمت، برنامهریزی عرضه کالا و بینش مشتری به این فناوری متکی هستند.
-
سیستمهای توصیه
امروزه بسیاری از کسبوکارها از سیستمهای توصیه برای برقراری ارتباط مؤثر با کاربران در سایت خود استفاده میکنند. میتواند محصولات، فیلمها، سریالهای وب، آهنگها و موارد دیگر مرتبط را توصیه کند. مهمترین موارد استفاده از سیستمهای توصیه، سایتهای تجارت الکترونیک مانند آمازون، فلیپ کارت و بسیاری دیگر، همراه با اسپاتیفای، نتفلیکس و سایر کانالهای پخش جریانی وب هستند.
-
نفت و گاز
یافتن منابع انرژی جدید تجزیهوتحلیل مواد معدنی در زمین، پیشبینی خرابی سنسورهای پالایشگاه، سادهکردن توزیع نفت برای افزایش کارآمدی و مقرونبهصرفهتر کردن آن تنها برخی از مزایای استفاده از این فناوری در حال گسترش است.
-
حملونقل
تجزیهوتحلیل دادهها برای شناسایی الگوها و روندها کلید اصلی صنعت حملونقل است که متکی بر کارآمدتر کردن مسیرها و پیشبینی مشکلات بالقوه برای افزایش سود است. تجزیهوتحلیل دادهها و جنبههای مدلسازی این فناوری ابزار مهمی برای شرکتهای تحویل، حملونقل عمومی و سایر سازمانهای آن هستند.
-
تشخیص چهره و تصویر
رایجترین کاربرد این فناوری تشخیص چهره است. از این کاربرد در موارد بسیاری از جمله اهداف امنیتی مانند شناسایی مجرمان، جستجوی افراد گمشده، کمک به پزشکی قانونی، تحقیقات بازاریابی هوشمند، تشخیص بیماریها، حضور در مدارس و موارد دیگر استفاده میشود.
-
تشخیص خودکار گفتار
تشخیص خودکار گفتار یا به اختصار ASR، برای تبدیل گفتار به متن دیجیتال استفاده میشود. کاربردهای ASR در احراز هویت کاربران بر اساس صدای آنها و انجام وظایف بر اساس ورودی صدای انسان است. الگوهای گفتار و واژگان برای آموزش مدل به سیستم وارد میشوند. در حال حاضر سیستمهای ASR کاربردهای متنوعی در حوزههای زیر دارند:
- کمکهای پزشکی
- رباتیک صنعتی
- پزشکی قانونی و اجرای قانون
- دفاع و هوانوردی
- صنعت مخابرات
- اتوماسیون خانگی و کنترل دسترسی به امنیت
- فناوری اطلاعات و لوازم الکترونیکی مصرفی
یادگیری ماشین چگونه کار میکند؟
چهار مرحله کلیدی وجود دارد که باید هنگام ایجاد یک مدل از این فناوری توجه خود را به آن معطوف نمود:
-
انتخاب و آمادهسازی مجموعهای از دادهها
دادههای آموزشی نماینده دادههایی هستند که برنامه ماشین لرنینگ برای تنظیم پارامترهای مدل دریافت میکند. برخی اوقات دادههای آموزشی برای فراخوانی طبقهبندیها و یا مقادیر مورد انتظار جهت پیشبینی برچسبگذاری میشوند. ممکن است سایر دادههای آموزشی بدون برچسب باشند، بنابراین مدل باید ویژگیها را استخراج کرده و خوشهها را بهعنوان بخشی مستقل اختصاص دهد.
دادهها برای برچسبگذاری باید به یک زیرمجموعه آموزشی و یک زیر مجموعه آزمایشی تقسیم شوند. زیرمجموعه اول برای آموزش مدل و زیرمجموعه دوم برای ارزیابی اثربخشی مدل و یافتن راههایی برای بهبود آن استفاده میشود.
-
انتخاب یک الگوریتم برای اعمال در مجموعه دادههای آموزشی
در وهله نخست، نوع الگوریتم یادگیری ماشین انتخابشده به چند جنبه بستگی دارد:
- استفاده از دادههای آموزشی برچسبگذاری شده برای پیشبینی یک مقدار یا طبقهبندی
- خوشهبندی یا کاهش ابعاد برای استفاده از دادههای آموزشی بدون برچسب
- حجم دادههای موجود در مجموعه آموزشی
- ماهیت مسئله به دنبال حل توسط مدل
معمولا برای پیشبینی یا طبقهبندی از الگوریتمهای رگرسیون مانند رگرسیون حداقل مربعات معمولی یا رگرسیون لجستیک استفاده میگردد. همچنین، برای دادههای بدون برچسب از الگوریتمهای خوشهبندی مانند k میانگین و یا نزدیکترین همسایه استفاده میشود. برخی از الگوریتمها مانند شبکههای عصبی را میتوان برای کار با مدلها خوشهبندی و پیشبینی نمود.
-
آموزش الگوریتم ساخت مدل
آموزش الگوریتم فرآیند تنظیم متغیرها و پارامترهای مدل برای پیشبینی دقیقتر نتایج مطلوب است. پروسه آموزش الگوریتم ماشین لرنینگ معمولاً تکراری است و با توجه به مدل انتخابی از انواع روشهای بهینهسازی استفاده میکند. روشهای بهینهسازی آموزش الگوریتم ساخت مدل نیازی به مداخلات انسانی بهعنوان بخشی از قدرت يادگيري ماشين ندارند.
-
استفاده و بهبود مدل
آخرین مرحله این است که دادههای جدید به مدل را بهعنوان وسیلهای برای بهبود اثربخشی و دقت آن در طول زمان تغذیه نمود. خواستگاه اطلاعات جدید بستگی به ماهیت مشکلی دارد که باید حل شود؛ برای مثال، یک مدل Machine Learning برای خودروهای خودران، اطلاعات دنیای واقعی در مورد شرایط جاده، اشیاء و قوانین ترافیک را دریافت میکند.
روشهای محبوب یادگیری ماشین کداماند؟
-
یادگیری تحت نظارت
الگوریتمها با استفاده از نمونههای برچسبگذاریشده همانند ورودیهای دارای خروجی موردنظر مشخص آموزش داده میشوند؛ برای مثال، یک قطعه از تجهیزات ممکن است دارای نقاط داده با برچسب F (شکستخورده) یا R(اجرا) باشد. الگوریتم یادگیری مجموعهای از ورودیها را به همراه خروجیهای صحیح مربوطه دریافت میکند و سپس الگوریتم در مقایسه خروجی واقعی خود با خروجیهای صحیح برای یافتن خطاها، از آن یاد میگیرد. سپس مدل را بر اساس آن اصلاح میکند. یادگیری تحت نظارت از طریق روشهایی مانند طبقهبندی، رگرسیون، پیشبینی و تقویت گرادیان، از الگوهایی برای پیشبینی مقادیر برچسب روی دادههای بدون برچسب اضافی استفاده میکند. یادگیری نظارتشده معمولاً در برنامههایی استفاده میشود که دادههای تاریخی رویدادهای احتمالی آینده را پیشبینی میکنند؛ برای مثال، این شیوه میتواند پیشبینی کند در که چه زمانی تراکنشهای کارت اعتباری احتمالاً تقلبی هستند و یا کدام مشتری بیمه احتمالاً یک ادعای نادرست را ارائه میکند.
-
یادگیری بدون نظارت
یادگیری بدون نظارت در برابر دادههایی استفاده میشود که هیچگونه برچسبی در هیستوری خود ندارند. در واقع میتوان گفت که به این سیستم پاسخ صحیحی ارائه نشده است. الگوریتم میبایست موارد پیشروی خود را متوجه شود. هدف از این کار کاوش دادهها و یافتن ساختاری در آن است. یادگیری بدون نظارت بر روی دادههای تراکنشی بهخوبی نتیجه میدهد؛ برای مثال، این شیوه میتواند بخشهایی از مشتریان دارای ویژگیهای مشابه را شناسایی کند که میتوان در کمپینهای بازاریابی با آنها به طور مشابه رفتار کرد. همچنین میتواند برخی از ویژگیهای اصلی الگوریتمها که بخشهای مشتریان را از یکدیگر جدا میکند را بیابد.
از جمله تکنیکهای رایج این شیوه میتوان نقشههای خودسازماندهی، نقشهبرداری نزدیکترین همسایه (خانه کناری)، خوشهبندی k میانگین و تجزیه ارزش منفرد است. همچنین، این الگوریتمها برای تقسیمبندی موضوعات متن و شناسایی دادههای پراکنده استفاده میشوند.
یادگیری بدون نظارت | یادگیری تحت نظارت | جنبه |
تنها دادههای ورودی برای مدل قطار ارائه میشود و دادههای خروجی استفاده نمیگردد. | متغیرهای ورودی و خروجی برای مدل آموزش ارائه شدهاند. | رویکرد |
از دادههای بدون برچسب استفاده میکند. | از دادههای برچسبدار استفاده میکند. | دادههای ورودی |
از الگوریتمهای خوشهبندی، الگوریتمهای ارتباط و شبکههای عصبی پشتیبانی میکند. | از الگوریتمهای رگرسیون، الگوریتمهای مبتنی بر نمونه، الگوریتمهای طبقهبندی، شبکههای عصبی و درختهای تصمیم پشتیبانی میکند. | الگوریتمهای پشتیبانیشده |
پیچیدهتر | سادهتر | پیچیدگی |
ذهنی | هدفمدار، واقعگرایانه | ذهنیت |
تعداد کلاسها مشخص نیست. | تعداد کلاسها مشخص است | تعداد کلاسها |
انتخاب تعداد خوشهها میتواند ذهنی باشد. | طبقهبندی دادههای انبوه با یادگیری نظارتشده دشوار است. | حال اولیه |
بینشهای مفید و الگوهای پنهان را مییابد. | آموزش مدل برای پیشبینی خروجی هنگامیکه با ورودیهای جدید ارائه میشود. | هدف اولیه |
-
یادگیری نیمهنظارتی
یادگیری نیمه نظارتی کاربردی مشابه با کاربردهای یادگیری نظارتشده دارد؛ اما از دادههای برچسبدار و بدون برچسب، معمولاً مقدار کمی از دادههای برچسبگذاری شده با تعداد بسیاری داده بدون لیبل (دادههای بدون برچسب هزینه کمتری دارند و ازاینرو تلاش کمتری برای بهدست آوردن آنها لازم است.) برای آموزش استفاده میکند. این نوع یادگیری با روشهایی مانند طبقهبندی، رگرسیون و پیشبینی قابلاستفاده است. یادگیری نیمهنظارتی زمانی مفید است که هزینه مربوط به برچسبگذاری به قدری زیاد باشد که امکان یک فرآیند آموزشی کاملاً برچسبگذاری شده را فراهم نمیکند. برای نمونههای اولیه این شیوه میتوان به شناسایی چهره یک فرد در وبکم اشاره نمود.
-
یادگیری تقویتی
یادگیری تقویتی اغلب برای رباتیک، بازی و ناوبری استفاده میشود. الگوریتمها با استفاده از یادگیری تقویتی میتوانند از طریق آزمون و خطا کشف کنند که کدام اقدامات بیشترین سود را به همراه دارند. این نوع یادگیری دارای سه جزء اصلی است:
- عامل (یادگیرنده یا تصمیمگیرنده)
- محیط (هر چیزی که عامل با آن تعامل دارد.)
- اقدامات (آنچه که عامل میتواند انجام دهد.)
هدف از این کار انتخاب نمونه اقداماتی است که نتایج مثبت مورد انتظار را در مدتزمان معین به حداکثر برساند. این نمونهها با پیروی از یک خط مشی مناسب با سرعت بیشتری به هدف میرسند؛ بنابراین هدف از یادگیری تقویتی، یادگیری بهترین خط مشی است. یادگیری تقویتی به طور گسترده در اتومبیلها و روباتیک خودران نیازمند به توانایی تصمیمگیری شخصی استفاده میشود. یادگیریهای تقویتی ماهیت تجربی دارند و از طریق برخی آزمایشها میتوانند با حداکثر دقت یا پاداش به اهداف خود برسند.
تفاوت میان داده کاوی، یادگیری ماشین و یادگیری عمیق چیست؟
اگرچه تمام این روشها اهداف یکسانی مانند استخراج بینش، الگوها و روابط جهت استفاده برای تصمیمگیری دارند؛ اما رویکردها و تواناییهای آنها با یکدیگر متفاوت است.
-
داده کاوی
داده کاوی را میتوان مجموعهای از روشهای مختلف برای استخراج بینش از دادهها درنظر گرفت. داده کاوی روشهایی را از مناطق مختلف برای شناسایی الگوهای ناشناخته قبلی از دادهها بهکار میگیرد. این شیوهها میتواند شامل الگوریتمهای آماری، Machine Learning ، تجزیهوتحلیل متن، سریهای زمانی و سایر زمینههای تجزیهوتحلیل باشد. داده کاوی شامل مطالعه و تمرین ذخیرهسازی دادهها و دستکاری دادهها نیز میشود.
-
فراگیری ماشین
تفاوت اصلی دادهکاوی با ماشین لرنینگ این است که هدف هر دو همانند مدلهای آماری درک ساختار دادهها است. سپس میتوانند توزیعهای نظری متناسب با دادههایی که بهخوبی درک شدهاند را انجام دهند؛ بنابراین، هر مدل آماری از ایدههایی سرچشمه میگیرد که از نظر ریاضی اثبات شدهاند، اما استفاده از این مدلهای آماری مستلزم آن است که دادهها نیز مفروضات خاصی را برآورده کنند. ماشین لرنینگ بر اساس توانایی استفاده از کامپیوتر برای بررسی دادهها در ساختارهای توسعهیافته حتی زمان عدم وجود نظریه درباره شکل ظاهری آن ساختار است. آزمون مدلهای ماشين لرنينگ شامل خطای اعتبارسنجی در دادههای جدید است و برای آزمون نظری که فرضیه صفر را اثبات میکند، کاربردی ندارد. ازآنجاکه یادگیری ماشین اغلب از یک رویکرد تکراری برای یادگیری از دادهها استفاده میکند، فرایند یادگیری را میتوان بهراحتی خودکارسازی نمود. مراحل یکی پس از دیگری از طریق دادهها تا هنگام پیداشدن یک الگوی قوی اجرا میشوند.
-
یادگیری عمیق
یادگیری عمیق پیشرفت در قدرت محاسباتی و انواع خاصی از شبکههای عصبی را برای یادگیری الگوهای پیچیده در مقادیر زیادی داده ترکیب میکند. در حال حاضر تکنیکهای پیچیده یادگیری عمیق برای شناسایی اشیاء در تصاویر و کلمات در صداها مورد استفاده قرار میگیرند. امروزه پژوهشگران قصد دارند تا موفقیتهای بهدستآمده را در تشخیص الگو برای کارهای پیچیدهتر مانند ترجمه خودکار زبان، تشخیصهای پزشکی و بسیاری از مشکلات مهم اجتماعی و تجاری دیگر اعمال نمایند.
یادگیری ماشین چگونه کار میکند؟
متخصصان برای بهدست آوردن بیشترین ارزش این فناوری باید از اینکه چگونه بهترین الگوریتمها را با ابزارها و فرآیندهای مناسب جفت کنند، آگاه شوند. این شیوه میراث غنی و پیچیده در آمار و دادهکاوی را با پیشرفتهای معماری جدید ترکیب میکند تا از اجرای مدلها با حداکثر سرعت ممکن حتی در محیطهای بزرگ سازمانی اطمینان حاصل کند.
مدلهای آماری و الگوریتمها
-
رگرسیون
مدلهای رگرسیون به طور گسترده برای پیشبینی ارزش بر اساس متغیرهای وابسته در چند عامل استفاده میشوند. رایجترین مثال رگرسیون، رگرسیون خطی است که در آن یک رابطه خطی یا همبستگی بین متغیر پیشبینی کننده و متغیر پاسخ وجود دارد. انواع دیگر از رگرسیون مانند رگریسون ARIMA وجود دارد که موجب استفاده از رگرسیونهای خودکار مدل همبستگی برای پیشبینی مقادیر پیوسته ارائهشده توسط دادههای سری زمانی میگردد. این اطلاعات برای پیشبینی قیمت سهام و سایر ارزشهایی است که بر اساس زمان استفاده میشوند.
-
ماشینهای بردار پشتیبانی
ماشینهای بردار پشتیبانی یا SVM ها برای طبقهبندی دادهها در دو دسته یا کلاس استفاده میشوند. این ماشینها نوعی از الگوریتمهای یادگیری نظارتشده هستند که از چندین مدل هسته برای طبقهبندی دادهها استفاده میکنند. ماشینهای بردار پشتیبانی بر اساس پیشبینیهای انجامشده، قرارگرفتن دادهها در کلاسها را طبقهبندی میکنند. با کمک SVM ها میتوان انجام هر دو شیوه خطی و غیر خطی طبقهبندی دادهها را مشخص نمود.
-
آموزش قوانین انجمن
Association Rule Mining برای یافتن روابط بین چندین متغیر موجود در پایگاه داده استفاده میشود. آموزش قوانین انجمن نوعی تکنیک داده کاوی است که از طریق آن میتوان ارتباط بین چندین مورد را کشف نمود. این مفهوم اغلب در صنایع فروش برای پیشبینی اینکه اگر مشتری کالای X را خریداری کرده باشد، احتمال خرید وی برای محصول Y به چه میزان است، استفاده میگردد.
-
شبکههای عصبی مصنوعی (ANN)
شبکه عصبی مصنوعی شکل پیشرفتهای از تکنیک این فناوری است. شبکههای عصبی مصنوعی بر اساس سیستم عصبی انسان مدلسازی شدهاند؛ ازاینرو، آنها را شبکههای عصبی مینامند. در این شیوه اتصال چندین نورون برای محاسبه اطلاعات وجود دارد. این نورونها با جذب ساختار آماری قادر به ایجاد یک توزیع احتمال مشترک بر روی متغیرهای ورودی هستند. این شبکههای عصبی در یافتن الگوها بر روی مجموعه دادههای بزرگ (Big Data) مناسب هستند.
شبکههای عصبی میتوانند وظایف طبقهبندی و رگرسیون را با دقت بالایی انجام دهند. به علاوه، آنها برای از بین بردن نیاز خود جهت انجام وظایف آماری سنگین در پیشپردازش بهعنوان شیوهای کاملاً مناسب در تحقق الگوهای خود استفاده مینمایند.
-
برنامهنویسی منطق استقرایی
در این مدل، برنامهنویسی منطقی بخش اصلی تولید یک مدل یادگیری منطقی را تشکیل میدهد. برنامهنویسی منطق استقرایی یا ILP اطلاعات ورودی، فرضیهها و دانش زمینهای را در قالب چندین قانون که باید با منطق دنبال گردند، ارائه میکند. از برنامههای کاربردی برای اجرای برنامهریزی استقرایی جهت پردازش فرضیه در قوانین جزئی استفاده میشود. مدلهای آموزشی اغلب برای توسعه این مدل و سپس ایجاد روابط بین چندین متغیر استفاده میشوند.
-
خوشهبندی K میانگین
در خوشهبندی، مشاهدات صورت گرفته به گروهها یا خوشهها تقسیم میشوند. این خوشهها بر اساس دادههای مشابه و دارای معیارهای مشابهی تشکیل شدهاند. چندین تکنیک خوشهبندی وجود دارند که از معیارهای مختلفی برای خوشهبندی دادهها استفاده میکنند.
برای مثال، چگالی و فاصله بین دادهها و اتصال گراف برخی از معیارهایی هستند که تکنیکهای خوشهبندی را در این فناوری تعریف میکنند. ازآنجاییکه داده برچسب دار یا نگاشت ورودی و خروجی در این رویکرد وجود ندارد، این نوع تکنیک، جزو روش بدون نظارت است.
-
شباهت و یادگیری متریک
تعیین شباهت یکی از عملکردهای کلیدی این فناوری است. این مدل میکوشد تا اشیاء مشابه را با یکدیگر نگاشت کند. علاوهبراین، آموختن تابع شباهت این امکان را فراهم میکند که در آینده اشیاء مشابه را با یکدیگر گروهبندی نمایند.
-
شبکههای بیزی
شبکه بیزی یک مدل گرافیکی غیرچرخه کنترلشده است. این مدل DAG نیز نامیده میشود که نشاندهنده احتمال چندین متغیر شرطی مستقل است. برای نمونه، میتوان رابطه بین بیماری و علائم را نشان داد و از آن برای محاسبه احتمال مبتلاشدن به بیماریهای مختلف استفاده نمود. علاوهبراین، شبکههای بیزی برای تشخیص بیماری از طریق رویکرد محاسبه در میان لیست احتمالات مختلف میتوانند کمککننده باشند. اشکال پیشرفتهتر این شبکهها، شبکههای بیزی عمیق هستند.
ایده اساسی شبکه بیزی قضیه بیز است که جزو مهمترین بخشهای نظریه احتمال بهشمار میرود. متخصصان با کمک قضیه بیز میتوانند احتمال شرطی به وقوع پیوستن یک رویداد را تعیین نمایند. احتمال شرطی یک فرضیه است که این احتمال بر اساس شواهد قبلی بهصورت زیر محاسبه میگردد:
P (A/B) = P (B/A)*P (A)/P (B)
کاربر با استفاده از شبکهای کاملاً تعریفشده از یک گراف متصل میتواند شبکه بیزی برای مدلسازی وابستگیهای شرطی ایجاد نماید.
-
آموزش بازنمایی
از یادگیری بازنمایی به منظور نمایش دادهها در قالبی ساختارمند استفاده میشود. مدلها با قالببندی مؤثر این دادهها میتوانند برای ارائه نتایج دقیق آموزش بهتری ارائه دهند. نمایش دادهها یکی از عوامل کلیدی است که میتواند بر عملکرد روش یادگیری ماشین تأثیر بگذارد. این امر به الگوریتم اجازه میدهد تا از دادهها بهتر یاد بگیرد. الگوریتمها با استفاده از آموزش بازنمایی قادر به حفظ دادههای ورودی و اطلاعات ضروری خواهند بود؛ بنابراین، مدلها میتوانند اغلب اطلاعات را در طول پیشپردازش ضبط نمایند. علاوهبراین، ورودیهای موجود در پیشپردازش قادر به جمعآوری دادههایی هستند که توزیع تعریفشدهای را تولید میکنند.
-
درختان تصمیم
درختان تصمیم نوعی از الگوریتمهای ماشین لرنینگ تحت نظارت هستند. این درختان عمدتاً برای مدلسازی پیشبینی استفاده میشوند. در این شیوه یک درخت تصمیم ایجاد میشود که قادر به تصمیمگیری بر اساس ورودی کاربر است. درخت تصمیم را میتوان برای رگرسیون و طبقهبندی نیز استفاده نمود. این درختها برای ارائه خروجیهای گرافیکی به کاربر بر اساس چندین متغیر مستقل استفاده میشوند.
-
یادگیری دیکشنری پراکنده
در روش پراکنده فرهنگ لغت، ترکیب خطی از توابع پایه و ضرایب پراکنده فرض شدهاند. عناصر فرهنگ یک لغت پراکنده را به اصطلاح اتم مینامند. در مجموع این اتمها یک فرهنگ لغت میسازند. این شیوه یک بسط یادگیری بازنمایی است که بیشترین کاربرد را در سنجش فشرده و بازیابی سیگنال دارد. در این روش، داده را با فرض ضرایب پراکنده به صورت ترکیبی خطی از توابع پایه نشان میدهند. این شیوه در آخرین آموزش ماشین لرنینگ برای مبتدیان قابل استفاده است.
علاوهبر الگوریتمهای فوق به موارد زیر هم میتوان اشاره نمود:
- جنگلهای تصادفی
- شبکههای عصبی
- انجمنها و کشف توالی
- افزایش گرادیان و کیسهکردن
- نقشهبرداری نزدیکترین همسایه
- نقشههای خودسازماندهی
- تکنیکهای بهینهسازی جستجوی محلی مانند الگوریتمهای ژنتیک
- به حداکثر رساندن انتظارات
- خطوط رگرسیون تطبیقی چندمتغیره
- تخمین چگالی هسته
- تجزیهوتحلیل مؤلفههای اصلی
- تجزیه مقدار منفرد
- مدلهای مخلوط گاوسی
- ساخت قانون پوشش متوالی
ابزارها و فرآیندها
پس از شناسایی الگوریتمها باید از آنها در مکان درست و با ترکیب مناسب از یکدیگر استفاده نمود که در ادامه به توضیح مفصل آن میپردازیم:
- کیفیت دادهها و مدیریت جامع
- رابطهای کاربری گرافیکی برای ساخت مدلها و جریانهای فرآیند
- کاوش دادههای تعاملی و تجسم نتایج مدل
- مقایسه مدلهای مختلف یادگیری ماشین برای شناسایی سریع بهترین مدل
- ارزیابی خودکار مدل گروه برای شناسایی بهترین مجریان
- ایجاد یک پلتفرم یکپارچه و سراسری برای اتوماسیون فرآیند داده جهت اتخاذ تصمیمات
امروزه یادگیری ماشین توجه بسیاری را به خود جذب کرده است. این فناوری میتواند وظایف بسیاری به ویژه اعمالی انجامشده توسط هوش ذاتی انسان را به طور خودکار انجام دهد. تکثیر این هوش در ماشینها تنها با کمک این تکنولوژی قابل دستیابی است. افزایش علاقه به ماشین لرنینگ به دلیل همان عواملی است که باعث ایجاد مفهوم داده کاوی شده است. این مفهوم تجزیهوتحلیل بیزی را بیش از همیشه محبوب کرده است. مواردی مانند افزایش حجم و تنوع دادههای موجود، پردازش محاسباتی ارزان و قدرتمند و ذخیرهسازی داده مقرونبهصرفه برخی از دلایل محبوبیت این مفهوم هستند.
برای مطالعه مقاله های دیگر در زمینههای مختلف فناوری اطلاعات و ارتباطات اینجا کلیک کنید.
دیدگاه خود را ثبت کنید
تمایل دارید در گفتگوها شرکت کنید؟در گفتگو ها شرکت کنید.