قیمت 300,000 تومان 89,000 تومان

امتیاز 5.00 از 3 رأی
5.00 3 رای
300,000 تومان 89,000 تومان
ویژگی های دوره
place
نوع دوره: غیر حضوری
local_library
سطح دوره: فوق حرفه ای
traffic
پیش نیاز: پایتون
language
زبان: فارسی
access_time
ویدئویی (کیفیت HD)
playlist_add_check
ناشر : بیگ لرن
storage
1 گیگ فشرده
supervisor_account
روش پشتیبانی: ارسال تیکت
card_membership
روان و قابل فهم

پردازش زبان طبیعی (NLP)

پردازش زبان طبیعی (NLP)  برای پردازش و درک داده‌های طبیعی مبتنی بر زبان است که در قالب‌های ساخت‌نیافته‌ای مانند متن، سخنرانی و غیره وجود دارند. NLP حوزه‌ای تخصصی در علوم رایانه و هوش مصنوعی محسوب می‌شود که ریشه در زبانشناسی محاسباتی دارد. NLP الگوریتمی است برای درک زبان انسان است و توانایی پردازش زبان گفتار را دارد و این در حالی است که NLP جزئی از هوش مصنوعی (AI) به حساب می‌آید.دغدغه اصلی این حوزه طراحی و ساخت  سیستم‌هایی است که امکان تعامل بین ماشین‌ها و زبان‌های طبیعی را فراهم سازند و در طی زمان برای استفاده انسان تکامل پیدا کنند.  این حوزه علمی به عنوان یک زمینه کم‌عمق و سطحی برای تحقیق نگریسته می‌شود و افراد تمایل دارند که بیشتر روی یادگیری ماشین و یادگیری آماری تمرکز کنند. هدف اصلی در پردازش زبان طبیعی، ایجاد تئوری‌هایی محاسباتی از زبان، با استفاده از الگوریتم‌ها و ساختارهای داده‌ای موجود در علوم رایانه است. بدیهی است که در راستای تحقق این هدف، نیاز به دانشی وسیع از زبان است و علاوه بر محققان علوم رایانه، نیاز به دانش زبان شناسان نیز در این حوزه می‌باشد. با پردازش اطلاعات زبانی می‌توان آمار مورد نیاز برای کار با زبان طبیعی را استخراج کرد. کاربردهای پردازش زبان طبیعی به دو دسته کلی قابل تقسیم است: کاربردهای نوشتاری و کاربردهای گفتاری. از کاربردهای نوشتاری آن می‌توان به استخراج اطلاعاتی خاص از یک متن، ترجمه یک متن به زبانی دیگر یا یافتن مستنداتی خاص در یک پایگاه داده نوشتاری (مثلاً یافتن کتاب‌های مرتبط به هم در یک کتابخانه) اشاره کرد. نمونه‌هایی از کاربردهای گفتاری پردازش زبان عبارتند از: سیستم‌های پرسش و پاسخ انسان با رایانه، سرویس‌های اتوماتیک ارتباط با مشتری از طریق تلفن، سیستم‌های آموزش به فراگیران یا سیستم‌های کنترلی توسط صدا. در سالهای اخیر این حوزه تحقیقاتی توجه دانشمندان را به خود جلب کرده‌است و تحقیقات قابل ملاحظه‌ای در این زمینه صورت گرفته‌است.

با اینکه مجموعه گسترده‌ای از روش‌ها در پردازش زبان طبیعی بکار می‌روند، تکنیک‌های بکار رفته را می‌توان به سه دستۀ کلی تقسیم نمود:

  • روش‌های آماری
  • روش‌های ساختاری/مبتنی بر الگو
  • روش‌های مبتنی بر استنتاج

باید توجه داشت که این راهکارها لزوماً از هم جدا نیستند. در واقع، جامع‌ترین مدل‌ها از ترکیب هر سۀ این روش‌ها استفاده می‌کنند. تفاوت این راهکارها در نوع عملیات پردازشی است که قادر به انجام آن هستند و میزان قواعدی که در مقابل آموزش/یادگیری خودکار از روی داده‌های زبانی نیاز دارند. توسعهٔ الگوریتم‌های NLP بسیار چالش‌برانگیز است چرا که کامپیوترها برای پردازش­‌های سنتی نیاز به یک انسان داشتند تا با یک زبان برنامه‌نویسی صریح، غیرمبهم و بسیار ساختاریافته یا از طریق تعداد محدودی از کامندهای صوتی کاملاً واضح مسائل را برای آن‌ها تشریح کنند؛ در حالی‌ که کلام انسان همیشه دقیق نیست، اغلب مبهم است و ساختار آن به بسیاری از متغیرهای پیچیده از جمله اصطلاحات عامیانه، گویش‌های منطقه‌ای و زمینه­‌های اجتماعی بستگی دارد.

گردش کار NLP 

به طور معمول هر مسئله مبتنی بر NLP را می‌توان به وسیله گردش کاری روش‌شناختی (methodical) که یک توالی از گام‌ها دارد، حل نمود. گام‌های اصلی در تصویر زیر مشخص شده‌اند.

ما معمولاً با توده‌ای از اسناد کار خود را آغاز می‌کنیم و با پیروی از فرایندهای استاندارد برای گردآوری متون و پیش-پردازش، تجزیه و آنالیز مقدماتی کاوشی داده کار خود را ادامه می‌دهیم. بر اساس بینش‌های اولیه، معمولاً متن را با استفاده از تکنیک‌های مهندسی ویژگی، بازنمایی می‌کنیم. سپس بسته به مسئله‌ای که در دست داریم یا روی ساخت مدل‌های نظارت‌شده پیش‌بین و یا مدل‌های نظارت‌نشده متمرکز می‌شویم که معمولاً بیشتر تمرکز روی کاوش الگو و گروه‌بندی است. در نهایت به ارزیابی مدل و تعیین معیار کلی موفقیت بر اساس نظر مشتریان یا ذینفعان مرتبط پرداخته و مدل نهایی را برای استفاده‌های بعدی انتشار می‌دهیم.

سطوح تحلیل زبانی:

  • آواشناسی/واج‌شناسی
  • ساختواژه (صرف)
  • نحو
  • معنی‌شناسی
  • کاربردشناسی
  • گفتمان

تکنیک‌های پردازش زبان طبیعی

قطعه‌بندی و نرمال‌سازی متن:

    • برای پردازش متن در كاربردهایی مانند ترجمه ماشینی، بازیابی اطلاعات، تبدیل متن به گفتار و … باید متن ورودی قطعه بندی و نرمال‌سازی شود.
    • قطعه‌بندی: تقطیع دنباله كاراكترهای تشكیل دهندة متن به دنباله‌ای از كلمات.
      • مشکلات:
        • علائم نقطه‌گذاری معمولاً به كلمۀ قبل از خود می‌چسبند.
        • پسوندها و پیشوندها: در فارسی پسوندها و پیشوندها در بسیاری مواقع با فاصله از كلمه اصلی نوشته می‌شوند.
        • كلمات مركب: بین اجزای كلمات مركب معمولاً فاصله گذاشته می‌شود.
    • نرمال‌سازی: یكدست‌سازی واحدهای متنی به طوری كه قابل پردازش توسط ماشین باشند.
      • مشکلات:
        • وجود encodingهای مختلف برای بعضی از كاراكترها مانند «ی» و «ك».
        • روش‌های مختلف چسبیدن وندها به كلمات اصلی.
        • روش‌های مختلف اتصال اجزای كلمات مركب.
        • كلمات چنداملایی.

تحلیل ساختواژی:

    • چگونه كلمات از واحدهای كوچكتر به نام تكواژ تشكیل می شوند.
    • تكواژ: كوچكترین واحد دربردارنده معنا در زبان.
    • ساختواژه تصریفی.
    • ساختواژه اشتقاقی.

برچسب‌زنی جزء کلام:

    • فرایند انتساب مقولۀ نحوی به هر کلمه در پیکره متنی.
    • جزء کلام: مقولۀ نحوی که هر کلمه به آن تعلق دارد.
    • کاربردها:
      • مدل‌سازی زبانی (در بازشناسی گفتار و …): مقولۀ نحوی یک کلمه می‌تواند در پیش‌بینی کلمۀ بعدی کمک کند.
      • سنتز گفتار: مقولۀ نحوی یک کلمه می‌تواند اطلاعاتی در مورد نحوۀ تلفظ صحیح یک کلمه به ما بدهد.
      • بازیابی اطلاعات: دانستن مقولۀ نحوی کلمات می‌تواند به استخراج کلمات مهم در متن کمک کند.
      • رفع ابهام معنایی: دانستن مقولۀ نحوی کلمات می‌تواند به رفع ابهام معنایی کلمه کمک کند.

تجزیه یا پارس (تحلیل نحوی):

    • تجزیۀ جمله به ساختارهای نحوی تشكیل‌دهندۀ آن.
    • برای تعیین ساختارهای نحوی یك جمله به دو چیز نیاز داریم:
      • گرامر: دربردارندۀ توصیف رسمی از ساختارهای مجاز زبان.
      • تكنیك پارس: روش آنالیز جمله برای مشخص كردن ساختارهای نحوی آن بر اساس گرامر زبان.

تحلیل معنایی:

    • رفع ابهام از کلمه.
    • مطالعه در مورد معنای رخدادهای زبانی.
    • چگونه معنای یك جمله به معنای عبارات، كلمات و تكواژهای تشكیل دهندۀ آن مربوط می شود.
    • چهار روش متداول:
      • منطق مرتبه اول.
      • شبكه معنایی.
      • دیاگرام وابستگی مفهومی.
      • نمایش مبتنی بر قاب.

مدل‌سازی زبانی:یادگیری ماشین.

    • مدل زبانی نحوۀ رخداد توالی كلمات در زبان را مدل‌سازی می‌كند.
    • آماری.
    • ساختاری.
    • سطوح مختلف مدل سازی زبانی:
      • واژگانی محلی.
      • نحوی.
      • معنایی.
    • كاربردهای مدل زبانی:
      • پیش‌بینی كلمات.
      • بازشناسی گفتار.
      • درك زبان طبیعی.
      • ترجمة ماشینی.
      • بازشناسی نویسه‌های نوری.

هدف از این دوره آموزشی:

هدف از این دوره آموزشی انجام عملیات مختلف پردازش زبان طبیعی (فارسی و انگلیسی ) با زبان برنامه نویسی پایتون است. در این دوره عملیات پیمایش جملات فارسی و انگلیسی براساس الگوریتم های کارآمدی که برای فارسی و انگلیسی ارائه شده است، انجام می شود. در این پروژه درخت تجزیه جملات فارسی و انگلیسی با بالاترین دقت براساس روش های مختلف رسم می شود. همچنین عملیات ریشه یابی و توکن بندی جملات به صورت دقیق انجام می شود. در ابتدا تئوری کامل پردازش زبان های طبیعی بحث و بررسی می شود و الگوریتم های مختلفی که در این زمینه وجود دارند، معرفی می شوند. در بخش دوم به صورت کامل پردازش زبان انگلیسی و فارسی با پایتون و کتابخانه های پرکاربرد آن پیاده سازی می شود. بدون شک یکی از بهترین دوره های پردازش زبان طبیعی با پایتون می باشد که به صورت مفید و کاربردی توضیح داده شده است. مدرس این دوره سال هاست در این حوزه کار می کند و نکات آموزشی و تدریس خوب ایشان می تواند به شما در متخصص شدن برای پردازش داده های متنی کمک زیادی کند. امیدواریم که این آموزش از “بیگ لرن” هم مثل سایر آموزش ها مورد تایید و رضایت شما مخاطبان گرامی قرار گیرد.

 

بخش های دوره آموزشی پردازش زبان طبیعی
بخش اول: تئوری پردازش زبان طبیعی

پردازش زبان طبیعی چیست؟

خصوصی

اهداف پردازش زبان طبیعی

خصوصی

موضوعات کاربردی در پردازش زبان طبیعی

خصوصی

چالش های پردازش زبان طبیعی

خصوصی

اجزای جمله در پردازش زبان طبیعی

خصوصی

مفهوم chunking در پردازش زبان طبیعی

خصوصی

مولفه های پردازش زبان طبیعی

خصوصی

پیش پردازش متن

خصوصی

آنالیز لغوی جمله

خصوصی

کاربرد lexicon در تحلیل لغوی متن

خصوصی

آنالیز نحوی جمله

خصوصی
این بخش خصوصی می باشد. برای دسترسی کامل به دروس این دوره باید این دوره را خریداری نمایید.

اهمیت grammar در تحلیل نحوی

خصوصی

ایجاد درخت پارسر برای جملات

خصوصی

آنالیز معنایی جمله

خصوصی

عبارت منظم در پردازش جملات متن

خصوصی

انتخاب اجزای مختلف متن

خصوصی

توکن بندی جمله و کلمات

خصوصی

تگ گذاری کلمات (POS)

خصوصی

تعیین نقش کلمات در جمله

خصوصی

تگ های Penn Treebank در پردازش متن

خصوصی

ریشه‌یابیِ کلمات با Stemming

خصوصی

ریشه‌یابیِ کلمات با Lemmatization

خصوصی

معرفی کامل الگوریتمهای Stemming

خصوصی

تفاوت ریشه‌یابیِ کلمات با Stemming و Lemmatization

خصوصی

نمایش N-Gram جملات یک پیکره

خصوصی

ترکیب کلمات یک جمله برای درک بهتر جمله

خصوصی

نمایش N-Gram در اختصاص احتمال به جمله

خصوصی

یادگیری ماشین در پردازش متن

خصوصی

دیتابیس یا پیکره های زبان برای فارسی و انگلیسی

خصوصی

مدل سازی در پردازش زبان طبیعی

خصوصی

آموزش و تست ماشین برای پردازش زبان طبیعی

خصوصی

مدل های زبانی با قانون زنجیره ای احتمالات

خصوصی

محاسبه احتمالات در مدل های زبانی برای یک کلمه

خصوصی

محاسبه احتمالات در مدل های زبانی برای یک جمله

خصوصی

مدل های زبانی در N-grams

خصوصی
این بخش خصوصی می باشد. برای دسترسی کامل به دروس این دوره باید این دوره را خریداری نمایید.

مثال از مدل های زبانی

خصوصی
این بخش خصوصی می باشد. برای دسترسی کامل به دروس این دوره باید این دوره را خریداری نمایید.

روش های کلی در مدل های زبانی

خصوصی

ارزیابی مدل های زبانی

خصوصی

مدل سازی با روش Interpolation

خصوصی

مدل سازی با روش Backoff

خصوصی

چالش های پردازش زبان فارسی

خصوصی

تبدیل متن به بردار عددی

خصوصی

روشone-hot برای رمزگذاری جملات

خصوصی

روش تکرار کلمات (Term frequency) برای تبدیل متن به عدد

خصوصی

روش تکرار کلمات (Inverse doc frequency) برای تبدیل متن به عدد

خصوصی

روش (TF-IDF) برای تبدیل متن به عدد

خصوصی

روش(word to vec) برای تبدیل متن به عدد

خصوصی

روش های word2vec

خصوصی

روش کیسه کلمات پیوسته: CBOW

خصوصی

روش پرش چندتایی : skip-gram

خصوصی

حالات مختلف تولید بردار

خصوصی
بخش دوم: پیاده سازی عملی پردازش زبان طبیعی با پایتون

معرفی کتابخانه های پایتون برای پردازش زبانهای طبیعی

خصوصی

نصب و راه اندازی پایتون و محیط مجازی در ویندوز

خصوصی

نصب و راه اندازی پایتون و محیط مجازی در لینوکس

خصوصی

فیلم آموزش کامل نصب و راه اندازی پایتون

خصوصی

نصب و راه اندازی کتابخانه NLTK برای پردازش زبان انگلیسی

خصوصی

آموزش نصب کتابخانه NLTK برای پردازش زبان انگلیسی در پایتون

خصوصی

نصب کتابخانه HAZM برای پردازش زبان فارسی در پایتون

خصوصی

نصب پیکره ها و کتابخانه های ضروری در پایتون

خصوصی

خواندن داده های متنی از فایل و پیکره

خصوصی

نمایش محتویات یک پیکره زبانی

خصوصی

ریشه یابی کلمات با الگوریتم های مختلف

خصوصی

نمایش grams جملات

خصوصی

انتخاب اجزای مختلف متن

خصوصی
این بخش خصوصی می باشد. برای دسترسی کامل به دروس این دوره باید این دوره را خریداری نمایید.

تگ گذاری جملات با الگوریتم های مختلف (Pos tager)

خصوصی

تگ گذاری جملات با روش های یادگیری ماشین

خصوصی

ارزیابی tagger ها برای جملات

خصوصی

پیش پردازش کلمات با روش های مختلف

خصوصی

ایجاد گرامری های مختلف زبانی

خصوصی

کار با توابع عبارت منظم یا Regular Expression

خصوصی

توکن بندی جملات با روش های مختلف

خصوصی

کار با Lemmatizer برای ریشه یابی کلمات

خصوصی

توکن بندی جمله های فارسی و انگلیسی با کتابخانه های مربوطه

خصوصی

توکن بندی جمله های فارسی و انگلیسی در پایتون

خصوصی

ریشه یابی کلمه های فارسی و انگلیسی

خصوصی

پارس کردن (parsing) جمله ها با الگوریتم ChartParser

خصوصی

پارس کردن (parsing) جمله ها با الگوریتم ShiftReduceParser

خصوصی

پارس کردن (parsing) جمله ها با الگوریتمCKY

خصوصی

پارس کردن (parsing) جمله ها با الگوریتم ProjectiveDependency

خصوصی

پارس کردن (parsing) جمله ها با الگوریتم DependencyParser

خصوصی

رسم درخت تجزیه یا parsing برای جملات فارسی و انگلیسی

خصوصی

یادگیری متن با ماشین

خصوصی

ارزیابی مدل زبانی با معیارهای مختلف

خصوصی

پیاده سازی روشone-hot برای رمزگذاری جملات

خصوصی

پیاده سازی روش تکرار کلمات (Term frequency) برای تبدیل متن به عدد

خصوصی

پیاده سازی روش تکرار کلمات (Inverse doc frequency) برای تبدیل متن به عدد

خصوصی

پیاده سازی روش (TF-IDF) برای تبدیل متن به عدد

خصوصی

پیاده سازی روش(word to vec) برای تبدیل متن به عدد

خصوصی

پیاده سازی روش کیسه کلمات پیوسته: CBOW

خصوصی

پیاده سازی روش پرش چندتایی : skip-gram

خصوصی

طبقه بندی متن با یادگیری ماشین

خصوصی

درخواست مشاوره

برای کسب اطلاعات بیشتر درباره این دوره درخواست مشاوره خود را ارسال کنید و یا با ما در تماس باشید.

درخواست مشاوره

نیاز به مشاوره دارید؟

در صورتی که نیاز به مشاوره دارید می توانید فرم را تکمیل نمایید و یا با ما در تماس باشید

درخواست مشاوره رایگان

moreدوره های مرتبط

آموزش کامل پردازش ویدئو با پایتون

پردازش ویدئو (ویدئوکاوی) چیست؟ ویدئو یک داده چند رسانه ای پیچیده محسوب می شود که هم دارای تصویر (فریم)، ابعاد،…
300,000 تومان 89,000 تومان

آموزش کامل پردازش تصویر با پایتون

پردازش تصویر: بیش از ۹۰ درصد اطلاعات پیرامون ما به وسیله ی مشاهده صورت می پذیرد. با پیشرفت فناوری امکان…
70,000 تومان 39,000 تومان

رنگی سازی تصویر و فیلم با یادگیری عمیق

رنگی سازی تصاویر و فیلم ها ؟ پیش از ورود عکاسی به دنیای رنگ‌ها، تصاویر گرفته‌شده تنها در رنگ‌های سیاه…
100,000 تومان 39,000 تومان

استخراج ویژگی از تصاویر با یادگیری عمیق

استخراج ویژگی ؟ هدف استخراج ویژگی این است که داده‌های خام به شکل قابل استفاده‌تری برای پردازش‌های آماری بعدی درآیند.…
100,000 تومان 39,000 تومان

chat_bubble_outlineنظرات

  • بهروز شاعتی

    سلام
    در این آموزش تبدیل گفتار به متن به زبان فارسی رو یاد میگیریم؟
    فرمان دادن صوتی به سیستم رو چطور؟

    • بیگ لرن(مدیریت)

      با سلام
      خیر در این دوره تبدیل متن به بردار عددی و پردازش متون فارسی و انگلیسی بحث می شود

  • سهراب( دانشجوی دوره )

    خیلی از تدریس آقای دکتر خوشم اومد. با اینکه طول دوره طولانی نبود ولی خیلی جامع و خوب گفته شده بود. ممنون از عوامل بیگ لرن

  • ریحانه( دانشجوی دوره )

    من دوره را خریداری کردم و خیلی مفید و خوب گفته شده بود. مدت زمان دوره بخوبی همه مطالب رو پوشش داده بود. مهارت مدرس در بیان مسائل پیچیده تحسین برانگیز است. تشکر

  • کیوان( دانشجوی دوره )

    با سلام و خسته نباشید خدمت جناب دکتر
    بسیار دوره کامل و خوبی بود.
    تشکر

قوانین ثبت دیدگاه

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *