آموزش حاشیه نویسی تصاویر با هوش مصنوعی

حاشیه‌نویسی تصویر همان تسک حاشیه‌نویسی تصویر با برچسب است. این تسک تضمین می‌کند که یک الگوریتم یادگیری ماشین، ناحیه‌ی حاشیه‌ بندی شده را به عنوان یک شی یا کلاس مجزا در تصویر مشخص می‌کند. وقتی ما یک تصویر را داخل گوگل جستجو می کنیم، موتور جستجوی گوگل براساس متنی که ما وارد می کنیم، یکسری تصاویر مرتبط را برای ما پیدا می کند که در اکثر موارد تصاویر بازیابی شده توسط گوگل با هدف ما سازگار است. پس می توان گفت که گوگل هم از یک الگوریتم بازیابی تصویر استفاده می کند تا تصاویری را که دارای عناصر مدنظر کاربر هستند به او نمایش دهد. اما اینکه گوگل چطوری تشخصیص می دهد که در تصاویر مورد نظر چه اشیایی وجود دارد؟ براساس حاشیه نویسی‌هایی است که روی تصاویر مورد نظر انجام شده است. حاشیه نویسی تصاویر به فرایند تولید کلماتی که محتوای تصویر را توصیف کنند اطلاق می شود، هدف حاشیه‌نویسی تصاویر تولید کلماتی است که توصیف گرهای مناسبی برای تصاویر هستند. در واقع حاشیه نویسی مجموعه‌ای از کلمه یا کلماتی که بیانگر معنا و مفهوم واقعی تصویر است با تصاویر همراه می شود منظور از معنا و مفهوم واقعی مفاهیمی نزدیک به برداشت انسانها ازتصویر است. در واقع، حاشیه‌نویسی خودکار تصاویر به ایجاد خودکار برچسب‌های متنی مطابق با محتوای بصری تصاویر دلالت دارد. حاشیه نویسی تصویر انتساب کلمات به یک تصویر است تا مشخص شود که در یک تصویر چه عناصری وجود دارد. که یکی از مهم ترین روش های بازیابی تصویر است. اولین گام در حاشیه نویسی تصویر استخراج ویژگی های موثر از تصویر است. ویژگی های بصری و معنایی ابزارهای اصلی در حاشیه نویسی تصویر هستند که حاشیه بندی تصویر می تواند بر اساس ویژگی های سطح پایین تصویر صورت گیرد، ویژگی های رنگ، بافت، … می توانند به عنوان ویژگی هایی برای حاشیه نویسی استفاده کرد که انتخاب ویژگی های مناسب از تصویر و مدل حاشیه نویسی تاثیر زیادی در کارائی سیستم خواهند داشت. با توجه به رشد تصاوير ديجيتال در دنياي امروز، نياز به روش هایي كارا براي بازیابی تصاوير احساس مي شود. به دليل اهميت بالاي اين روش در فهم تصاوير ديجيتال، امروزه روش هاي مختلفي براي حاشيه نويسي تصاوير پيشنهاد داده شده اند. در شکل زیر یک تصویر توسط کلماتی مرتبط با مفهوم تصویر حاشیه نویسی شده است.

حاشيه نويسي تصاوير به بازيابي و دسته بندي تصاوير گفته مي شود كه هر دسته بيانگر كلمه يا عبارتي در مورد تصوير است .لذا می‌توان گفت با گسترش استفاده از تصاویر دیجیتال، عملیات پردازش این تصاویر نیز گسترش یافته است، و با ظهور مفاهیمی همچون بینایی ماشین و هوش مصنوعی، گستردگی پژوهشی و کاربردي بیشتري پیدا کرده است. پژوهش ها و تحقیقات زیادي در این زمینه صورت گرفته، و با کمک روش هاي پردازش تصویر، بینایی ماشین و هوش مصنوعی، سعی در ارائه ي روش هاي مختلف براي حل دسته ي وسیعی از این گونه مسائل شده است. در کل می توان گفت که بازیابی تصویر شامل پنج روش اصلی است.

• بازیابی دستی و سنتی تصویر: بازیابی توسط انسان به صورت دستی صورت می‌گیرد.
• بازیابی متنی تصویر: براساس ویژگی های سطح پایین تصویر بازیابی صورت می‌گیرد.
• حاشیه نویسی تصاویر وب : براساس محتوای وب سایت تصویر بازیابی صورت می‌گیرد.
• حاشیه نویسی خودکار تصاویر و بازیابی متن‌ها: براساس ویژگی های بصری و معنایی و با الگوریتم های یادگیری ماشین بازیابی صورت می‌گیرد.

هدف روشهاي بازیابی تصاویر براساس مفهوم تولید سیستم بازیابی تصویري است که قادر به پاسخ گویی درخواستهاي متنی باشد. این روشها بازیابی تصاویر را براساس معنا و مفهوم واقعی انجام میدهند. براي بازیابی تصاویر با درخواستهاي متنی باید مجموعه‌اي از کلمات توصیفگر مفهوم تصویر با هر تصویر همراه شود، یعنی باید تصاویر را حاشیه‌نویسی کنیم. تنها در صورتی که مجموعه‌هاي تصاویر حاشیه دار باشند، امکان بازیابی براساس مفهوم و درخواستهاي متنی فراهم میشود. هنگام بازیابی، درخواست متنی با متن حاشیه‌هاي هر تصویر مقایسه شده و تصاویر منطبق با درخواست به عنوان پاسخ انتخاب میشوند. باید توجه داشت که در تولید سیستم حاشیه‌نویسی خودکار، دانش هر سیستم کاملا وابسته به مجموعه‌ي آموزش آن سیستم و دامنه‌ي مفاهیم مورد یادگیري به کمک مجموعه‌ي آموزش است. داده معمولاً با پیش پردازش به ویژگی ها تبدیل می‌شود. سپس، از تکنیک هاي یادگیري ماشین استفاده می کنیم تا نوعی مدل از داده هاي جمع آوري شده درست کنیم.

در روش خودکار سعی بر این است تا فرآیند حاشیه‌نویسی تصاویر به طور کامل توسط ماشین انجام شود. در سالهای اخیر حاشیه نويسی اتوماتیک تصاوير با هدف ايجاد پل بر روی اين شکاف معنائی، جذابیت‌های بسیاری را پیدا نموده است. هدف اولیه حاشیه نويسی اتوماتیک ايجاد برچسب هائی برای تصاوير بدون برچسب می باشد و هدف نهائی آن ايجاد رابط مبتنی بر متن برای جستجوی تصاوير و کمک به کاربران می باشد که در صورت موفقیت، هر کاربر با روشهای مشابه جستجو در اسناد متنی، قادر به جستجوی تصاوير خواهد بود. بعضی سیستم‌هاي خودکار یا نیمه خودکار قدرت یادگیري از آن چه کاربران وارد می‌کنند را نیز دارند، تا در مورد تصاویر جدید حاشیه‌هاي دقیق تري تولید کنند. بنابراین نتیجه می گیریم:

• حاشیه نویسی تصویر یکی از مهمترین روش های بازیابی تصاویر است.
• روش های مختلف حاشیه نویسی تصویر وجود دارد که مهمترین و پرکاربردترین آنها حاشیه نویسی خودکار است.
• ویژگی های سطح پایین تصویر نمی توانند مفهوم کامل تصویر را مشخص کنند.
• شکاف معنایی یکی از چالش های روش های مبتنی بر متن و مبتنی بر محتوا است.
• حاشیه نویسی خودکار با ویژگی های بصری و معنایی می تواند کارایی بهتری را داشته باشد.
• تشخیص نوع ویژگی استخراج شده اهمیت زیادی در دقت الگوریتم دارد و بهتر است از ترکیب ویژگی های محلی و سراسری استفاده کرد.
• استفاده از روش های یادگیری ماشین عملکرد بهتری را نسبت به روش های آماری دارند.

یادگیری عمیق در هوش مصنوعی از طریق شبکه‌های عصبی مصنوعی که شباهت زیادی به کارکرد مغز دارند، انجام می‌گیرد و تحلیل اطلاعات در این روش شباهات زیادی به روش مغز انسان‌ها دارد. سیستم‌های یادگیری عمیق نیازی به دستورات و راهنمایی برنامه نویس‌های انسان ندارند. شرح تصاویر به فرآیند تولید کلمات متنی از یک تصویر – مبتنی بر اشیاء و اعمال موجود در تصویر اشاره دارد. درست قبل از توسعه اخیر شبکه های عصبی عمیق ، این مشکل حتی توسط پیشرفته ترین محققان Computer Vision قابل تصور نبود. اما با ظهور Deep Learning در صورت داشتن مجموعه داده های مورد نیاز ، می توان این مشکل را به راحتی حل کرد. برای درک محتوای تصویر، نیاز به پردازش تصویر و پردازش زبان طبیعی داریم، هر دو روش از دید رایانه ای لازم است تا درک تصویر به کلمات به ترتیب درست تبدیل شود. حاشیه نویسی تصاویر به مدل‌های یادگیری عمیق پیشرفته، مانند شبکه‌های عصبی کانولوشنی (CNN) و شبکه‌های عصبی تکرارشونده (RNN)، نیاز دارد. این شبکه‌های عصبی می‌توانند یاد بگیرند که ویژگی‌های معنادار را از داده‌های بصری استخراج کنند و توصیف‌های دقیق و منسجمی از زبان طبیعی ایجاد کنند. این مدل یک شبکه CNN است که روی ناحیه تصویر اعمال می‌شود و پس از آن یک RNN قرار می‌گیرد که از ورودی شبکه قبلی استفاده می‌کند. این شبکه RNN در نهایت می‌تواند کلمات جدیدی از نواحی تصویر ایجاد کند. در نتیجه دو مدل با هم ترکیب می‌شوند که برای برچسب گذاری تصاویر با جملات استفاده می‌شود.