محققان IBM Research UK ، آکادمی نظامی ایالات متحده و دانشگاه کاردیف اخیراً رویکرد جدیدی را برای بهبود حساسیت LIME (توضیحات محلی تفسیر موضعی Agnostic) ارائه داده اند ، روشی برای دستیابی به درک بهتر از نتیجه گیری های حاصل از الگوریتم های یادگیری ماشین. مقاله آنها ، که در کتابخانه دیجیتالی SPIE منتشر شده است ، می تواند از ابزارهای هوش مصنوعی (AI) که توضیحی جامع در مورد چگونگی دستیابی به یک نتیجه یا نتیجه خاص دارند ، آگاه سازد.
Eunjin Lee ، نویسنده مقاله اصلی تحقیق و متخصص فناوری نوظهور و Inventor ارشد در IBM Research ، گفت : "ما معتقدیم که هوش مصنوعی و یادگیری ماشین می توانند از تصمیم گیریهای انسانی پشتیبانی و تقویت کنند ، اما برای هوش مصنوعی نیز یک ضرورت وجود دارد." انگلیس ، به TechXplore گفت. "امروز تصمیماتی که بسیاری از سیستمهای یادگیری ماشینی اتخاذ می کنند غیر قابل توضیح است ، یعنی راهی برای ما وجود ندارد که بدانیم سیستم ها به چه تصمیماتی رسیده اند. تحقیقات ما با بررسی چگونگی بهبود تکنیک های قابل توضیح که هدف از آن پرتاب نور است ، به این موضوع می پردازیم. "جعبه سیاه" ماهیت فرآیندهای یادگیری ماشین. "
بیشتر بخوانیم: انواع پمپ وکیوم
LIME یک تکنیک قابل توضیح برای محبوبیت است که می تواند در بسیاری از مدلهای یادگیری ماشین اعمال شود. با وجود تطبیق پذیری آن ، اغلب به دلیل تنوع در نتایج حاصل از تولید ، غیر قابل اعتماد و در نتیجه در ارائه توضیحات بی اثر است. لی و همکارانش به جای ایجاد یک تکنیک کاملاً جدید برای توضیح ، اقدام به شناسایی مکانیسم هایی کردند که می توانند توضیحات LIME را تقویت کنند.
لی توضیح داد: "ما ابتدا می خواستیم عمیق تر به بی ثباتی نگاه كنیم كه سایر محققان مشاهده كردند كه آیا LIME واقعاً ناپایدار است یا خیر." "برای این کار ، ما LIME را در برابر مجموعه داده ها و مدل یادگیری ماشین خود تست کردیم بدون اینکه کد زیرین را تغییر دهیم. تکنیک."
نه خروجی تصویر برای تکنیک اصلاح نشده LIME. اعتبار: لی و همکاران.
هنگامی که لی و همکارانش عمیق تر به آمارهای زیربنایی LIME حفر شدند ، دریافتند که اگرچه تصاویر ایجاد شده به نظر می رسد "از نظر بصری ناپایدار باشند" ، توضیحات پیش فرض تمام اطلاعات آماری را در نظر نگرفته است. به عنوان مثال ، رنگ آمیزی تصاویر توضیحی خیلی ساده بود و داده های زیربنایی را در نظر نمی گرفت (برای مثال ، تکنیک هایی مانند سایه یا شفافیت را در نظر نمی گرفت). این یافته تا حدی توضیح می دهد که چرا توضیحات ایجاد شده توسط LIME گاهی اوقات در انتقال یقین طبقه بندی به کاربران انسانی موفق نیستند.
لی گفت: "این مورد اغلب برای سیستم های پویا مانند مواردی که در این مطالعه بررسی کرده ایم ، این است که اجرای تست های متعدد و بررسی مقادیر متوسط می تواند سودمند باشد." "با استفاده از این روش ، ما متوجه شدیم که ثبات توضیحات هنگام در نظر گرفتن مقادیر متوسط و انحراف معیار در چندین اجرا به جای اینکه فقط یکبار توضیح را اجرا کنید ، بهبود می یابد."
در مطالعه خود ، لی و همکارانش با استفاده از دو کلاس تصویر ، یعنی "تفنگ گرگ" و "غیر جادوگر" ، یک مدل عصبی حلقوی (CNN) آموزش دادند. آنها دریافتند که هنگامی که چندین وزن خروجی برای تصاویر به طور متوسط و تجسم می شود ، حساسیت LIME بهبود می یابد.
محققان سپس این تصاویر متوسط را برای ارزیابی تنوع و قابلیت اطمینان دو روش LIME (یعنی روش سنتی و روش پیشنهادی) با تصاویر فردی مقایسه کردند. آنها دریافتند که تکنیک های سنتی LIME ، بدون تنظیماتی که انجام داده اند ، به دلیل ساده بودن رنگ باینری که اتخاذ کرده اند و سهولت در آن مناطق رنگی هنگام مقایسه تحلیل های مختلف ، ناپایدار به نظر می رسند. لی و همکارانش همچنین مشاهده کردند که مناطق با وزن قابل توجهی از تصاویر سازگار هستند ، در حالی که مناطق دارای وزن کم به دلیل عدم ثبات ذاتی تکنیکهای LIME ، ایالات را شلاق می زنند.
تصویر با استفاده از اطلاعات متوسط برجسته شده است. اعتبار: لی و همکاران.
لی گفت: "تکنیک هایی مانند LIME نوید بالایی را برای توضیح هوش مصنوعی نشان می دهند ، به ویژه در زمانی که هیچ امکان توضیح آسان و آسان برای سیستمهای یادگیری ماشین وجود ندارد." "در حالی که بی ثباتی درک شده توجیه شده است ، تکنیک هایی وجود دارد که می تواند به کاهش این مسئله کمک کند. این تکنیک ها دارای هزینه های محاسباتی اضافی هستند ، به عنوان مثال اجرای چندین بار توضیحات که به معنی کاربر تأخیر بیشتری در تولید توضیحات خواهد داشت."
مطالعه لی و همکارانش توضیحاتی ارزشمند در مورد برخی از عوامل عدم ثبات LIME ارائه داده اند ، همانطور که در تحقیقات گذشته مشاهده شده است. یافته های آنها حاکی از آن است که بهبود روش های وزنه برداری برای تکنیک های تبیین پذیری می تواند ثبات آنها را تقویت کرده و به توضیحات معتبرتری منجر شود ، درنهایت اعتماد بیشتر به هوش مصنوعی منجر شود. تحقیقات آینده می تواند تکنیک های عددی پیشرفته تری را شناسایی کند تا ضمن افزایش هزینه اضافی ، پایداری LIME و سایر روش های قابل توضیح را بهبود بخشد.
لی گفت: "ما علاقه مستمر به سیستم های پاسخگو هوش مصنوعی داریم که شامل توضیحات هستند اما تعصب را کاهش می دهند و استحکام و شفافیت را تقویت می کنند." "بهبود توانایی توسعه دهندگان برای استفاده راحت تر از تکنیک های توضیح در راه حل های AI برای ما یک هدف اصلی است. اخیراً ، IBM سرویس نرم افزاری را راه اندازی کرده است که بطور خودکار تعصب را تشخیص می دهد و نحوه تصمیم گیری AI را توضیح می دهد."
محققان IBM Research UK ، آکادمی نظامی ایالات متحده و دانشگاه کاردیف اخیراً رویکرد جدیدی را برای بهبود حساسیت LIME (توضیحات محلی تفسیر موضعی Agnostic) ارائه داده اند ، روشی برای دستیابی به درک بهتر از نتیجه گیری های حاصل از الگوریتم های یادگیری ماشین. مقاله آنها ، که در کتابخانه دیجیتالی SPIE منتشر شده است ، می تواند از ابزارهای هوش مصنوعی (AI) که توضیحی جامع در مورد چگونگی دستیابی به یک نتیجه یا نتیجه خاص دارند ، آگاه سازد.
Eunjin Lee ، نویسنده مقاله اصلی تحقیق و متخصص فناوری نوظهور و Inventor ارشد در IBM Research ، گفت : "ما معتقدیم که هوش مصنوعی و یادگیری ماشین می توانند از تصمیم گیریهای انسانی پشتیبانی و تقویت کنند ، اما برای هوش مصنوعی نیز یک ضرورت وجود دارد." انگلیس ، به TechXplore گفت. "امروز تصمیماتی که بسیاری از سیستمهای یادگیری ماشینی اتخاذ می کنند غیر قابل توضیح است ، یعنی راهی برای ما وجود ندارد که بدانیم سیستم ها به چه تصمیماتی رسیده اند. تحقیقات ما با بررسی چگونگی بهبود تکنیک های قابل توضیح که هدف از آن پرتاب نور است ، به این موضوع می پردازیم. "جعبه سیاه" ماهیت فرآیندهای یادگیری ماشین. "
بیشتر بخوانیم: انواع پمپ وکیوم
LIME یک تکنیک قابل توضیح برای محبوبیت است که می تواند در بسیاری از مدلهای یادگیری ماشین اعمال شود. با وجود تطبیق پذیری آن ، اغلب به دلیل تنوع در نتایج حاصل از تولید ، غیر قابل اعتماد و در نتیجه در ارائه توضیحات بی اثر است. لی و همکارانش به جای ایجاد یک تکنیک کاملاً جدید برای توضیح ، اقدام به شناسایی مکانیسم هایی کردند که می توانند توضیحات LIME را تقویت کنند.
لی توضیح داد: "ما ابتدا می خواستیم عمیق تر به بی ثباتی نگاه كنیم كه سایر محققان مشاهده كردند كه آیا LIME واقعاً ناپایدار است یا خیر." "برای این کار ، ما LIME را در برابر مجموعه داده ها و مدل یادگیری ماشین خود تست کردیم بدون اینکه کد زیرین را تغییر دهیم. تکنیک."
نه خروجی تصویر برای تکنیک اصلاح نشده LIME. اعتبار: لی و همکاران.
هنگامی که لی و همکارانش عمیق تر به آمارهای زیربنایی LIME حفر شدند ، دریافتند که اگرچه تصاویر ایجاد شده به نظر می رسد "از نظر بصری ناپایدار باشند" ، توضیحات پیش فرض تمام اطلاعات آماری را در نظر نگرفته است. به عنوان مثال ، رنگ آمیزی تصاویر توضیحی خیلی ساده بود و داده های زیربنایی را در نظر نمی گرفت (برای مثال ، تکنیک هایی مانند سایه یا شفافیت را در نظر نمی گرفت). این یافته تا حدی توضیح می دهد که چرا توضیحات ایجاد شده توسط LIME گاهی اوقات در انتقال یقین طبقه بندی به کاربران انسانی موفق نیستند.
لی گفت: "این مورد اغلب برای سیستم های پویا مانند مواردی که در این مطالعه بررسی کرده ایم ، این است که اجرای تست های متعدد و بررسی مقادیر متوسط می تواند سودمند باشد." "با استفاده از این روش ، ما متوجه شدیم که ثبات توضیحات هنگام در نظر گرفتن مقادیر متوسط و انحراف معیار در چندین اجرا به جای اینکه فقط یکبار توضیح را اجرا کنید ، بهبود می یابد."
در مطالعه خود ، لی و همکارانش با استفاده از دو کلاس تصویر ، یعنی "تفنگ گرگ" و "غیر جادوگر" ، یک مدل عصبی حلقوی (CNN) آموزش دادند. آنها دریافتند که هنگامی که چندین وزن خروجی برای تصاویر به طور متوسط و تجسم می شود ، حساسیت LIME بهبود می یابد.
محققان سپس این تصاویر متوسط را برای ارزیابی تنوع و قابلیت اطمینان دو روش LIME (یعنی روش سنتی و روش پیشنهادی) با تصاویر فردی مقایسه کردند. آنها دریافتند که تکنیک های سنتی LIME ، بدون تنظیماتی که انجام داده اند ، به دلیل ساده بودن رنگ باینری که اتخاذ کرده اند و سهولت در آن مناطق رنگی هنگام مقایسه تحلیل های مختلف ، ناپایدار به نظر می رسند. لی و همکارانش همچنین مشاهده کردند که مناطق با وزن قابل توجهی از تصاویر سازگار هستند ، در حالی که مناطق دارای وزن کم به دلیل عدم ثبات ذاتی تکنیکهای LIME ، ایالات را شلاق می زنند.
تصویر با استفاده از اطلاعات متوسط برجسته شده است. اعتبار: لی و همکاران.
لی گفت: "تکنیک هایی مانند LIME نوید بالایی را برای توضیح هوش مصنوعی نشان می دهند ، به ویژه در زمانی که هیچ امکان توضیح آسان و آسان برای سیستمهای یادگیری ماشین وجود ندارد." "در حالی که بی ثباتی درک شده توجیه شده است ، تکنیک هایی وجود دارد که می تواند به کاهش این مسئله کمک کند. این تکنیک ها دارای هزینه های محاسباتی اضافی هستند ، به عنوان مثال اجرای چندین بار توضیحات که به معنی کاربر تأخیر بیشتری در تولید توضیحات خواهد داشت."
مطالعه لی و همکارانش توضیحاتی ارزشمند در مورد برخی از عوامل عدم ثبات LIME ارائه داده اند ، همانطور که در تحقیقات گذشته مشاهده شده است. یافته های آنها حاکی از آن است که بهبود روش های وزنه برداری برای تکنیک های تبیین پذیری می تواند ثبات آنها را تقویت کرده و به توضیحات معتبرتری منجر شود ، درنهایت اعتماد بیشتر به هوش مصنوعی منجر شود. تحقیقات آینده می تواند تکنیک های عددی پیشرفته تری را شناسایی کند تا ضمن افزایش هزینه اضافی ، پایداری LIME و سایر روش های قابل توضیح را بهبود بخشد.
لی گفت: "ما علاقه مستمر به سیستم های پاسخگو هوش مصنوعی داریم که شامل توضیحات هستند اما تعصب را کاهش می دهند و استحکام و شفافیت را تقویت می کنند." "بهبود توانایی توسعه دهندگان برای استفاده راحت تر از تکنیک های توضیح در راه حل های AI برای ما یک هدف اصلی است. اخیراً ، IBM سرویس نرم افزاری را راه اندازی کرده است که بطور خودکار تعصب را تشخیص می دهد و نحوه تصمیم گیری AI را توضیح می دهد."
مدل جدیدی برای تولید سؤال گفتگوی بصری