تاریخ دفاع: 1405/7/22
دانشجو

سارا سمیعی

دانشکده / گروه آموزشی فنی مهندسی | گروه مهندسی کامپیوتر و فنآوری اطلاعات

طراحی یک مدل سبک تشخیص احساسات چندوجهی با استفاده از تکنیک چکانش دانش

استاد راهنما عبدالحسین فتحی

چکیده

چکیده: تشخیص احساسات چندوجهی با بهره‌گیری هم‌زمان از اطلاعات صوتی، تصویری و متنی، امکان استفاده از سرنخ‌های مکمل احساسی را فراهم می‌کند؛ با این حال، بسیاری از مدل‌های چندوجهی به دلیل پیچیدگی معماری و تعداد زیاد پارامترها، برای استقرار در سامانه‌های دارای منابع محاسباتی محدود مناسب نیستند. در این پژوهش، یک چارچوب سبک مبتنی بر چکانش دانش برای تشخیص احساسات چندوجهی ارائه شد که در آن دانش از یک مدل معلم سه‌مدالیتی شامل صوت، تصویر و متن، به یک مدل دانش‌آموز دومدالیتی سبک شامل صوت و تصویر منتقل می‌شود. ایده اصلی روش پیشنهادی، استفاده از متن به‌عنوان «اطلاعات ممتاز» در مرحله آموزش است؛ به‌گونه‌ای که اطلاعات متنی در اختیار مدل معلم قرار دارد و دانش حاصل از آن به دانش‌آموز منتقل می‌شود، اما در زمان استنتاج، به‌منظور کاهش هزینه محاسباتی و پیچیدگی استقرار، مدالیتی متن از ورودی مدل دانش‌آموز حذف شده و مدل نهایی تنها به صوت و تصویر نیاز دارد. مدل دانش‌آموز از یک شاخه کانولوشنی سبک برای پردازش صوت، یک رمزگذار بینایی سبک مبتنی بر شبکه‌های کانولوشنی و یک سازوکار فیوژن دروازه‌ای استفاده می‌کند. انتقال دانش نیز از طریق اطلاعات خروجی معلم، بازنمایی‌های صوتی و تصویری، بازنمایی متن ممتاز و روابط میان بازنمایی‌های نمونه‌ها انجام شده است. همچنین، برای کاهش اثر حفظ داده‌های آموزشی توسط معلم، هدف‌های چکانش به‌صورت متقاطع‌برازش‌شده تولید شدند و هم‌ترازی زمانی صوت و تصویر در سطح نمونه نیز در فرایند پیش‌پردازش در نظر گرفته شد. روش پیشنهادی بر روی مجموعه‌داده‌های IEMOCAP و CMU-MOSEI ارزیابی شد. در IEMOCAP، مدل دانش‌آموز بدون چکانش دانش به دقت ?????درصد دست یافت، در حالی که استفاده از روش کامل چکانش دانش در مدل نهایی این مقدار را به ?????درصد افزایش داد. مدل نهایی تنها ???? میلیون پارامتر دارد. در CMU-MOSEI نیز اعمال همان معماری و روش چکانش، بدون تغییر در ساختار مدل، دقت را از ????? به ?????درصد افزایش داد. نتایج آزمون حذف مولفه‌ها نیز نشان داد که انتقال بازنمایی متن ممتاز و همینطور کانال‌های چکانش روش پیشنهادی نقش موثری در بهبود عملکرد مدل دانش‌آموز دارد؛ به‌طوری‌که حذف هر یک از این کانال‌ها موجب کاهش دقت مدل شد. در مجموع، نتایج نشان می‌دهند که می‌توان با استفاده از اطلاعات متنی تنها در مرحله آموزش و انتقال دانش آن به یک مدل صوتی- تصویری سبک، بخشی از مزیت مدل سه‌مدالیتی را بدون تحمیل هزینه پردازش متن در زمان استقرار حفظ کرد.