تاریخ دفاع: 1405/7/21
دانشجو

علی حامد حسین

دانشکده / گروه آموزشی فنی مهندسی | گروه مهندسی کامپیوتر و فنآوری اطلاعات

تشخیص تصاویر جعلی تولیدشده با GAN و ویرایش شده توسط انسان با استفاده از یک معماری ترکیبی ترنسفورمر چندوجهی (HMFT)

استاد راهنما عبدالحسین فتحی

چکیده

گسترش سریع فناوری‌های تولید تصویر مبتنی بر هوش مصنوعی و پیشرفت مدل‌های مولد، تشخیص تصاویر جعلی و دست‌کاری‌شده را به یکی از چالش‌های مهم حوزه بینایی ماشین و جرم‌شناسی دیجیتال تبدیل کرده است. تصاویر تولیدشده توسط مدل‌های مولد و تصاویر ویرایش‌شده توسط انسان می‌توانند از نظر ظاهری شباهت زیادی به تصاویر واقعی داشته باشند و روش‌های سنتی تشخیص مبتنی بر بررسی انسانی یا ویژگی‌های منفرد، در بسیاری از موارد با محدودیت مواجه می‌شوند. ازاین‌رو، توسعه سامانه‌های هوشمند مبتنی بر یادگیری عمیق که بتوانند از اطلاعات مکمل موجود در تصویر بهره‌برداری کنند، اهمیت زیادی دارد. در این پژوهش، یک معماری ترکیبی چندوجهی با عنوان HMFT برای تشخیص تصاویر چهره واقعی و جعلی ارائه شده است. معماری پیشنهادی از سه جریان پردازشی مکمل شامل جریان ویژگی‌های بصری مبتنی بر شبکه ResNet-50، جریان ویژگی‌های فرکانسی و نویزی مبتنی بر تبدیل کسینوسی گسسته (DCT[1]) و فیلترهای Spatial Rich Model (SRM)، و جریان ویژگی‌های معنایی تصویری مبتنی بر مدل CLIP[2] تشکیل شده است. ویژگی‌های استخراج‌شده از این جریان‌ها پس از نگاشت به فضای ویژگی مشترک، با استفاده از یک ماژول ادغام مبتنی بر Transformer Fusion ترکیب شده و برای تصمیم‌گیری نهایی در اختیار طبقه‌بند قرار می‌گیرند. مدل پیشنهادی بر روی مجموعه‌داده‌های CIPLAB Real and Fake Face Detection و Hard Dataset (Fake-Vs-Real-Faces (Hard))، که شامل تصاویر چهره جعلی تولیدشده با GAN است، ارزیابی شد. به‌منظور افزایش اعتبار نتایج، از روش اعتبارسنجی متقابل طبقه‌بندی‌شده پنج‌بخشی استفاده گردید. در مجموعه‌داده CIPLAB، مسیر نهایی HMFT–HOG–RBF-SVM به میانگین دقت ???76?، دقت متوازن ???75?، دقت مثبت ???79?، بازخوانی ???69?، F1-score برابر با ???74?، ROC-AUC   برابر با ???996? و PR-AUC برابر با ???995? دست یافت. مسیر HMFT–MLP نیز برای مقایسه ارزیابی شد و میانگین دقت ???51? را به دست آورد. در Hard Dataset، مسیر HMFT–MLP به میانگین دقت ?????? و F1-score برابر با ?????? دست یافت که نشان‌دهنده توانایی مناسب معماری در تشخیص نمونه‌های تولیدشده با GAN در این مجموعه‌داده و حفظ عملکرد در شرایط دشوارتر است. نتایج مطالعه حذف مولفه‌ها [3]نیز نشان داد که تمامی اجزای معماری در عملکرد نهایی مدل نقش موثری دارند. به‌طور ویژه، حذف ویژگی‌های معنایی استخراج‌شده توسط CLIP موجب کاهش شدید عملکرد مدل شد و اهمیت استفاده هم‌زمان از اطلاعات بصری، فرکانسی و معنایی را تایید کرد. همچنین حذف مولفه‌های فرکانسی، ویژگی‌های تصویری و ماژول ادغام Transformer باعث افت محسوس معیارهای ارزیابی گردید. در مجموع، نتایج این پژوهش نشان می‌دهد که معماری HMFT با بهره‌گیری از ادغام چندسطحی ویژگی‌ها و استفاده از سازوکار توجه مبتنی بر Transformer، قادر است تصاویر چهره واقعی و جعلی را با دقت و پایداری بالا تفکیک کند. این معماری می‌تواند به‌عنوان یک چارچوب موثر برای توسعه سامانه‌های هوشمند تشخیص محتوای جعلی در کاربردهای امنیتی، رسانه‌ای و جرم‌شناسی دیجیتال مورد استفاده قرار گیرد. کلمات کلیدی: یادگیری عمیق، تشخیص تصاویر جعلی، جرم‌شناسی دیجیتال، ResNet-50، CLIP، ادغام چندوجهی ویژگی‌ها [1] Discrete Cosine Transform [2]