عاطفه افروزان بازقلعه

گسترش سریع فناوری‌های تولید تصویر مبتنی بر هوش مصنوعی و پیشرفت مدل‌های مولد، تشخیص تصاویر جعلی و دست‌کاری‌شده را به یکی از چالش‌های مهم حوزه بینایی ماشین و جرم‌شناسی دیجیتال تبدیل کرده است. تصاویر تولیدشده توسط مدل‌های مولد و تصاویر ویرایش‌شده توسط انسان می‌توانند از نظر ظاهری شباهت زیادی به تصاویر واقعی داشته باشند و روش‌های سنتی تشخیص مبتنی بر بررسی انسانی یا ویژگی‌های منفرد، در بسیاری از موارد با محدودیت مواجه می‌شوند. ازاین‌رو، توسعه سامانه‌های هوشمند مبتنی بر یادگیری عمیق که بتوانند از اطلاعات مکمل موجود در تصویر بهره‌برداری کنند، اهمیت زیادی دارد. در این پژوهش، یک معماری ترکیبی چندوجهی با عنوان HMFT برای تشخیص تصاویر چهره واقعی و جعلی ارائه شده است. معماری پیشنهادی از سه جریان پردازشی مکمل شامل جریان ویژگی‌های بصری مبتنی بر شبکه ResNet-50، جریان ویژگی‌های فرکانسی و نویزی مبتنی بر تبدیل کسینوسی گسسته (DCT[1]) و فیلترهای Spatial Rich Model (SRM)، و جریان ویژگی‌های معنایی تصویری مبتنی بر مدل CLIP[2] تشکیل شده است. ویژگی‌های استخراج‌شده از این جریان‌ها پس از نگاشت به فضای ویژگی مشترک، با استفاده از یک ماژول ادغام مبتنی بر Transformer Fusion ترکیب شده و برای تصمیم‌گیری نهایی در اختیار طبقه‌بند قرار می‌گیرند. مدل پیشنهادی بر روی مجموعه‌داده‌های CIPLAB Real and Fake Face Detection و Hard Dataset (Fake-Vs-Real-Faces (Hard))، که شامل تصاویر چهره جعلی تولیدشده با GAN است، ارزیابی شد. به‌منظور افزایش اعتبار نتایج، از روش اعتبارسنجی متقابل طبقه‌بندی‌شده پنج‌بخشی استفاده گردید. در مجموعه‌داده CIPLAB، مسیر نهایی HMFT–HOG–RBF-SVM به میانگین دقت ???76?، دقت متوازن ???75?، دقت مثبت ???79?، بازخوانی ???69?، F1-score برابر با ???74?، ROC-AUC   برابر با ???996? و PR-AUC برابر با ???995? دست یافت. مسیر HMFT–MLP نیز برای مقایسه ارزیابی شد و میانگین دقت ???51? را به دست آورد. در Hard Dataset، مسیر HMFT–MLP به میانگین دقت ?????? و F1-score برابر با ?????? دست یافت که نشان‌دهنده توانایی مناسب معماری در تشخیص نمونه‌های تولیدشده با GAN در این مجموعه‌داده و حفظ عملکرد در شرایط دشوارتر است. نتایج مطالعه حذف مولفه‌ها [3]نیز نشان داد که تمامی اجزای معماری در عملکرد نهایی مدل نقش موثری دارند. به‌طور ویژه، حذف ویژگی‌های معنایی استخراج‌شده توسط CLIP موجب کاهش شدید عملکرد مدل شد و اهمیت استفاده هم‌زمان از اطلاعات بصری، فرکانسی و معنایی را تایید کرد. همچنین حذف مولفه‌های فرکانسی، ویژگی‌های تصویری و ماژول ادغام Transformer باعث افت محسوس معیارهای ارزیابی گردید. در مجموع، نتایج این پژوهش نشان می‌دهد که معماری HMFT با بهره‌گیری از ادغام چندسطحی ویژگی‌ها و استفاده از سازوکار توجه مبتنی بر Transformer، قادر است تصاویر چهره واقعی و جعلی را با دقت و پایداری بالا تفکیک کند. این معماری می‌تواند به‌عنوان یک چارچوب موثر برای توسعه سامانه‌های هوشمند تشخیص محتوای جعلی در کاربردهای امنیتی، رسانه‌ای و جرم‌شناسی دیجیتال مورد استفاده قرار گیرد. کلمات کلیدی: یادگیری عمیق، تشخیص تصاویر جعلی، جرم‌شناسی دیجیتال، ResNet-50، CLIP، ادغام چندوجهی ویژگی‌ها [1] Discrete Cosine Transform [2]

   در این مطالعه، یک استراتژی جدید برای ارزیابی خواص مکانیکی نانوکامپوزیت‌های پلیمری نیمه بلوری ابداع شد. برای این منظور، مدل هالپین-تسای به طور جامع بهبود یافت تا تاثیر کیفیت پراکندگی، تجمع/ اگلومره شدن نانوذرات، تشکیل ناحیه بین فازی پلیمر/ذره و خود-بلوری القایی/ذاتی را نیز در بر بگیرد. علاوه بر افزایش مدول کششی سیستم، بخش خاصی از دامنه‌های نانوذرات پراکنده یا خوشه‌ای برای شرکت در فرآیند تبلور القایی (دامنه‌های فعال) در نظر گرفته شد. محتوای دامنه‌های فعال با استفاده از نظریه گوتزو-دوبروا یا یک روش طراحی‌شده خاص بر اساس الزامات سیستم تخمین زده شد. در مقابل، فرض بر این بود که دامنه‌های به اصطلاح غیرفعال در ماتریس پلیمری توزیع شده باقی می‌مانند و در مکانیسم پاسخ سیستم نقش دارند. ویژگی‌های مکانیکی ناحیه بین فازی با استفاده از نظریه فرش خود-مشابه دی ژن با در نظر گرفتن ویژگی‌های مولکولی فاز پلیمری تعریف شدند. علاوه بر این، از شاخص تخلخل و ماهیت پیوند بین نانوذرات تجمع یافته یا آگلومره شده برای تخمین مدول کششی دامنه‌های خوشه‌ای استفاده شد. فرآیند اعتبارسنجی مدل از طریق مقایسه پیش‌بینی‌های آن با داده‌های به‌دست‌آمده از مقالات انجام شد که تطابق قابل قبولی را نشان داد و ثابت کرد که مدل یک ابزار تفسیر کاملاً دقیق است. در این مطالعه، یک استراتژی جدید برای ارزیابی خواص مکانیکی نانوکامپوزیت‌های پلیمری نیمه بلوری ابداع شد. برای این منظور، مدل هالپین-تسای به طور جامع بهبود یافت تا تاثیر کیفیت پراکندگی، تجمع/ اگلومره شدن نانوذرات، تشکیل ناحیه بین فازی پلیمر/ذره و خود-بلوری القایی/ذاتی را نیز در بر بگیرد. علاوه بر افزایش مدول کششی سیستم، بخش خاصی از دامنه‌های نانوذرات پراکنده یا خوشه‌ای برای شرکت در فرآیند تبلور القایی (دامنه‌های فعال) در نظر گرفته شد. محتوای دامنه‌های فعال با استفاده از نظریه گوتزو-دوبروا یا یک روش طراحی‌شده خاص بر اساس الزامات سیستم تخمین زده شد. در مقابل، فرض بر این بود که دامنه‌های به اصطلاح غیرفعال در ماتریس پلیمری توزیع شده باقی می‌مانند و در مکانیسم پاسخ سیستم نقش دارند. ویژگی‌های مکانیکی ناحیه بین فازی با استفاده از نظریه فرش خود-مشابه دی ژن با در نظر گرفتن ویژگی‌های مولکولی فاز پلیمری تعریف شدند. علاوه بر این، از شاخص تخلخل و ماهیت پیوند بین نانوذرات تجمع یافته یا آگلومره شده برای تخمین مدول کششی دامنه‌های خوشه‌ای استفاده شد. فرآیند اعتبارسنجی مدل از طریق مقایسه پیش‌بینی‌های آن با داده‌های به‌دست‌آمده از مقالات انجام شد که تطابق قابل قبولی را نشان داد و ثابت کرد که مدل یک ابزار تفسیر کاملاً دقیق است.