خلاصه

در این مقاله، ما یک معماری جدید از شبکه‌های کانولوشنال متصل متراکم برای پان شارپنینگ (DCCNP) پیشنهاد می‌کنیم. از آنجایی که شبکه عصبی کانولوشن سنتی (CNN) در مدیریت فقدان یک مجموعه نمونه آموزشی در زمینه ادغام تصویر سنجش از راه دور مشکل دارد، به راحتی منجر به بیش از حد برازش و مشکل گرادیان ناپدید می شود. بنابراین، ما از یک معماری دو بلوک متراکم موثر برای حل این مشکلات استفاده کردیم. در همین حال، برای کاهش پیچیدگی معماری شبکه، لایه نرمال سازی دسته ای (BN) در معماری طراحی DenseNet حذف شد. یک معماری جدید از DenseNet برای تیز کردن پان، به نام DCCNP، پیشنهاد شده است که از یک لایه گلوگاه و فاکتورهای فشرده‌سازی برای باریک کردن شبکه و کاهش پارامترهای شبکه استفاده می‌کند و به طور موثری بیش از حد برازش را سرکوب می‌کند. نتایج تجربی نشان می‌دهد که روش پیشنهادی می‌تواند عملکرد بالاتری را در مقایسه با سایر روش‌های تیز کردن پانل ارائه دهد. روش پیشنهادی نه تنها وضوح فضایی تصاویر چند طیفی را بهبود می بخشد، بلکه اطلاعات طیفی را نیز به خوبی حفظ می کند.

کلید واژه ها:

تابه تیز کردن ; شبکه کانولوشن با اتصال متراکم (DenseNet) ؛ چند طیفی (MS)

چکیده گرافیکی

1. معرفی

در سال های اخیر، تجزیه و تحلیل تصاویر سنجش از دور توجه زیادی را به خود جلب کرده است. کاربردهای بسیار موفقیت آمیزی در زمینه های طبقه بندی فراطیفی (HSI) [ 1 ]، تشخیص ناهنجاری [ 2 ]، عدم اختلاط HSI [ 3 ]، وضوح فوق العاده [ 4 ]، پان شارپنینگ و غیره به دست آمده است. با توجه به محدودیت های فیزیکی یک دستگاه تصویربرداری سنجش از راه دور، یک معاوضه بین وضوح فضایی و طیفی در تصاویر سنجش از راه دور وجود دارد [ 5 ]]. بنابراین، ماهواره‌های سنجش از راه دور همیشه حسگرهای پانکروماتیک و حسگرهای چند طیفی را حمل می‌کنند تا به طور همزمان از اطلاعات فضایی و طیفی مانند QuickBird، IKONOS و World-view بهره ببرند. حسگرهای چند طیفی اطلاعات چند بعدی مانند ویژگی های طیفی و قطبی را جمع آوری می کنند، در حالی که اطلاعات فضایی دو بعدی را برای به دست آوردن تصاویر چند طیفی (MS) با طیف غنی جمع آوری می کنند. با این حال، وضوح فضایی تصاویر MS پایین است. سنسورهای پانکروماتیک تصویر پانکروماتیک (PAN) با وضوح فضایی بالا را با یک کانال می‌گیرند که برای تشخیص و تعیین انواع زمین بسیار مضر است [ 6 ، 7 ، 8 ]]. هدف Pan-sharpening ترکیب ویژگی های فضایی تصاویر PAN و ویژگی های طیفی تصاویر MS در یک تصویر ذوب شده است [ 9 ]. تصویر ذوب شده نه تنها وضوح فضایی بالایی دارد، بلکه طیفی غنی برای دستیابی به هدف بهبود تصویر دارد.
برای به دست آوردن توضیحات جامع تر و دقیق تر صحنه، شارپنینگ پان به عنوان یک تکنیک پس از پردازش می تواند بر محدودیت های تصاویر تک سنسور غلبه کند، وضوح و درک تصویر را بهبود بخشد و تجزیه و تحلیل و پردازش تصویر را تسهیل کند. در حال حاضر، روش‌های متداول پان-شارپنینگ عمدتاً شامل روش‌های حوزه فضایی، روش‌های حوزه تبدیل، روش‌های مبتنی بر حسگر فشرده و روش‌های مبتنی بر یادگیری ماشین هستند.
روش‌های حوزه فضایی اصولاً از الگوریتم‌های ساده حسابی یا جایگزینی برای پردازش مستقیم پیکسل‌های تصویر استفاده می‌کنند و شامل روش برووی [ 10 ]، روش‌های شدت-رنگ-اشباع (IHS) [ 11 ، 12 ]، و روش تحلیل مؤلفه‌های اصلی (PCA) می‌شود. 13]. روش تبدیل Brovey با حفظ ویژگی های طیفی هر پیکسل و ضرب تصویر PAN با وضوح بالا و نسبت هر باند از تصاویر MS با وضوح پایین به همجوشی می رسد. تبدیل IHS برای تبدیل تصاویر MS با وضوح پایین از RGB به فضای رنگی IHS استفاده می شود. سپس، بعد از تطبیق هیستوگرام، مولفه I با تصویر PAN با وضوح بالا جایگزین می‌شود و تصاویر MS تشدید شده با تبدیل وارونگی IHS به دست می‌آیند. PCA عمدتاً تصاویر MS با وضوح پایین را هدف قرار می دهد که توسط سه جزء اصلی نمایش داده می شوند. این اجزای اصلی مستقل هستند. در فرآیند ادغام تصویر، اولین جزء اصلی ذوب می شود زیرا شامل اطلاعات اصلی تصاویر MS است. الگوریتم PRACS از جایگزینی جزئی مولفه شدت استفاده می کند.14 ]. این نوع روش دارای ویژگی های راندمان بالا و سهولت اجرا است، اما باعث ایجاد اعوجاج طیفی جدی می شود.
الگوریتم دامنه تبدیل ابتدا تصویر اصلی را تبدیل می کند، سپس ضرایب تبدیل حوزه تبدیل را برای بدست آوردن ضرایب تبدیل تصویر فیوژن ترکیب می کند و در نهایت، تصویر فیوژن را با تبدیل معکوس بازسازی می کند. الگوریتم‌های متداول پان-شارپنینگ مبتنی بر حوزه تبدیل عمدتاً شامل تبدیل هرمی [ 15 ]، تبدیل موجک [ 16 ، 17 ] و تبدیل هندسی چند مقیاسی [ 18 ، 19 ] است.]. فناوری تبدیل موجک به طور گسترده ای در پردازش پان شارپنینگ استفاده شده است که به طور موثر مشکل تولید بسیاری از داده های اضافی بر اساس روش تبدیل هرمی را حل کرده است. اگرچه تبدیل موجک می تواند تصویر را به مقیاس های متعدد و جهت های متعدد تجزیه کند، ضرایب تجزیه جهات افقی، عمودی و مورب را می توان به دست آورد که برای توصیف دقیق تصویر مناسب نیستند. به منظور غلبه بر کاستی‌های تبدیل موجک، یک روش نمایش بهینه جدید تبدیل هندسی چند مقیاسی تابع با ابعاد بالا به وجود آمد. تبدیل‌های هندسی چند مقیاسی رایج شامل منحنی [ 20 ]، کانتورلت [ 21 ]، NSCT [ 22 ]، شِرلت [ 23 ] است.]، و NSST [ 24 ].
روش‌های همجوشی مبتنی بر حسگر فشرده از پراکندگی سیگنال بهره کامل می‌برند و با معرفی اصطلاحات منظم‌سازی پراکنده، فرآیند تیز کردن را محدود می‌کنند [ 25 ]. لی و همکاران [ 26 ] ابتدا تئوری سنجش فشرده را برای تیز کردن به کار برد. ایجاد مدل تصویربرداری بین تصاویر MS با وضوح پایین/بالا و تصویر PAN با وضوح بالا به عنوان تولید داده های مشاهداتی در تئوری سنجش فشرده در نظر گرفته شد و تنظیم پراکنده برای بازسازی تصاویر خروجی MS با وضوح فضایی بالا و طیف غنی جیانگ و همکاران [ 27] تصویر PAN با وضوح بالا و تصاویر MS با وضوح پایین را به عنوان نمونه های آموزشی برای ساخت یک فرهنگ لغت مشترک ارتقا داد. با این حال، این الگوریتم هنوز نیاز به جمع آوری تعداد زیادی تصویر PAN با وضوح بالا و تصاویر MS با وضوح پایین دارد. یک روش پان تیز کردن مبتنی بر یادگیری فرهنگ لغت پیشنهاد شد [ 28 ]. یادگیری فرهنگ لغت در این روش نیازی به نمونه های آموزشی اضافی ندارد، بلکه مستقیماً از تصویر شناخته شده PAN با وضوح بالا و تصاویر MS با وضوح پایین یاد می گیرد. گوو و همکاران [ 29 ] یک روش پان شارپنینگ مبتنی بر یادگیری آنلاین را پیشنهاد کرد. با بهبود مرحله ساخت فرهنگ لغت SparseFI، ژو و همکاران. [ 30] از تصاویر MS با وضوح بالا ترکیب شده با روش SparseFI برای به روز رسانی اتم های فرهنگ لغت استفاده کرد تا کیفیت نتایج همجوشی را بهبود بخشد. از آنجایی که روش سنجش فشرده معمولاً فرض می‌کند که سیگنال‌های پراکنده با ترکیب‌های خطی چند اتم در یک فرهنگ لغت بیش از حد کامل نشان داده می‌شوند، آنها فقط از روابط خطی کم عمق استفاده می‌کنند.
اخیراً، به لطف توسعه مستمر یادگیری عمیق [ 31 ، 32 ، 33 ]، روش‌های پان شارپنینگ مبتنی بر یادگیری عمیق نیز به موفقیت‌های بزرگ و نتایج شفاف‌سازی خوبی دست یافته‌اند. هوانگ و همکاران [ 34 ] یک روش پان شارپنینگ مبتنی بر شبکه عصبی عمیق جدید را پیشنهاد کرد. یک الگوریتم رمزگذار خودکار حذف نویز پراکنده اصلاح شده برای آموزش رابطه بین وصله‌های تصویر با وضوح پایین و وضوح بالا استفاده شد. شبکه عمیق آموزش دیده برای تولید تصاویر پان شارپ استفاده شد. در سال 2016، جوزپه و همکاران. [ 35 ] یک الگوریتم شبکه عصبی پان شارپنینگ (PNN) بر اساس یک شبکه عصبی کانولوشنال (CNN) پیشنهاد کرد [ 36 ]]. این الگوریتم با سه لایه معماری مختلف به سادگی و به طور موثر تنظیم شد. بدون افزایش پیچیدگی، عملکرد آزمایش با افزودن چندین نقشه از شاخص‌های رادیومتری غیرخطی معمولی سنجش از دور در لایه ورودی بهبود یافت. رائو و همکاران [ 37 ] یک الگوریتم پان شارپنینگ بر اساس یک شبکه باقیمانده پیشنهاد کرد. تفاوت اصلی این بود که خروجی شبکه باقیمانده بین تصاویر MS با وضوح بالا واقعی روی زمین و تصاویر MS با وضوح پایین نمونه بالا بود. متعاقبا، یوان و همکاران. [ 38] یک شبکه عصبی پیچشی چند مقیاسی و چند عمقی (MSDCNN) را برای شارپنینگ پیشنهاد کرد. این روش عمدتاً شامل دو بخش است: بخش PNN استخراج ویژگی ساده را انجام می دهد. بخش شبکه عصبی چند مقیاسی عمیق تر از یک معماری عمیق برای استخراج بیشتر ویژگی چند مقیاسی استفاده می کند.
به طور خلاصه، پارامترهای شبکه عصبی عمیق را می توان به خوبی تحت نظارت نمونه های آموزشی فراوان آموزش داد و شبکه عصبی عمیق به کاربردهای بسیار موفقی در زمینه طبقه بندی تصاویر دست یافته است. با این حال، فقط مطالعات محدودی در مورد یادگیری عمیق برای شفاف سازی استفاده می شود، که می تواند به طور گسترده به عنوان نمونه هایی از مشکلات تصویربرداری معکوس در نظر گرفته شود [ 39 ]]. در همین حال، روش های مبتنی بر CNN برای پان شارپنینگ، معماری های نسبتاً ساده و کم عمقی در نظر گرفته می شوند و هنوز جای زیادی برای بهبود وجود دارد. معماری مبتنی بر CNN فقط می‌تواند داده‌های ورودی را از لایه قبلی دریافت کند و داده‌های خروجی را به لایه بعدی منتقل کند، که نه تنها تنوع و انعطاف‌پذیری را محدود می‌کند، بلکه با عمیق‌تر شدن لایه‌ها، آموزش آن به طور فزاینده‌ای دشوار می‌شود. یک راه حل مؤثر، معرفی یک مدل انباشته لایه ای و ایجاد یک مدل پیوند متقابل از CNN، مانند مدل شبکه باقیمانده [ 40 ] است.]. همانطور که انتظار داشتیم، کاربرد موفقیت آمیز شبکه باقیمانده در زمینه پان شارپنینگ، مطالعه عمیق ادغام تصویر سنجش از دور را بسیار ارتقا داده است. با این حال، یک بلوک باقیمانده تنها می تواند دو لایه کانولوشن را بپرد و از انعطاف پذیری و تنوع CNN به خوبی استفاده نمی کند، به طوری که اطلاعات مکانی تصویر ذوب شده خیلی واضح نیست و طیف تا حدی مخدوش می شود.
برای مقابله با مشکلات فوق، ما مدل پیشرفته متقابل CNN را معرفی می‌کنیم که یک شبکه کانولوشن با اتصال متراکم (DenseNet) است. با استفاده از ویژگی‌های مشترک شبکه‌های کانولوشنال متصل متراکم و ارتباط متقابل بین لایه‌های دلخواه، مشکل ناپدید شدن گرادیان را می‌توان به طور موثری با عمیق‌تر شدن لایه‌ها کاهش داد. اطلاعات غنی از ویژگی های تصاویر اصلی PAN و MS را می توان به طور موثر با استفاده از معماری جدید DCCNP استخراج کرد. تصاویر MS شارپ شده با وضوح فضایی بالا و طیف غنی از طریق بازسازی تصویر به دست می آیند. آزمایش‌ها نشان می‌دهند که در مقایسه با الگوریتم‌های سنتی، یک تصویر ذوب‌شده به‌دست‌آمده با روش پیشنهادی از نظر تفکیک مکانی و اطلاعات طیفی بهتر از سایر روش‌های مشابه عمل می‌کند.
سهم روش های پیشنهادی در زیر ذکر شده است:
1. روش پان شارپنینگ مبتنی بر DenseNet از یک معماری دو بلوک متراکم بهبود یافته بهره برداری می کند که لایه عادی سازی دسته ای (BN) را حذف می کند تا معماری شبکه را عمیق تر کند. از آنجایی که لایه BN تفاوت های مطلق در ویژگی های تصویر را نادیده می گیرد و کنتراست تصویر بازسازی شده را تغییر می دهد، معماری جدید پیشنهادی می تواند مصرف حافظه و دشواری آموزش شبکه را کاهش دهد.
2. با استفاده از ویژگی های مشترک بلوک متراکم، می تواند ویژگی های بیشتر و بهتری را استخراج کند. لایه گلوگاه همچنین می تواند شبکه را باریک کرده و پارامترهای شبکه را کاهش دهد. همانطور که لایه ها عمیق تر می شوند، ظرفیت بازنمایی برای به دست آوردن نتایج واضح تر بسیار قوی تر می شود.
3. با توجه به افزونگی ویژگی های ابعادی بالا ایجاد شده توسط بلوک های متراکم، از دو لایه گلوگاه متوالی و فاکتورهای فشرده سازی برای کاهش ابعاد ویژگی استفاده می شود. نتایج تجربی نشان می‌دهد که کاهش معقول ابعاد ویژگی می‌تواند به طور موثری از از دست رفتن اطلاعات فیوژن جلوگیری کند و تصویر ترکیبی را بسیار واضح‌تر کند.
بقیه این مقاله به شرح زیر سازماندهی شده است. بخش 2 کار مرتبط در پان شارپنینگ مبتنی بر CNN و دانش پس زمینه شبکه کانولوشنال متصل به متراکم را معرفی می کند. معماری دقیق روش DCCNP پیشنهادی در بخش 3 توضیح داده شده است . نتایج تجربی روی مجموعه داده های مختلف در بخش 4 ارائه شده است. ما در بخش 5 نتیجه گیری می کنیم .

2. کارهای مرتبط

2.1. پان شارپنینگ مبتنی بر CNN

در سال 2016، جوزپه و همکاران. استفاده از CNN در زمینه پان شارپنینگ. نویسندگان یک معماری پایه و معماری سنجش از دور ویژه را برای رسیدگی به مشکل پان-شارپنینگ پیشنهاد کردند و به نتایج ذوب شده خوبی دست یافتند. به طور خاص، معماری پایه از یک تصویر PAN با وضوح پایین و تصاویر MS به عنوان تصاویر ورودی CNN استفاده می کند و تصاویر MS ذوب شده را از طریق یک ساختار سه لایه CNN ساده به دست می آورد. علاوه بر این، بر اساس یک معماری پایه، معماری ویژه چندین نقشه از شاخص های رادیومتری غیرخطی معمولی تصاویر سنجش از دور را به لایه ورودی اضافه می کند. بنابراین، بدون افزایش پیچیدگی، معماری جدید CNN پیشنهادی می‌تواند به عملکرد بهتری دست یابد. تا آنجا که می دانیم، معماری عمیق تر CNN ظرفیت بازنمایی قوی تری نسبت به معماری کم عمق دارد. با این حال،
کاربرد موفقیت‌آمیز CNNها در مسئله ی پان-شارپنینگ کمک قابل توجهی به تحقیقات ترکیبی تصویر سنجش از دور داشته است. ساختار اصلی پان شارپنینگ توسط CNN مشابه [ 41 ] است و از چندین لایه پیچشی تشکیل شده است. اول، طبق قضیه والد [ 42]، تصویر اصلی PAN و تصاویر MS به صورت فضایی تار شده و نمونه برداری می شود تا تصاویر PAN و MS با وضوح پایین به دست آید. سپس تصاویر MS با وضوح پایین درون یابی و بزرگنمایی می شوند تا هر باند با اندازه تصویر PAN با وضوح پایین سازگار باشد. علاوه بر این، اتصال تانسوری دو نوع تصویر انجام می‌شود و از نتیجه به عنوان تصویر ورودی شبکه عصبی استفاده می‌شود. در نهایت، تصاویر MS ذوب شده از طریق کانولوشن سه لایه به دست می آیند. با این حال، برای هر لایه، CNN استاندارد [ 43 ] فقط می تواند داده های ورودی را از لایه قبلی دریافت کند و داده های خروجی را به لایه بعدی منتقل کند. معماری شبکه بر اساس مدل انباشتگی بالا نه تنها تنوع و انعطاف پذیری CNN ها را محدود می کند، بلکه با عمیق شدن لایه ها، آموزش به طور فزاینده ای دشوار می شود.

2.2. شبکه کانولوشن با اتصال متراکم

به منظور بهبود عملکرد CNN استاندارد، یک راه حل موثر، معرفی یک مدل انباشته لایه ای و ایجاد یک مدل پیوند متقابل از CNN است. در یک مدل انباشته لایه ای متقابل، هر لایه با لایه های غیر مجاور متصل است و می تواند داده های ورودی را از هر لایه قبلی دریافت کند و داده های خروجی را به هر لایه غیر مجاور در پشت منتقل کند.
یک شبکه کانولوشنال متصل متراکم یکی از مدل های متقابل CNN است و به آن DenseNet [ 44 ، 45 ] می گویند. به طور کلی، DenseNet به نوعی از CNN اشاره دارد که حاوی یک یا چند بلوک متراکم است. لایه بین بلوک‌ها به عنوان لایه انتقال نامیده می‌شود، که در آن ادغام و ادغام اندازه نقشه ویژگی را تغییر می‌دهند. معمولاً از یک لایه BN تشکیل شده است 1 × 1لایه پیچیدگی و یک لایه ادغام متوسط. بلوک‌های متراکم از چندین لایه پیچشی تشکیل شده‌اند که به‌صورت سری از طریق یک سری عملیات به هم متصل شده‌اند، که امکان اتصال لایه‌ای متقاطع بین هر دو لایه غیر مجاور را فراهم می‌کند، همانطور که در شکل 1 نشان داده شده است. هر لایه ورودی شامل نقشه های ویژگی از تمام لایه های قبلی است. مزیت این معماری افزایش انتشار ویژگی و ترویج استفاده مجدد از ویژگی است.

در یک بلوک متراکم، نقشه ویژگی ایکسلاز لهفتملایه را می توان از نقشه های ویژگی به دست آورد ایکس0،ایکس1, … ,ایکسl – 1که به صورت زیر محاسبه و بیان می شود:

ایکسل=اچل( [ایکس0،ایکس1, … ,ایکسl – 1] )

جایی که ایکس0, … ,ایکسl – 1نتیجه دوخت تانسوری نقشه های ویژگی از لایه صفر به لایه هستند ( l − 1 )هفتملایه، که داده های ورودی از لهفتملایه. استاندارد اچل( . )یک تابع ترکیبی متشکل از سه عملیات متوالی است: BN، ReLU، و هسته کانولوشن با اندازه 3 × 3. هر تابع اچل( . )خروجی نقشه های kfeature، بنابراین وجود دارد k ( l − 1 ) +ک0نقشه های ویژگی ورودی در لهفتملایه، جایی که ک0شماره کانال اولین لایه ورودی است. به منظور کنترل عرض شبکه و بهبود کارایی پارامترها، k به طور کلی به یک عدد صحیح کوچکتر محدود می شود. این کنترل نرخ رشد نه تنها می تواند پارامترهای DenseNet را کاهش دهد، بلکه عملکرد DenseNet را نیز تضمین می کند.

علاوه بر این، اگرچه هر لایه فقط نقشه های ویژگی را خروجی می دهد، مقدار زیادی از نقشه های ویژگی ( k ( l − 1 ) +ک0) داده های ورودی هر لایه است. برای حل این مشکل، یک لایه گلوگاه به معماری DenseNet اضافه می شود. یعنی الف 1 × 1عملیات پیچیدگی قبل از هر یک معرفی می شود 3 × 3عملیات پیچیدگی برای کاهش ابعاد. این معماری شبکه با لایه های گلوگاه DenseNet-B نامیده می شود. در عین حال، برای ساده سازی معماری، یک عامل فشرده سازی θ( 0 ≤ θ ≤ 1) را می توان در لایه انتقال اضافه کرد تا خروجی نقشه های ویژگی را کاهش دهد. اگر خروجی بلوک های متراکم شامل نقشه های ویژگی باشد، لایه انتقال بعدی خروجی خواهد داشت θ ∗ mنقشه های ویژگی θ = 1نشان می دهد که تعداد نقشه های ویژگی که از لایه انتقال عبور می کنند بدون تغییر باقی می مانند. معماری شبکه حاوی ضریب فشرده سازی DenseNet-C نامیده می شود. معماری شبکه شامل لایه گلوگاه و ضریب فشرده سازی DenseNet-BC نامیده می شود. DenseNet-BC از لایه گلوگاه و ضریب فشرده‌سازی برای محدود کردن شبکه و کاهش پارامترهای شبکه استفاده می‌کند و به طور موثر برازش بیش از حد را سرکوب می‌کند. علاوه بر این، نتایج تجربی نشان می‌دهد که DenseNet-BC با استفاده از لایه گلوگاه و ضریب فشرده‌سازی می‌تواند تصویر ترکیبی بهتری نسبت به DenseNet به دست آورد.

3. روش شناسی

برخی از مطالعات نشان داده‌اند که معماری‌های عمیق‌تر CNN می‌توانند اطلاعات ویژگی‌های بیشتری را استخراج کنند، اما با عمیق‌تر شدن معماری شبکه، آموزش به طور فزاینده‌ای دشوار می‌شود. با توجه به ویژگی های پان-شارپنینگ، برای اطمینان از حفظ اطلاعات طیفی و افزایش قدرت تفکیک فضایی، باید اطلاعات ویژگی بیشتری استخراج شود. بنابراین، یک روش پان-شارپنینگ جدید در این مقاله پیشنهاد شده است که از مزایای DenseNet برای کاهش ناپدید شدن گرادیان، بهبود انتشار ویژگی و ترویج استفاده مجدد از ویژگی‌ها استفاده می‌کند. به این ترتیب، تصویر ذوب شده می تواند اطلاعات اصلی طیف تصویر را حفظ کرده و عملکرد جزئیات فضایی خود را افزایش دهد. چارچوب روش DCCNP در شکل 2 نشان داده شده است. این روش شامل دو قسمت اصلی است: قسمت آموزشی و قسمت تست تابه تیز کردن. برای آموزش DCCNP ابتدا از پروتکل آموزشی Wald برای ساخت مجموعه آموزشی استفاده شد. دوم، معماری DCCNP پیشنهادی با توجه به بلوک متراکم بهبود یافته طراحی شد و توزیع گاوسی برای مقداردهی اولیه وزن‌های هر لایه استفاده شد. در نهایت، از الگوریتم پس انتشار برای تنظیم پارامترهای DCCNP استفاده شد تا اطمینان حاصل شود که وصله های تصویر ذوب شده بی نهایت به وصله های تصویر با وضوح بالا ارجاعی نزدیک هستند. در مرحله آزمایش، فرض کردیم که رابطه بین وصله‌های تصویر با وضوح پایین و وضوح بالا در مجموعه آموزشی و رابطه بین وصله‌های تصویر خروجی و وصله‌های تصویر ورودی در مجموعه آزمایشی یکسان است.

3.1. بلوک متراکم بهبود یافته

معماری اصلی DenseNet-BC برای طبقه بندی تصاویر استفاده شد. یک تابع ترکیبی اچل( ∙ )تشکیل شده از 1 × 1تبدیل و 3 × 3conv بین دو لایه کانولوشن این معماری استفاده شد، جایی که conv دنباله BN-ReLU-Conv را نشان می دهد، همانطور که در شکل 3 الف نشان داده شده است. در مقایسه با طبقه بندی تصویر، پان شارپنینگ یک مشکل معکوس است که نیاز به بازسازی نقشه های ویژگی دارد. از آنجایی که لایه BN تفاوت های مطلق در نقشه های ویژگی را نادیده می گیرد و کنتراست تصویر ذوب شده را تغییر می دهد، معماری بلوک متراکم اصلی برای شارپنینگ مناسب نیست. بنابراین، این مقاله یک بلوک متراکم بهبود یافته را پیشنهاد می‌کند که لایه BN را حذف می‌کند. بلوک متراکم بهبود یافته نه تنها وضوح فضایی تصویر ذوب شده را افزایش می دهد، بلکه کنتراست و رنگ مشابه تصاویر MS اصلی را در حالت پان-شارپنینگ حفظ می کند. در همین حال، ساده سازی بلوک متراکم باعث کاهش بار منابع رایانه می شود.
معماری بلوک متراکم طراحی شده در این مقاله در شکل 3 ب نشان داده شده است. تابع ترکیبی پیشنهادی اچl n e w( ∙ )متشکل از ReLU، 1 × 1تبدیل، ReLU، و 3 × 3تبدیل بلوک متراکم بهبود یافته یک لایه l است (l = 6) بلوک متراکم با نرخ رشد k = 12، زیرا یک نرخ رشد نسبتاً کوچک می تواند به نتایج پیشرفته دست یابد. هر لایه گلوگاه تولید می کند 4 کیلونقشه های ویژگی، و تنظیمات این فراپارامترها مانند [ 44 ] بود. لایه ورودی ایکس0دارد ک0نقشه های ویژگی و هر تابع اچl n e w( ∙ )k نقشه های ویژگی تولید خواهد کرد . از آنجایی که هر لایه تمام نقشه های ویژگی قبلی را به عنوان ورودی می گیرد، داده های ورودی آن لهفتمبلوک متراکم لایه دارد ( l − 1 ) × k +ک0نقشه های ویژگی

3.2. معماری DCCNP

معماری شبکه پیشنهادی برای شارپنینگ در شکل 4 نشان داده شده است و شامل یک لایه ورودی، یک لایه پیچشی مستقل، دو بلوک متراکم، یک لایه انتقال و یک لایه خروجی است. اندازه هر باند از تصویر لایه ورودی با هر باند از تصویر لایه خروجی یکسان است، اما تصاویر لایه ورودی یک باند اضافی دارند، یعنی تصاویر لایه ورودی دارای یک باند اضافی هستند. اس+ 1باندها در مقایسه با لایه خروجی تصاویر MS با باند S (که در پاراگراف بعدی توضیح داده شده است). اولین لایه پیچشی DCCNP یک لایه کانولوشن مستقل است که از 2 کیلوهسته های کانولوشن با اندازه 3 × 3. پس از آن، اولین خروجی بلوک متراکم پیچیدگی 7 کیلونقشه های ویژگی پس از ورودی 2 کیلوویژگی نقشه ها از طریق بلوک متراکم. در مرحله بعد، برای کاهش ناپدید شدن گرادیان، لایه انتقال از ReLU تشکیل شده است و دارای یک پیچش اندازه است. 1 × 1. یک فاکتور فشرده سازی از θ = 0.5برای کاهش خروجی بلوک های متراکم قبلی و ابعاد نقشه های ویژگی ورودی بلوک متراکم دوم استفاده می شود. بنابراین، لایه انتقال خروجی می دهد ⌊ 7 k θ ⌋ + 5 kنقشه های ویژگی، به دست آمده توسط بلوک متراکم دوم. از آنجایی که نقشه های ویژگی هر لایه کانولوشن در بلوک متراکم از تمام لایه های قبلی است، تعداد زیادی نقشه ویژگی استخراج می شود. از آنجایی که تصاویر MS ذوب شده دارای باند S هستند، ما از دو هسته کانولوشن پیوسته با اندازه 1 × 1برای ارزیابی خروجی نقشه ویژگی توسط بلوک متراکم دوم برای کاهش ابعاد. نقشه های ویژگی ابعاد خود را به عنوان تعداد کانال ها در نقشه های ویژگی ورودی دارند. این عملیات کاهش ابعاد معماری DCCNP پیشنهادی می تواند به طور موثر ویژگی های تصویر PAN و تصاویر MS را استخراج کند. لایه نهایی لایه ادغام تصویر است، یعنی ویژگی های استخراج شده از طریق هسته های کانولوشن S به اندازه3 × 3برای به دست آوردن تصاویر MS ذوب شده.

برای آموزش بهتر DCCNP پیشنهادی برای پان شارپنینگ، ما یک مجموعه آموزشی حاوی جفت پچ تصویر با وضوح بالا/رزولوشن پایین ساختیم. اول، تصویر PAN با وضوح پایین gپA Nو تصاویر ام اس از gماسبا محو کردن فضایی و نمونه برداری از تصویر اصلی PAN به دست آمد ( fپA N) و تصویر MS ( fماس) با باندهای S. بعد، gماسبرای به دست آوردن تصاویر MS با وضوح کم بزرگ شده درون یابی شد جیماس، به طوری که اندازه هر تصویر باند با اندازه تصویر PAN مطابقت داشت gپA Nو سپس به یک متصل شد اس+ 1باند تصویر با وضوح پایین G = {جیماس،gپA N}. سپس یک نوار لغزنده با اندازه گام l و اندازه پنجره h ∗ wوصله های تصویر با وضوح پایین را استخراج کرد جیمن( i = 1 ، 2 ، … ، N) و وصله های تصویری با وضوح بالا fمنماساز جی و fماس، به ترتیب. بنابراین، ما یک مجموعه آموزشی ثابت به دست آوردیم {جیمن،fمنماس}. در مرحله آموزش DCCNP، وصله های تصویری با وضوح پایین جیمنداده های ورودی و وصله های تصویر ذوب شده مربوطه بودند افمناز طریق انتشار رو به جلو با وزن اولیه به دست آمد. از تابع اتلاف برای محاسبه تلفات بین تصویر پان-شارپن شده و تصویر با وضوح بالا اصلی استفاده شد و از الگوریتم انتشار برگشتی برای تنظیم شبکه متراکم استفاده شد تا بلوک تصویر ذوب شده خروجی نزدیک به تصویر با وضوح بالا باشد. مسدود کردن. تابع از دست دادن میانگین مربعات خطای بین کاشی تابه تیز بود fمنماسو مرجع آن افمنهمانطور که در مرحله آموزش شکل 2 نشان داده شده است، که معمولا با فرمول (2) زیر بیان می شود:

L ( θ ) =1ن∑i = 1ن∥∥افمن–fمنماس( θ )∥∥2

جایی که θمجموعه ای از تمام پارامترها و N تعداد وصله های انتخاب شده به طور تصادفی در یک تکرار است. از آنجایی که مقادیر پیکسل تصاویر آموزشی به (0،1) نرمال شده است، محدوده مقدار تابع از دست دادن (0،1) است. هر چه مقدار کوچکتر باشد، اثر همجوشی بهتر و استحکام معماری پیشنهادی DCCNP بهتر است.

به طور خلاصه، الگوریتم حل مدل پیشنهادی به صورت زیر نشان داده شده است (الگوریتم 1).

الگوریتم 1 پان-شارپنینگ توسط الگوریتم DCCNP
ورودی : تصویر PAN با وضوح بالا پاچو تصاویر ام اس با وضوح پایین مLبا باندهای S
مرحله 1 : با توجه به مجموعه آموزشی: تصویر PAN اصلی fپA Nو تصاویر ام اس fماسبا باندهای S تصویر PAN با وضوح پایین gپA Nو تصاویر ام اس gماسبا محو کردن فضایی و نمونه برداری از تصویر PAN اصلی به دست می آیند fپA Nو تصاویر ام اس fماسبا باندهای S
مرحله 2 : gماسبرای به دست آوردن تصاویر MS با وضوح کم بزرگ شده درون یابی می شود جیماس، به طوری که اندازه هر تصویر باند با اندازه تصویر PAN مطابقت دارد gپA Nو سپس به آن متصل می شود اس+ 1باند تصاویر با وضوح پایین G = {جیماس،gپA N}.
مرحله 3 : یک نوار لغزنده با اندازه گام l و اندازه پنجره h × wوصله های تصویر با وضوح پایین را استخراج می کند جیمن( i = 1 ، 2 ، … ، N) و وصله های تصویری با وضوح بالا fمنماساز جی و fماس، به ترتیب. بنابراین، مجموعه آموزشی ثابتی را به دست می آوریم {جیمن،fمنماس}برای موقعیت های پیکسل N.
مرحله 4 : گرفتن جیمنبه عنوان داده های ورودی اولین لایه شبکه عصبی کانولوشن، وصله های تصویر با وضوح بالا مورد انتظار fمنماسبا توجه به وزن اولیه و الگوریتم انتشار به جلو به دست می آیند.
مرحله 5 : استفاده از جیمنو fمنماسپارامترهای بهینه در معماری DCCNP با تنظیم دقیق شبکه طبق فرمول (2) به دست آمد.
مرحله 6 : تصویر PAN اصلی را وارد کنید پاچو تصاویر ام اس مL; مراحل 1 و 2 را تکرار کنید. به دست آوردن ( اس+ 1 )-تصاویر بعدی G به عنوان داده های ورودی شبکه. بارگذاری مدل؛ و تصاویر با وضوح بالا مورد نظر را بدست
آورید .

4. آزمایش کنید

4.1. تنظیمات آزمایشی

به منظور تأیید اعتبار روش DCCNP در این مقاله، ما از تصاویر سنجش از دور ماهواره‌های IKONOS و QuickBird برای شبیه‌سازی و آزمایش‌های واقعی استفاده کردیم. ماهواره IKONOS قادر به گرفتن تصاویر PAN با وضوح 1 متر و تصاویر MS با وضوح 4 متر است. داده های تجربی مورد استفاده در این مقاله از داده های سنجش از دور جمع آوری شده توسط سنسور ماهواره ای IKONOS در می 2008 در سیچوان، چین بدست آمد. سنسور PAN ماهواره QuickBird می تواند یک تصویر PAN با وضوح فضایی 0.7 متر جمع آوری کند، در حالی که حسگر MS می تواند همزمان تصاویر MS را با وضوح فضایی 2.8 متر و چهار باند جمع آوری کند. داده‌های تجربی بخشی از تصویر سنجش از دور گرفته شده از جزیره شمالی نیوزلند در آگوست 2012 بود.
به دلیل کمیاب بودن نمونه آموزشی تصاویر سنجش از دور، این تصاویر 90 چرخش یافتند. ∘، 180 ∘و 270 ∘به ترتیب، و سپس، آنها را به تکه های تصویر برش داده شدند تا داده های تجربی بیشتری به دست آورند. آزمایش ها شامل یک مرحله آموزش و یک مرحله آزمایش بود. با توجه به مجموعه داده های آزمایشی مورد استفاده در [ 35 ، 38 ]، مجموعه داده های تجربی به مجموعه های آموزشی، اعتبار سنجی و آزمایش تقسیم شدند. مجموعه‌های آموزش و اعتبارسنجی سهم بزرگی را به خود اختصاص دادند و مجموعه آزمون تنها بخش کوچکی را اشغال کرد (همانطور که در جدول 1 نشان داده شده است ). آزمایش‌های واقعی از سی وصله تصویر با اندازه استفاده کردند 600 × 600از مجموعه داده QuickBird برای آزمایش شبکه.

4.2. شبیه سازی نتایج تجربی و تجزیه و تحلیل

4.2.1. پیاده سازی دقیق تجربی

در این مقاله، نتایج آزمایش شبیه‌سازی با چهار روش، از جمله روش IHS تطبیقی ​​(AIHS) [ 46 ]، روش مبتنی بر تبدیل موجک à trous (ATWT) [ 47 ]، PNN [ 35 ] و MSDCNN [ 38 ] مقایسه شد. ]. تنظیمات پارامتر این روش ها بیشتر با این مراجع مطابقت داشت. به طور خاص، برای مدل PNN [ 35 ]، نویسندگان هسته‌های پیچشی مختلف را برای آزمایش‌ها انتخاب کردند و ما فقط از سه هسته کانولوشن با اندازه استفاده کردیم. 9 × 9 × 7، 5 × 5 × 64، و 5 × 5 × 4برای استخراج ویژگی ها از تصاویر ورودی، به ترتیب. در روش MSDCNN [ 38 ]، داده‌های آموزشی مورد استفاده در آزمایش، همان داده‌های مورد استفاده در این مقاله بود و تصاویر ورودی، تصویر PAN و تصاویر MS بودند. با این حال، برای روش PNN [ 35 ]، لایه ورودی نه تنها شامل تصویر PAN و تصاویر MS بود، بلکه شامل دو نقشه از شاخص‌های رادیومتریک غیرخطی معمول سنجش از دور بود.
محیط پیش پردازش داده های تجربی MATLAB v2016a بود و TensorFlow به عنوان بستر توسعه برای ساخت و آموزش معماری پیشنهادی DCCNP انتخاب شد. با توجه به [ 35 ]، نرخ یادگیری دو لایه آخر بر روی تنظیم شد 10– 5، و لایه های دیگر روی تنظیم شد 10– 4. اندازه دسته روی 128 تنظیم شد و آدام [ 48 ] با β1= 0.9و β2= 0.999به عنوان بهینه ساز استفاده شد. برای همه تنظیمات داده، تعداد کل تکرارها ثابت شد 4.51 ×104.
به منظور ارزیابی کمی کیفیت نتایج، معیارهای ارزیابی عموماً شامل ارزیابی ذهنی و ارزیابی عینی بود. برای ارزیابی ذهنی، کیفیت تصویر پان-شارپن شده با مشاهده اطلاعات ساختار فضایی و درجه اعوجاج رنگ تصویر نتیجه پان-شارپن شده و همچنین بزرگ‌نمایی جزئیات محلی تصویر حاصل ارزیابی شد. برای ارزیابی عینی، از پنج معیار ارزیابی زیر در این مقاله استفاده شد: ضریب همبستگی (CC) [ 49 ]، ریشه میانگین مربعات خطا (RMSE) [ 50 ]، خطای نسبی جهانی adimensionnelle de synth è se (ERGAS) [ 51 ]، نقشه‌بردار زاویه طیفی (SAM) [ 52]، و شاخص کیفیت تصویر جهانی 4 باند (Q4) [ 53 ]. به طور خاص، CC به همبستگی ویژگی های طیفی بین تصویر مرجع و تصویر پان-شارپن شده اشاره دارد. RMSE تفاوت مقادیر پیکسل بین تصویر پان شارپ شده و تصویر مرجع را منعکس می کند. ERGAS تفاوت تابش بین تصویر مرجع و تصویر پان شارپن شده را در سطح جهانی نشان می دهد. SAM زاویه بین تصویر مرجع و بردار طیفی تصویر پان شارپ شده را نشان می دهد. Q شاخص کیفیت تصویر جهانی را که به طور میانگین در باندها نشان می دهد، نشان می دهد [ 54 ]، در حالی که Q4 پسوند 4 باندی Q است.
4.2.2. با استفاده از داده های IKONOS آزمایش کنید
نتایج پنج روش پان شارپنینگ با تصاویر MS با وضوح پایین ورودی مقایسه شد و تصاویر MS با وضوح بالا اصلی به عنوان تصاویر مرجع همانطور که در شکل 5 نشان داده شده است گرفته شد . شکل 5 الف تصاویر MS با وضوح پایین است. شکل 5 g تصویر مرجع است. و شکل 5 b-f به ترتیب تصاویر AIHS، ATWT، PNN، MSDCNN و روش پیشنهادی را تشدید کرده است. این تصاویر تصاویر رنگی کاذب بودند که از سه نوار قرمز، آبی و سبز تشکیل شده بودند. با مشاهده این تصاویر پان-شارپن شده، متوجه شدیم که ساختار فضایی شکل 5 b به طور قابل توجهی بهبود یافته است، اما طیف مخدوش شده است. در مقایسه با شکل 5 ب، رنگشکل 5 c بسیار بهبود یافته بود، اما ساختار فضایی یک جنبه بلوکی آشکار داشت. شکل 5 d بهبود قابل توجهی را در بازسازی ساختار فضایی و حفظ رنگ نشان می دهد، اما اثر بلوکی در ساختار فضایی ظاهر شد. در مقایسه با شکل 5 d، ساختار فضایی و رنگ شکل 5 e بسیار بهبود یافته بود، اما اطلاعات مکانی بیش از حد صاف بود و جزئیات لبه‌ها و بافت‌ها از بین رفت. شکل 5 f نتیجه روش پیشنهادی است. این تصویر هم از نظر بازسازی ساختار فضایی و هم از نظر حفظ طیفی نزدیک‌ترین تصویر به تصویر مرجع بود.
برای مشاهده واضح تر قسمت جزئیات تصاویر حاصل از پان شارپنینگ، ناحیه محلی را در شکل 5 بزرگ کرده و نمایش می دهیم . شکل 6 a ناحیه محلی را که باید بزرگ شود (جعبه مستطیل قرمز) در تصویر مرجع نشان می دهد. شکل 6 b-h نمای بزرگ شده ای از ناحیه محلی در شکل 5 a-g در کادر مستطیل قرمز است. از تصاویر بزرگ‌نمایی‌شده از این مناطق محلی، اطلاعات جزئیات بازسازی‌شده با روش استخراج‌شده در این مقاله واضح‌تر و یکنواخت‌تر بود. به طور خلاصه، نتایج روش‌های پیشنهادی بهتر از سایر روش‌های فیوژن در جلوه بصری بود.
به منظور مشاهده بهتر اعوجاج طیفی، شکل 7 تفاوت تصویر بین تصویر ذوب شده و تصویر مرجع را نشان می دهد. قسمت قرمز تصویر تفاوت نشان دهنده تفاوت زیاد در مقادیر پیکسل، قسمت آبی تفاوت کوچک و قسمت سبز تفاوت میانی است. با مشاهده این تصاویر تفاوت مشاهده می شود که تصویر تفاوت روش پیشنهادی در این مقاله (همانطور که در شکل 7 e نشان داده شده است) در اکثر نواحی آبی و نواحی قرمز کمترین را داشتند. بنابراین، تصویر حاصل از روش پیشنهادی نزدیک‌ترین تصویر به تصویر اصلی بود و اثر فیوژن کمی بهتر از روش‌های مقایسه بود.
مقادیر ارزیابی کمی مجموعه داده IKONOS پردازش شده با روش های مختلف در جدول 2 نشان داده شده است ، جایی که اعداد با فونت سیاه نشان دهنده مقادیر بهینه ارزیابی کمی هستند. را سیسیA Vجیو R MاسEA Vجیمقادیر متوسط ​​هستند سیسیو R MاسE، به ترتیب. نتایج تجربی نشان داد که شاخص‌های روش پیشنهادی نسبت به سایر روش‌های مقایسه بهتر است.
4.2.3. با استفاده از داده های QuickBird آزمایش کنید
برای تایید بیشتر عملکرد الگوریتم پیشنهادی، ما به انجام آزمایش‌های شبیه‌سازی با استفاده از مجموعه داده QuickBird ادامه دادیم. تصاویر پان شارپن شده به‌دست‌آمده با روش پیشنهادی با تصاویر به‌دست‌آمده از روش‌های دیگر همانطور که در شکل 8 نشان داده شده است، مقایسه شد . شکل 8 a تصویر ورودی با وضوح پایین است و شکل 8 b–f تصاویر پان شارپ به دست آمده توسط AIHS، ATWT، PNN، MSDCNN و روش پیشنهادی است. از شکل 8 قابل مشاهده استکه هر تصویر پان-شارپن شده وضوح فضایی را تا حدی در مقایسه با تصاویر MS ورودی با وضوح پایین بهبود می بخشد و اطلاعات طیفی تصاویر MS اصلی را حفظ می کند. پس از مشاهدات دقیق، متوجه شدیم که تصویر ترکیبی تولید شده توسط روش پیشنهادی جلوه بصری واضح‌تری می‌دهد و از نظر تفکیک مکانی و اطلاعات طیفی به تصویر مرجع نزدیک‌تر است.
در شکل 9 ، ناحیه محلی را در شکل 8 بزرگ کرده و نمایش می دهیم . شکل 9 a ناحیه محلی را که باید بزرگ شود (کادر مستطیلی قرمز) را در تصویر مرجع نشان می دهد. شکل 9 b-h نمای بزرگ شده ای از ناحیه محلی در کادر مستطیلی قرمز شکل 8 a-g است. در این تصاویر بزرگ‌شده منطقه محلی، می‌توان دید که اطلاعات جزئیات بازیابی شده با روش پیشنهادی واضح‌تر و یکنواخت‌تر بود.
شکل 10 تفاوت تصویر بین تصویر ذوب شده و تصویر مرجع را نشان می دهد. از طریق مشاهده، می توان دریافت که تصویر تفاوت تولید شده توسط روش پیشنهادی با استفاده از مجموعه داده IKONOS با مجموعه داده های QuickBird سازگار است. بنابراین، می توان نتایج مشابهی گرفت.
مقادیر ارزیابی کمی مجموعه داده QuickBird پردازش شده با روش های مختلف در جدول 3 نشان داده شده است ، که در آن عدد با قلم پررنگ مقادیر بهینه هر شاخص را نشان می دهد. مقادیر جدول 3 نشان می دهد که شاخص های روش پیشنهادی بهتر از روش های دیگر بوده است.
4.2.4. مقایسه زمان اجرا
در این بخش، زمان اجرای CPU روش‌های پان-شارپنینگ فوق را بدون احتساب روش‌های AIHS و ATWT که با MATLAB R2016a برنامه‌ریزی شده‌اند، ارائه می‌کنیم. PNN، MSDCNN و روش پیشنهادی مبتنی بر CNN بر روی پلتفرم TensorFlow و روی رایانه شخصی با پردازنده مرکزی i5-7400 3.1 گیگاهرتز و رم 8 گیگابایتی پیاده سازی شدند. به منظور انصاف در مقایسه، پارامترهای عملیات به طور یکنواخت به شرح زیر مشخص شده است: (الف) هر مدل 300 بار آموزش داده شده است. (ب) زمان اجرای PNN، MSDCNN، و روش پیشنهادی به دو بخش تقسیم شد: زمان آموزش و زمان تست (همچنین به نام زمان ادغام). (ج) زمان همجوشی با میانگین گیری تمام تصاویر آزمایشی به دست آمد.
روش PNN حدود هشت ساعت طول کشید تا مدل را آموزش دهد زیرا معماری شبکه آن ساده ترین بود و فقط از سه لایه تشکیل شده بود. در طول مرحله آزمایش، به طور متوسط ​​حدود 5.5 ثانیه طول کشید تا یک تصویر پان شارپن بدست آید. روش پیشنهادی برای آموزش مدل حدود 11 ساعت طول کشید که یک ساعت کندتر از روش MSDCNN بود. دلیل ممکن است این باشد که معماری شبکه روش پیشنهادی بسیار عمیق‌تر بود که می‌توانست ویژگی‌های فضایی-طیفی بهتری را استخراج کند. زمان همجوشی روش پیشنهادی حدود 6.2 ثانیه بود، در حالی که زمان همجوشی روش MSDCNN حدود 5.9 ثانیه بود. به طور کلی زمان اجرای سه روش تقریباً یکسان بود.

4.3. نتایج واقعی تجربی و تجزیه و تحلیل

در این بخش از داده های QuickBird برای آزمایش های واقعی استفاده می کنیم. ما تصویر اصلی PAN و تصاویر MS را در شبکه آموزش دیده وارد می کنیم تا تصاویر MS پان شارپن شده را بدست آوریم و آن را با روش های دیگر برای پان شارپنینگ مقایسه می کنیم. تصاویر پان شارپن شده در شکل 11 نشان داده شده است. شکل 11 a یک تصاویر MS با وضوح کم دو مکعبی است، و شکل 11 b-f به ترتیب تصاویر AIHS، ATWT، PNN، MSDCNN و روش پیشنهادی با وضوح بالا هستند. از طریق مشاهده، مشخص شد که روش پیشنهادی برای پان تیز کردن بهتر از سایر روش‌ها در جلوه بصری است.
برای آزمایش‌های واقعی، معیارهای ارزیابی کیفیت بدون مرجع (QNR) [ 55 ] را اتخاذ کردند که عمدتاً شامل دو بخش بود: اعوجاج طیفی Dλو اعوجاج فضایی Dس. ما از این سه معیار برای ارزیابی کمی نتایج تجربی واقعی استفاده کردیم. نتایج ارزیابی عینی در جدول 4 نشان داده شده است ، جایی که عدد به صورت پررنگ نشان دهنده مقادیر بهینه ارزیابی های کمی است. همانطور که از جدول مشاهده می شود، مقدار شاخص ارزیابی جامع QNR روش پیشنهادی بالاتر از سایر روش ها بود که نشان می دهد نتیجه پان تیز بهترین بوده است.

4.4. بحث در مورد لایه BN

در این بخش، نقش بلوک متراکم بهبود یافته در شبکه DCCNP و تأثیر لایه‌های گلوگاه و فاکتورهای فشرده‌سازی پس از بلوک متراکم را ادامه می‌دهیم. به منظور بررسی اثربخشی روش پیشنهادی، ما سه آزمایش را روی داده‌های IKONOS و QuickBird انجام دادیم. اولین آزمایش (به نام DCCNP) استفاده از معماری شبکه پیشنهادی در این مقاله، شامل یک لایه کانولوشن مستقل، دو بلوک متراکم، یک لایه انتقال، دو لایه گلوگاه با فاکتورهای فشرده‌سازی و یک لایه بازسازی بود. آزمایش دوم (به نام DCCNP + BN) برای تغییر بلوک متراکم آزمایش اول به بلوک متراکم اصلی بود (یعنی بلوک متراکم اولیه حاوی لایه BN بود) و بقیه بدون تغییر باقی ماندند. آزمایش سوم (به نام DCCNP-BC) از دو لایه گلوگاه و فاکتورهای فشرده سازی معماری DCCNP استفاده نکرد و بقیه بدون تغییر بودند. اندازه دسته روی 128 تنظیم شد و آدام با β1= 0.9و β2= 0.999به عنوان بهینه ساز استفاده شد. برای همه آزمایش‌ها، تعداد کل تکرارها ثابت شد 4.51 ×104. نتایج ارزیابی کمی IKONOS و QuickBird به ترتیب در جدول 5 و جدول 6 نشان داده شده است. بهترین نتایج هر شاخص با پررنگ مشخص شده است.
با مقایسه نتایج DCCNP و DCCNP+BN در دو جدول، می‌توان دریافت که نتایج DCCNP در هر شاخص ارزیابی بهتر از نتایج DCCNP+BN بود. DCCNP از بلوک متراکم بدون لایه BN استفاده کرد و DCCNP+BN از بلوک متراکم اصلی با لایه BN استفاده کرد. از طریق مقایسه، می‌توانیم نتیجه بگیریم که بلوک متراکم بهبود یافته بدون لایه BN نسبت به بلوک متراکم اولیه برای تراش‌دهی مناسب‌تر است.
از طریق مقایسه DCCNP و DCCNP-BC، مشخص شد که نتایج DCCNP از همه جنبه‌ها بر نتایج DCCNP-BC برتری دارد. بنابراین، می‌توان نتیجه گرفت که روش پیشنهادی با استفاده از لایه‌های گلوگاه و فاکتورهای فشرده‌سازی می‌تواند به طور موثری از از دست رفتن اطلاعات همجوشی جلوگیری کرده و تصویر همجوشی را بسیار واضح‌تر کند.

5. نتیجه گیری ها

با توجه به ویژگی‌های پان-شارپنینگ، این مقاله روش جدیدی را پیشنهاد می‌کند که DCCNP را برای تصاویر سنجش از دور اعمال می‌کند. این روش با استفاده از مزایای DCCNP مانند استفاده مجدد از ویژگی و افزایش انتشار ویژگی، انعطاف و تنوع شبکه را افزایش داد. برای استخراج اطلاعات ویژگی های فضایی بیشتر از تصویر PAN و ویژگی های طیفی بیشتر تصاویر MS، یک بلوک متراکم به شبکه کانولوشن اضافه شد تا عمق شبکه را عمیق تر کند. بنابراین تصاویر MS با اطلاعات طیفی غنی و وضوح فضایی بالا به دست آمد. تجزیه و تحلیل نتایج تجربی نشان داد که تصویر پان شارپن شده به دست آمده با روش پیشنهادی نه تنها از نظر بصری ذهنی افزایش یافته است، بلکه از نظر معیارهای ارزیابی عینی نیز بهینه بود.
در آینده نزدیک، روش پیشنهادی بر روی پلتفرم‌های محاسباتی موازی، مانند یک GPU [ 56 ، 57 ] یا یک CPU چند هسته‌ای [ 58 ] برای تسریع سرعت پان شارپنینگ پیاده‌سازی خواهد شد. جدیدترین معماری شبکه‌های عصبی عمیق، مانند شبکه متخاصم مولد (GAN) و ساختارهای مشتق شده از آن [ 59 ]، برای استخراج ویژگی‌های فضایی و طیفی بهتر مورد بررسی قرار خواهد گرفت تا به نتایج پان‌شارپن با بالاترین کیفیت منجر شود.

منابع

  1. سان، ال. مک.؛ چن، ی. شیم، اچ جی. وو، زی. Jeon، B. هسته فضایی-طیفی چند مقیاسی مبتنی بر سوپرپیکسل مجاور برای طبقه بندی ابرطیفی. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2019 , 312 , 1905–1919. [ Google Scholar ] [ CrossRef ]
  2. وو، زی. زو، دبلیو. چانوسوت، جی. خو، ی. Osher, S. تشخیص ناهنجاری فراطیفی از طریق مدل‌سازی مشترک جهانی و محلی پس‌زمینه. IEEE Trans. فرآیند سیگنال 2019 ، 67 ، 3858–3869. [ Google Scholar ] [ CrossRef ]
  3. سان، ال. Ge، W. چن، ی. ژانگ، جی. جئون، ب. عدم اختلاط فراطیفی با استفاده از پراکندگی l1-l2 و تنظیم کلی تنوع. اینتر J. Remote Sens. 2018 , 39 , 6037–6060. [ Google Scholar ] [ CrossRef ]
  4. خو، ی. وو، زی. چانوسوت، جی. Wei, Z. نمایش پراکنده تانسور پچ غیرمحلی برای وضوح تصویر فوق طیفی. IEEE Trans. فرآیند تصویر 2019 ، 28 ، 3034–3047. [ Google Scholar ] [ CrossRef ] [ PubMed ]
  5. لونکان، ال. دی آلمیدا، LB; Bioucas-Dias، JM; بریوتت، ایکس. چانوسوت، جی. دوبیجون، ن. فابر، اس. لیائو، دبلیو. Licciardi، GA; Simões، M. و همکاران فراطیفی Pansharpening: مروری. IEEE Trans. Geosci. سنسور از راه دور Mag. 2015 ، 3 ، 27-46. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  6. ژائو، سی. گائو، ایکس. امری، WJ; وانگ، ی. Li, J. یک روش نمایش پراکنده زمانی فضایی-طیفی یکپارچه برای ادغام تصاویر سنجش از دور با وضوح های مختلف. IEEE Trans. Geosci. Remote Sens. 2018 , 56 , 3358–3370. [ Google Scholar ] [ CrossRef ]
  7. اسکارپا، جی. ویتال، اس. کوزولینو، دی. تیز کردن بر اساس CNN با هدف تطبیقی. IEEE Trans. Geosci. Remote Sens. 2018 , 56 , 5443–5457. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  8. لولی، س. آلپارون، ال. گارزلی، ع. Vivone, G. مزایای حذف مه برای شفاف سازی بر اساس مدولاسیون. در مجموعه مقالات پردازش تصویر و سیگنال برای سنجش از راه دور، ورشو، لهستان، 4 تا 6 اکتبر 2017. [ Google Scholar ]
  9. گائتانو، آر. مسی، گ. پوگی، جی. وردولیوا، ال. Scarpa، G. تقسیم‌بندی مبتنی بر حوضه آبخیز تحت کنترل نشانگر تصاویر سنجش از راه دور با وضوح چندگانه. IEEE Trans. Geosci. Remote Sens. 2015 ، 53 ، 2987–3004. [ Google Scholar ] [ CrossRef ]
  10. آیهان، ای. آتای، جی. تحلیل کیفیت فضایی و طیفی در فرآیند تیز کردن تشت. J. شرکت هندی Remote Sens. 2011 , 40 , 379-388. [ Google Scholar ] [ CrossRef ]
  11. وانگ، ام. ژانگ، جی. Cao, D. تلفیقی از تصاویر ماهواره ای چندطیفی و پانکروماتیک بر اساس تبدیل ihs و منحنی. در مجموعه مقالات کنفرانس بین المللی 2007 در تجزیه و تحلیل موجک و تشخیص الگو، پکن، چین، 2 تا 4 نوامبر 2007. [ Google Scholar ]
  12. زو، ایکس. بائو، دبلیو. مقایسه راهبردهای ادغام تصویر سنجش از دور اتخاذ شده در HSV و IHS. بین المللی J. Remote Sens. 2017 ، 46 ، 377-385. [ Google Scholar ] [ CrossRef ]
  13. پولل، سی. ون جندرن، جی. مقاله بررسی ترکیب تصویر چندحسگر در سنجش از راه دور: مفاهیم، ​​روش‌ها و کاربردها. J. شرکت هندی Remote Sens. 1998 , 19 , 823-854. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  14. چوی، جی. یو، ک. Kim, Y. یک ترکیب تصویر ماهواره‌ای مبتنی بر جایگزینی انطباقی جدید با استفاده از جایگزینی جزئی. IEEE Trans. Geosci. Remote Sens. 2011 , 49 , 295-309. [ Google Scholar ] [ CrossRef ]
  15. لاپورتری، اف. Flouzat, G. مفهوم هرم مورفولوژیکی به عنوان ابزاری برای ادغام داده با وضوح چندگانه در سنجش از دور. یکپارچه سازی محاسبه کنید. به کمک مهندس 2003 ، 10 ، 63-79. [ Google Scholar ] [ CrossRef ]
  16. امرو، آی. Mateos، J. شفاف سازی تصویر چندطیفی بر اساس تبدیل contourlet. Inf. انتخاب کنید فوتونیک 2010 ، 206 ، 247-261. [ Google Scholar ]
  17. پانچال، اس. تبدیل Thakker، R. Contourlet با رویکرد یکپارچه مبتنی بر نمایش پراکنده برای شفاف‌سازی تصویر. IETE J. Res. 2017 ، 56 ، 1-11. [ Google Scholar ] [ CrossRef ]
  18. یانگ، ی. Que، Y.; هوانگ، اس. Lin, P. ترکیب تصاویر پزشکی حسگر چندوجهی بر اساس منطق فازی نوع 2 در حوزه NSCT. IEEE Sens. J. 2016 ، 1-10. [ Google Scholar ] [ CrossRef ]
  19. لیو، ی. لیو، اس. Wang, Z. چارچوبی کلی برای ادغام تصویر بر اساس تبدیل چند مقیاسی و نمایش پراکنده. Inf. فیوژن 2015 ، 24 ، 147-164. [ Google Scholar ] [ CrossRef ]
  20. وو، زی. هوانگ، ی. Zhang، K. روش ادغام تصویر سنجش از دور بر اساس PCA و تبدیل منحنی. J. شرکت هندی Remote Sens. 2018 , 46 , 687–695. [ Google Scholar ] [ CrossRef ]
  21. مقدم، ف. شهدوستی، ح. روش ادغام تصویر چند کانونی جدید با استفاده از تبدیل کانتورلت. arXiv 2017 , arXiv:1709.09528. [ Google Scholar ]
  22. لیو، جی. ژانگ، جی. Du، Y. روش تلفیقی از تصویر چند طیفی و تصویر پانکروماتیک بر اساس تبدیل NSCT و تصحیح گامای تطبیقی. در مجموعه مقالات سومین کنفرانس بین المللی مهندسی سیستم های اطلاعات (ICISE)، شانگهای، چین، 4 تا 6 مه 2018. [ Google Scholar ]
  23. Lim, WQ تبدیل رگبرگ گسسته: یک تبدیل جهت دار جدید و قاب های قیچی با پشتیبانی فشرده. IEEE Trans. فرآیند تصویر 2010 ، 19 ، 1166-1180. [ Google Scholar ]
  24. شنگ، دی. Wu, Y. روش بهبود تصویر سنجش از دور در حوزه NSST بر اساس بهینه‌سازی ازدحام ذرات چند مرحله‌ای. در مجموعه مقالات دومین کنفرانس بین المللی چند رسانه ای و پردازش تصویر (ICMIP)، ووهان، چین، 17 تا 19 مارس 2017. [ Google Scholar ]
  25. آهنگ، ی. یانگ، جی. زی، اچ. ژانگ، دی. Sun، X. یادگیری فرهنگ لغت دامنه باقیمانده برای بازیابی ویدیوهای حسگر فشرده. چندتایی. ابزارهای کاربردی 2017 ، 76 ، 10083-10096. [ Google Scholar ] [ CrossRef ]
  26. لی، اس. یانگ، ب. روش جدید پان-شارپنینگ با استفاده از تکنیک سنجش فشرده. IEEE Trans. Geosci. Remote Sens. 2011 , 49 , 738-746. [ Google Scholar ] [ CrossRef ]
  27. جیانگ، سی. ژانگ، اچ. شن، اچ. Zhang, L. یک روش عملی فشرده سازی مبتنی بر حسگر پان شارپنینگ. IEEE Trans. Geosci. Remote Sens. 2012 ، 9 ، 629-633. [ Google Scholar ] [ CrossRef ]
  28. لی، اس. یین، اچ. Fang, L. ادغام تصویر سنجش از دور از طریق نمایش های پراکنده در فرهنگ لغت های آموخته شده. IEEE Trans. فرآیند تصویر 2013 ، 51 ، 4779-4789. [ Google Scholar ] [ CrossRef ]
  29. گو، ام. ژانگ، اچ. لی، جی. ژانگ، ال. Shen, H. یک رویکرد یادگیری دیکشنری جفت شده آنلاین برای ادغام تصویر سنجش از دور. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2014 ، 7 ، 1284-1294. [ Google Scholar ] [ CrossRef ]
  30. زو، ایکس. باملر، آر. الگوریتم ادغام تصویر پراکنده با کاربرد برای شارپنینگ. IEEE Trans. Geosci. Remote Sens. 2013 , 51 , 2827–2836. [ Google Scholar ] [ CrossRef ]
  31. لانگ، م. Yan, Z. تشخیص زنده بودن عنبیه با شبکه عصبی کانولوشنال نرمال شده دسته ای. محاسبه کنید. ماتر ادامه 2019 ، 58 ، 493-504. [ Google Scholar ] [ CrossRef ]
  32. زنگ، دی. دای، ی. لی، اف. شرات، آر. وانگ، جی. یادگیری خصمانه برای استخراج رابطه مستقر از راه دور. محاسبه کنید. ماتر ادامه 2018 ، 55 ، 121-136. [ Google Scholar ]
  33. ژو، اس. که، م. Luo, P. GAN انتقال چند دوربینی برای شناسایی مجدد افراد. J. Vis. اشتراک. Image Remote 2019 ، 59 ، 393–400. [ Google Scholar ] [ CrossRef ]
  34. هوانگ، دبلیو. شیائو، ال. وی، ز. لیو، اچ. تانگ، اس. روش جدید پان شارپنینگ با شبکه های عصبی عمیق. IEEE Geosc. سنسور از راه دور Lett. 2015 ، 12 ، 1037-1041. [ Google Scholar ] [ CrossRef ]
  35. مسی، گ. کوزولینو، دی. وردولیوا، ال. Scarpa، G. Pansharpening توسط شبکه های عصبی کانولوشن. Remote Sens. 2016 ، 8 ، 594. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  36. منگ، آر. برنج، SG; وانگ، جی. Sun، X. یک الگوریتم استگانوگرافی فیوژن مبتنی بر R-CNN سریعتر. محاسبه کنید. ماتر ادامه 2018 ، 55 ، 1-16. [ Google Scholar ]
  37. رائو، ی. او، ال. Zhu, J. یک شبکه عصبی کانولوشنال باقیمانده برای پان شکل دادن. در مجموعه مقالات کارگاه بین المللی 2017 سنجش از دور با پردازش هوشمند (RSIP)، شانگهای، چین، 18 تا 21 مه 2017. [ Google Scholar ]
  38. یوان، Q. وی، ی. منگ، ایکس. شن، اچ. Zhang، L. یک شبکه عصبی کانولوشن چند مقیاسی و چند عمقی برای تشدید پان-شارپنینگ تصاویر سنجش از دور. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2018 , 11 , 978–989. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  39. تساگاتاکیس، جی. آیدینی، ع. فوتیادو، ک. جیانوپولوس، م. پنتاری، ع. Tsakalides، P. بررسی رویکردهای یادگیری عمیق برای تقویت مشاهدات سنجش از دور. Sensors 2019 , 29 , 3929. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  40. وانگ، دبلیو. جیانگ، ی. لو، ی. جی، ال. وانگ، ایکس. Zhang، T. یک رویکرد پیشرفته شبکه متراکم باقیمانده عمیق (DRDN) برای وضوح تصویر فوق العاده. بین المللی جی. کامپیوتر. بین المللی سیستم 2019 ، 12 ، 1592-1601. [ Google Scholar ]
  41. دونگ، سی. لوی، سی. او، ک. تانگ، ایکس. یادگیری یک شبکه کانولوشن عمیق برای وضوح تصویر فوق العاده. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر، زوریخ، سوئیس، 6 تا 12 سپتامبر 2014. [ Google Scholar ]
  42. والد، ال. رانچین، تی. Mangolini، M. تلفیقی از تصاویر ماهواره ای با وضوح فضایی مختلف: ارزیابی کیفیت تصاویر حاصل. فتوگرام مهندس Remote Sens. 1997 , 63 , 691-699. [ Google Scholar ]
  43. زنگ، دی. دای، ی. لی، اف. وانگ، جی. Sangaiah، تحلیل احساسات مبتنی بر جنبه AK توسط یک CNN از نظر زبانی منظم با مکانیسم دردار. جی. اینتل. سیستم فازی 2019 ، 36 ، 3971-3980. [ Google Scholar ] [ CrossRef ]
  44. هوانگ، جی. لیو، ز. ون در ماتن، ال. Weinberger، KQ شبکه های کانولوشنال به هم پیوسته متراکم. در مجموعه مقالات کنفرانس IEEE 2017 در مورد دید رایانه و تشخیص الگو (CVPR)، هونولولو، HI، ایالات متحده آمریکا، 21 تا 26 ژوئیه 2017؛ ص 2261-2269. [ Google Scholar ]
  45. لو، ی. کوین، جی. Xiang، X. تان، ی. لیو، کیو. Xiang، L. پنهان کردن اطلاعات تصویر بی‌درنگ بر اساس تطبیق بلوک تصویر و شبکه پیچیده پیچیده. J. فرآیند تصویر در زمان واقعی. 2020 ، 17 ، 125-135. [ Google Scholar ] [ CrossRef ]
  46. رحمانی، س. تنگه، م. مرکورجف، دی. مولر، ام. ویتمن، تی. یک روش پان شارپنینگ تطبیقی ​​IHS. IEEE Geosci. علوم از راه دور 2010 ، 7 ، 746-750. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  47. نونز، ج. اوتازو، ایکس. فورس، او. پرادس، آ. پالا، وی. Arbiol، R. ادغام تصویر مبتنی بر وضوح چندگانه با تجزیه موجک افزایشی. IEEE Trans. Geosci. Remote Sens. 1999 , 37 , 1204-1211. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  48. کینگما، دی. با، جی. آدام: روشی برای بهینه سازی تصادفی. در دسترس آنلاین: https://arxiv.org/pdf/1412.6980.pdf (در 2 آوریل 2020 قابل دسترسی است).
  49. ژو، جی. سیوکو، دی ال. Silander، JA یک روش تبدیل موجک برای ادغام داده های پانکروماتیک Landsat TM و SPOT. بین المللی J. Remote Sens. 1998 , 19 , 743-757. [ Google Scholar ] [ CrossRef ]
  50. لیو، ز. بلاش، ای. زو، ز. ژائو، جی. لاگانیر، آر. Wu، W. ارزیابی عینی الگوریتم‌های ادغام تصویر با وضوح چندگانه برای بهبود زمینه در دید در شب: یک مطالعه مقایسه‌ای. IEEE Trans. الگوی مقعدی 2012 ، 34 ، 94-109. [ Google Scholar ] [ CrossRef ] [ PubMed ]
  51. Wald, L. Data Fusion: Definitions and Architectures-Fusion of Images of Different Spatial Resolutions ; Presses desMines: پاریس، فرانسه، 2002; صص 135-141. [ Google Scholar ]
  52. یوهاس، RH; گوتز، AFH؛ Boardman، JW تبعیض بین اعضای انتهایی چشم انداز نیمه خشک با استفاده از الگوریتم طیفی AngleMapper (SAM). در مجموعه مقالات خلاصه‌های سومین کارگاه آموزشی زمین‌شناسی هوابرد JPL، کارگاه آموزشی AVIRIS، پاسادنا، کالیفرنیا، ایالات متحده آمریکا، 1 تا 5 ژوئن 1992. [ Google Scholar ]
  53. آلپارون، ال. بارونتی، اس. گارزلی، ع. Nencini، F. اندازه گیری کیفیت جهانی تصاویر چندطیفی پان شارپن. IEEE Geosci. سنسور از راه دور Lett. 2004 ، 1 ، 313-317. [ Google Scholar ] [ CrossRef ]
  54. وانگ، ز. Bovik, A. یک شاخص جهانی کیفیت تصویر. فرآیند سیگنال IEEE Lett. 2002 ، 9 ، 81-84. [ Google Scholar ] [ CrossRef ]
  55. آلپارون، ال. ایازی، بی. بارونتی، اس. گارزلی، ع. ننسینی، اف. Selva، M. ارزیابی همجوشی داده‌های چندطیفی و پانکروماتیک بدون مرجع. مهندس فتوگرام Remote Sens. 2008 ، 74 ، 1204-1211. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  56. وو، زی. لیو، جی. آره.؛ سان، ال. Wei, Z. بهینه‌سازی تصویر فراطیفی محدود شده با حداقل حجم بر روی پلت فرم ناهمگن CPU-GPU. J. فرآیند تصویر در زمان واقعی. 2018 ، 15 ، 265-277. [ Google Scholar ] [ CrossRef ]
  57. وو، زی. شی، ال. لی، جی. وانگ، کیو. سان، ال. وی، ز. پلازا، جی. Plaza، A. پیاده‌سازی موازی GPU طبقه‌بندی تصویر فراطیفی تطبیقی ​​فضایی. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2018 , 11 , 1131–1143. [ Google Scholar ] [ CrossRef ]
  58. جیانگ، ی. ژائو، ام. هو، سی. او، ال. بای، اچ. Wang, J. یک الگوریتم موازی رشد FP بر روی داده های اطلس اقیانوس جهانی با CPU چند هسته ای. جی. ابرکامپیوتر. 2019 ، 75 ، 732-745. [ Google Scholar ] [ CrossRef ]
  59. تو، ی. لین، ی. وانگ، جی. کیم، JU یادگیری نیمه نظارت شده با شبکه های متخاصم مولد در طبقه بندی مدولاسیون سیگنال دیجیتال. محاسبه کنید. ماتر ادامه 2018 ، 55 ، 243-254. [ Google Scholar ]
Ijgi 09 00242 g001 550
شکل 1. یک بلوک متراکم پنج لایه با نرخ رشد k = 4. تمام نقشه های ویژگی قبلی داده های ورودی هر لایه هستند.
Ijgi 09 00242 g002 550
شکل 2. چارچوب شبکه های کانولوشنال متصل متراکم برای روش پان شارپنینگ (DCCNP).
Ijgi 09 00242 g003 550
شکل 3. مقایسه بلوک متراکم بین شبکه اصلی و شبکه پیشنهادی.
Ijgi 09 00242 g004 550
شکل 4. معماری DCCNP برای پان شارپنینگ.
Ijgi 09 00242 g005 550
شکل 5. تصاویر اصلی IKONOS و تصاویر پان شارپن شده با روش های مختلف. ( الف ) ام اس با وضوح پایین؛ ( ب ) IHS تطبیقی ​​(AIHS)؛ ( ج ) تبدیل موجک trous (ATWT); ( د ) شبکه عصبی پان شارپنینگ (PNN). ( ه ) شبکه عصبی پیچشی چند مقیاسی و چند عمقی (MSDCNN). ( و ) روش پیشنهادی. ( ز ) حقیقت پایه.
Ijgi 09 00242 g006 550
شکل 6. ( الف ) ناحیه مستطیل قرمز که در تصویر مرجع بزرگ می شود. ( b – h ) نماهای بزرگ شده جزئی شکل 5 a–g هستند.
Ijgi 09 00242 g007 550
شکل 7. تصویر تفاوت بین تصویر پان-شارپن شده و تصویر مرجع داده های IKONOS، که قرمز نشان دهنده تفاوت بزرگ، آبی تفاوت کوچک و سبز تفاوت میانی است. ( الف ) AIHS; ( ب ) ATWT; ( ج ) PNN; ( د ) MSDCNN; ( ه ) روش پیشنهادی.
Ijgi 09 00242 g008 550
شکل 8. تصاویر اصلی QuickBird و تصاویر پان شارپن شده با روش های مختلف. ( الف ) ام اس با وضوح پایین؛ ( ب ) AIHS; ( ج ) ATWT; ( د ) PNN; ( ه ) MSDCNN; ( و ) روش پیشنهادی. ( ز ) حقیقت پایه.
Ijgi 09 00242 g009 550
شکل 9. ( الف ) مساحت مستطیل قرمز که باید در تصویر مرجع بزرگ شود. ( b – h ) نماهای بزرگ شده جزئی شکل 8 a–g هستند.
Ijgi 09 00242 g010 550
شکل 10. تصویر تفاوت بین تصویر نتیجه و تصویر مرجع داده های QuickBird. ( الف ) AIHS، ( ب ) ATWT، ( ج ) PNN، ( د ) MSDCNN، ( ه ) روش پیشنهادی.
Ijgi 09 00242 g011 550
شکل 11. نتایج تجربی واقعی با روش های مختلف روی داده های QuickBird. ( الف ) تصاویر MS با وضوح پایین. ( ب ) AIHS; ( ج ) ATWT; ( د ) PNN; ( ه ) MSDCNN; ( و ) روش پیشنهادی.

مقالات داخلی و بین المللی

مطالب مرتبط ...

بدون دیدگاه

دیدگاهتان را بنویسید