فناوری تشخیص ابر و برف در زمینه هواشناسی اهمیت زیادی دارد و همچنین به طور گسترده در نقشه برداری سنجش از دور، هوا فضا و سایر زمینه ها استفاده می شود. بر اساس روش سنتی برچسب‌گذاری دستی مناطق ابر-برفی، روشی برای برچسب‌گذاری مناطق ابر و برفی با استفاده از فناوری یادگیری عمیق به تدریج توسعه داده شده است تا دقت و کارایی تشخیص را بهبود بخشد. در این مقاله، از منظر طراحی یک مدل شبکه کارآمد و سبک، یک مدل تشخیص برف ابری مبتنی بر شبکه توجه نقشه ویژگی های سبک وزن (Lw-fmaNet) برای اطمینان از عملکرد و دقت مدل تشخیص برف ابری پیشنهاد شده است. این مدل بر اساس شبکه ResNet18 با فرض کاهش پارامترهای شبکه و بهبود کارایی آموزش بهبود یافته است. ساختار اصلی مدل شامل یک ماژول استخراج ویژگی کم عمق، یک ماژول نقشه برداری ویژگی ذاتی و یک مکانیسم توجه تطبیقی ​​سبک وزن است. به طور کلی، در آزمایش های انجام شده در این مقاله، دقت مدل پیشنهادی تشخیص ابر و برف با شاخص کاپا 93.34 درصد به 95.02 درصد می رسد. روش پیشنهادی به نرخ دقت متوسط ​​94.87٪، میانگین نرخ فراخوان 94.79٪ و میانگین امتیاز F1 94.82٪ برای چهار کار طبقه بندی تشخیص نمونه: بدون برف و بدون ابر، ابر نازک، ابر ضخیم و برف دست می یابد. پوشش دادن. در همین حال، شبکه پیشنهادی ما تنها 5.617M پارامتر دارد و تنها 2.276 ثانیه طول می کشد. در مقایسه با چندین شبکه عصبی کانولوشنال و شبکه های سبک وزن که معمولاً برای تشخیص ابر و برف استفاده می شوند.

کلید واژه ها:

تشخیص ابر و برف ; شبکه عصبی کانولوشنال ; نقشه ویژگی سبک وزن ؛ شبکه توجه

1. مقدمه

در سال های اخیر، با تعمیق تحقیقات سنجش از دور هواشناسی، فناوری تشخیص ابر و برف به طور گسترده در تحقیقات هواشناسی مورد استفاده قرار گرفته است. با این حال، در مناطق کوهستانی خاصی در چین، مناطق پوشیده از برف در تصاویر سنجش از راه دور می‌توانند در شناسایی ابر اختلال ایجاد کنند و تشخیص نادرست ایجاد کنند، که دقت تشخیص را کاهش می‌دهد. علاوه بر این، بارش بیشتر برف در فصول زمستان و بهار در مناطق مرتفع چین باعث ایجاد پدیده تجمع برف خواهد شد. در عین حال، فلات مغولستان داخلی مستقر در دام چین و فلات Yunnan-Guizhou مستقر در مزارع و غیره به تغییرات محیطی برف ابری و سرمای یخی بسیار حساس هستند. بنابراین، مطالعه شناسایی ابر-برف از اهمیت بالایی برخوردار است [ 1 ، 2، 3 ].
تا کنون، تحقیقات سنتی در مورد تجزیه و تحلیل تصویر ابری یا تشخیص ابر و برف عمدتاً بر اساس تجزیه و تحلیل آستانه چند طیفی و روش‌های خوشه‌بندی مصنوعی طراحی شده با استفاده از چندین توابع بوده است. ژانگ و همکاران (2019) [ 4 ] یک روش تشخیص با استفاده از تصاویر سنجش از دور با وضوح بالا چند ویژگی، از جمله رنگ، بافت، و شکل اجسام زمین، پیشنهاد کرد و از روش‌هایی مانند حداقل آستانه آنتروپی متقاطع و تبدیل تصویر چند مقیاسی فیلتر استفاده کرد. تجزیه برای افزایش دقت وانگ و همکاران (2011) [ 5] داده های MODIS را بر اساس تجزیه و تحلیل طیفی شاخص به دو دسته تقسیم کرد و آنها را با روش K-means ترکیب کرد و یک روش تشخیص بهینه را با ترکیب خوشه بندی K-means و آستانه چند طیفی پیشنهاد کرد که می تواند به طور موثر ناحیه کوچکی از پیکسل های ابر را تشخیص دهد و حذف کند. تداخل سطح زیرین Sekrecka و همکاران (2019) [ 6 ] عمدتاً تصویر شفاف پانکروماتیک را برای تشخیص شی مورد بررسی و بهبود می بخشد، که برای تشخیص وضوح فضاهای مختلف، افزایش تشخیص هدف و کیفیت طیفی تصویر همجوشی استفاده می شود. کاندرا و همکاران (2018) [ 7] ویژگی های رنگ و لبه ابر و روش تشخیص ابر فضایی دو رنگ را پیشنهاد کرد. پس از آنالیز همپوشانی و کشش خطی نقشه‌های ناحیه ابری با اشباع و رنگ‌های مختلف، تصویر کاملی از ناحیه ابر شکل گرفت. با این حال، هنوز برخی از مشکلات با روش های تشخیص سنتی وجود دارد. به عنوان مثال، حل مشکل تمایز نادرست بین ابر و برف در سطح پیکسل ناشی از توزیع رنگ ثابت ابرها و برف و ویژگی‌های بافت‌های محلی مشابه، دشوار است [ 8 ]. هنوز هیچ چالش کوچکی برای الزامات تشخیص با دقت بالا وجود ندارد.
به دلیل محدودیت‌های روش‌های تشخیص سنتی ذکر شده در بالا از نظر دقت تشخیص، بسیاری از محققان روش‌های یادگیری عمیق را برای پیشنهاد یک روش تشخیص تصویر ابری مبتنی بر یادگیری عمیق ترکیب کردند، در نتیجه دقت تشخیص ابر و برف را بهبود بخشید و قابلیت عمل را افزایش داد. 9 ، 10 ، 11 ، 12 ]. شیا و همکاران (2019) [ 13 ] یک شبکه باقیمانده عمیق ورودی چند بعدی (M-ResNet) را پیشنهاد کرد که می تواند به طور موثر ویژگی های تصویر و اطلاعات طیفی تصاویر ماهواره ای را در فرآیند تشخیص ابر و برف استخراج کند. برای استفاده از مزایای شبکه های عصبی کانولوشن عمیق در وظایف طبقه بندی ابر، Ye et al. (2017) [14 ] طبقه‌بندی ابر را با کمک کانولوشن عمیق پیشنهاد کرد و از کدگذاری برداری فیشر برای انجام تجمیع ویژگی‌های فضایی و نگاشت ویژگی‌های با ابعاد بالا از ویژگی‌های کانولوشن عمیق اصلی برای دستیابی به نتایج بهتر استفاده شد. لی و همکاران (2018) [ 15 ] یک روش تشخیص ابر ادغام ویژگی کانولوشنال چند مقیاسی (MSCFF) بر اساس شبکه های عصبی کانولوشنال عمیق را پیشنهاد کرد. برای استخراج ویژگی‌های فضایی چند مقیاسی و پیشرفته، از بانک فیلتر قابل آموزش برای افزایش نقشه ویژگی استفاده شد. ویژگی‌های فضایی چند مقیاسی و سطح بالا، نقشه‌های ویژگی‌های چندگانه نمونه‌برداری و متصل را استخراج کرد و سپس ویژگی‌های مقیاس‌های مختلف را برای خروجی ادغام کرد تا به وظیفه تشخیص ابر دست یابد. بای و همکاران (2016) [ 16] به دنبال بهبود دقت تصاویر ماهواره ای با وضوح تصویر بود. یادگیری ماشین و فناوری ترکیب چند ویژگی برای مقایسه طیف معمولی، بافت و سایر تفاوت‌های مشخصه ابرها و پس‌زمینه‌ها استفاده شد که مقیاس‌پذیری خوبی داشتند. لی و همکاران (2019) [ 15 ] یک روش تشخیص ابر مبتنی بر روش یادگیری عمیق به نام ادغام ویژگی کانولوشن چند مقیاسی (MSCFF) پیشنهاد کرد که می‌تواند زمینه محلی و جهانی را برای واکشی ویژگی‌های فضایی چند مقیاسی و سطح بالا فراهم کند. علاوه بر این، یک ماژول فیوژن چند مقیاسی جدید طراحی شد تا ویژگی‌های مقیاس‌های مختلف را برای به دست آوردن خروجی ترکیب کند. یانگ و همکاران (2018) [ 17] با استفاده از چندین شبکه عصبی کانولوشنال و یک الگوریتم خوشه‌بندی تکراری خطی تطبیقی ​​ساده در تقسیم‌بندی تصاویر ماهواره‌ای، به تشخیص ابر چند سطحی دست یافت. در همان زمان، یک شبکه عصبی چند کانولوشنال جدید برای دستیابی به اهداف تشخیص با دقت بالا به منظور استخراج ویژگی‌های چند مقیاسی از هر سوپرپیکسل طراحی شد. ژان و همکاران (2017) [ 8 ] از یک شبکه عصبی کاملاً کانولوشن برای طبقه‌بندی ابرهای سطح پیکسل و برف استفاده کرد و کاستی‌های روش‌های سنتی را که نمی‌توانند به‌طور دقیق ابرهای سطح پیکسل و برف را از تصاویر تشخیص دهند، برطرف کرد. مدل عمیق تشخیص ابر و برف، و معرفی یک استراتژی پیش‌بینی چند مقیاسی، سپس مجموعه داده‌های ابر و برف را برای آموزش به صورت دستی علامت‌گذاری کرد. زی و همکاران (2017) [ 18] تصویر را به سوپرپیکسل های با کیفیت بالا تقسیم کرد. آنها روش خوشه‌بندی تکراری خطی ساده (SLIC) را بهبود بخشیدند و یک شبکه عصبی پیچیده دو شاخه‌ای برای استخراج سوپرپیکسل‌های متعدد از هر سوپرپیکسل طراحی کردند. این مقیاس برای پیش‌بینی سوپرپیکسل‌ها در تصویر، نتایج تشخیص را نشان می‌دهد که دقت و استحکام تشخیص را بهبود می‌بخشد. لیو و همکاران (2020) [ 19] یک مدل عمق جدید برای یادگیری ویژگی‌های عمق ناهمگن (HDFs) برای طبقه‌بندی ابر سنجش از دور زمینی چندوجهی پیشنهاد کرد. آنها گراف را به یک استخراج کننده شبکه کانولوشن گراف (GCN) تغذیه کردند تا ویژگی های مبتنی بر GCN را به دست آورند که می تواند همبستگی بین نمونه های ابر چندوجهی را با استفاده از لایه کانولوشن گراف و ویژگی های بر اساس ناهمگنی تحت شبکه های مختلف به هم پیوند دهد تا نمونه های ابر چندوجهی را با دقت بالا نشان دهد. .
اگرچه تشخیص روش جدید فوق می تواند وظیفه مورد نظر را به انجام برساند، اما هنوز کاستی های زیادی دارد. کارایی تشخیص ابر و برف هنوز نیاز به بهبود دارد [ 20 ، 21 ]. بنابراین، طراحی یک مدل شبکه کارآمد و سبک ضروری است و این کار یک شبکه توجه نقشه‌برداری ویژگی سبک وزن را پیشنهاد می‌کند که با مدل تشخیص ابر و برف ترکیب می‌شود تا پارامترهای شبکه را کاهش داده و بازده آموزشی را بهبود بخشد و در عین حال عملکرد ابر را تضمین کند. و مدل تشخیص برف. یک مدل تشخیص ابر و برف دقیق و کارآمد به دست خواهد آمد.

2. شبکه توجه نقشه ویژگی سبک وزن

2.1. شبکه توجه فیوژن چند مقیاسی

برای حل مشکلات تشخیص اشتباه، دقت طبقه‌بندی پایین و توانایی تعمیم ضعیف در کار تشخیص ابر و برف، یک شبکه توجه همجوشی چند مقیاسی (MfaNet) پیشنهاد شده‌است. ساختار آن در شکل 1 نشان داده شده است . این شبکه از یک شبکه متصل متراکم به عنوان شبکه ستون فقرات تشکیل شده و با یک ماژول همجوشی چند مقیاسی و مکانیزم توجه ترکیب شده است. این شبکه می تواند مشکل تشخیص نادرست و تشخیص اشتباه در تشخیص برف ابری را کاهش دهد و توانایی تشخیص تعمیم را بهبود بخشد.
ما استفاده از ماژول همجوشی چند مقیاسی را به‌طور عمده پیشنهاد می‌کنیم تا بتوانیم ویژگی‌های ابر-برف بسیار همبسته را با هم از پیش خوشه‌بندی کنیم و در عین حال برخی از اطلاعات اضافی ویژگی ابر-برف را کاهش دهیم. در ماژول فیوژن چند مقیاسی عملیات سه شاخه ای انجام می شود. شاخه اول شامل 1×1و 3×3عملیات کانولوشن، شاخه دوم شامل 1×1و 5×5عملیات کانولوشن، و شاخه سوم شامل a 3×3عملیات جمع آوری حداکثر با اندازه پله 1 و a 1×1عملیات پیچیدگی، و هر پیچیدگی توسط یک تابع فعال سازی دنبال می شود. پس از عملیات انشعاب، خروجی به یک نقشه ویژگی عمیق‌تر دوخته می‌شود و در نتیجه نقشه ویژگی برف ابری غنی‌تر می‌شود.
پس از تولید نقشه ویژگی از طریق ماژول فیوژن چند مقیاسی، به منظور پرداختن به ویژگی‌های تصادفی و پیچیده ویژگی‌های برف ابری، یک مکانیسم توجه وزن بالا اضافه می‌شود تا ویژگی‌های نقشه ویژگی را با اختصاص وزن‌های بالا و پایین به کالیبراسیون مجدد کند. به ترتیب اطلاعات مفید و بی فایده
پس از آن وارد شبکه متصل متراکم می شویم که از چهار بلوک متراکم و سه لایه انتقال تشکیل شده است. برخلاف شبکه‌های عصبی کانولوشنال سنتی که در آن‌ها لایه‌های L با اتصالات L مطابقت دارند ، در شبکه‌های متصل متراکم، ورودی هر لایه روی خروجی همه لایه‌های قبلی قرار می‌گیرد، به طوری که L(L+1)/2اتصالات را می توان به دست آورد. برای بدست آوردن همان تعداد کانال ویژگی در هر لایه، چهار بلوک متراکم به ترتیب دارای 2، 3، 3 و 2 لایه هستند و بلوک های متراکم می توانند با به هم پیوستن همه لایه ها به طور کامل اطلاعات ویژگی را منتشر کنند و 32 لایه را اضافه کنند. نقشه های ویژگی به هر لایه در حالی که اندازه نقشه ویژگی ثابت نگه داشته می شود. علاوه بر این، شبکه از یک لایه انتقال استفاده می کند که برای کاهش ابعاد شبکه عصبی متراکم متصل طراحی شده است. لایه انتقال شامل یک لایه عادی سازی دسته ای است، a 1×1لایه کانولوشن و الف 1×1لایه ادغام متوسط، که می تواند نقشه ویژگی بلوک متراکم قبلی را به نصف اندازه اصلی آن کاهش دهد.
در نهایت، نقشه ویژگی با استفاده از میانگین جهانی ادغام و عملیات کانولوشن به داده‌های یک بعدی تبدیل می‌شود و طبقه‌بندی‌کننده Softmax احتمال اینکه هر نمونه آموزشی برف ابری متعلق به هر کلاس باشد را خروجی می‌دهد.
با این حال، این شبکه از یک شبکه متصل متراکم به عنوان شبکه ستون فقرات استفاده می کند که در حین آموزش حافظه را مصرف می کند و سرعت تمرین کند است. به دلیل اتصال متراکم شبکه، برای اطمینان از انتشار و استفاده مجدد از ویژگی ها، روش اتصال رادیکال تری اتخاذ می شود: خروجی تمام لایه های قبلی و خروجی لایه فعلی به هم متصل می شوند و همه به لایه بعدی منتقل می شوند. این مصرف حافظه زیادی را به همراه دارد زیرا هر عملیات اتصال نیاز به باز کردن یک حافظه جدید برای ذخیره ویژگی‌ها دارد. برای یک بلوک متراکم لایه L ، حافظه ای معادل مصرف می کند L(L+1)/2شبکه عصبی کانولوشنال لایه این روش نه تنها سرعت آموزش شبکه را کاهش می دهد بلکه به قدرت محاسباتی و سخت افزار بالاتری نیز نیاز دارد. علاوه بر این، ماژول های مختلف در شبکه توجه همجوشی چند مقیاسی عواملی مانند تعداد پارامترها و زمان تست را در نظر نگرفته اند.
بنابراین، هدف این مقاله طراحی یک مدل کارآمد و سبک تشخیص ابر و برف بر اساس اطمینان از دقت مدل تشخیص ابر و برف است.

2.2. ساختار شبکه

همانطور که عمق شبکه عصبی کانولوشن عمیق تر و عمیق تر می شود، مدل شبکه معمولاً به ده ها میلیون پارامتر برای مشارکت در محاسبه نیاز دارد که منجر به مشکلاتی مانند حجم زیاد محاسبه، ساختار شبکه پیچیده و آزمایش کند می شود. سرعت [ 22 ]. بنابراین، کاهش تعداد پارامترهای مدل و تلفات محاسباتی به یک جهت تحقیقاتی مهم تبدیل شده است. مسائل سبک به طور کلی از دو منظر فشرده سازی شبکه و بهینه سازی ساختار شبکه در نظر گرفته می شوند. تا آنجا که به فشرده سازی شبکه مربوط می شود، روش های معمول شامل هرس کانال [ 23 ، 24 ]، کمی سازی مدل [ 25 ]، تجزیه تانسور [ 26 ] است.]، تقطیر دانش [ 27 ] و روشهای دیگر. شبکه توجه نقشه برداری ویژگی سبک وزن (Lw-fmaNet) در این مقاله از منظر بهینه سازی ساختار شبکه مورد مطالعه قرار گرفته است.
در مطالعات موجود، DenseNet معمولاً به عنوان یک شبکه ستون فقرات استفاده می شود، زیرا از ویژگی عملیات دوخت این شبکه می توان سوء استفاده کرد به طوری که ورودی ویژگی هر لایه حاوی خروجی لایه قبلی و ورودی همه لایه های قبل از آن لایه است و در نتیجه بهبود می یابد. انتشار و تکثیر ویژگی ها برای استخراج کامل اطلاعات ویژگی های تصویر. با این حال، این شبکه دارای مقدار زیادی محاسبات ممیز شناور و تعداد زیادی دسترسی به حافظه است که برای ساخت یک مدل شبکه سبک وزن مناسب نیست. در عین حال، روش اتصال متراکم رادیکال، یعنی خروجی تمام لایه های قبلی و خروجی لایه فعلی به هم دوخته شده و همه به لایه بعدی منتقل می شوند. قطعاً ویژگی های ابر و برف اضافی را به همراه خواهد داشت. برای انتخاب شبکه اصلی مدل تشخیص ابر و برف در این مقاله، ما بر روی کلاسیک ترین ResNet تمرکز می کنیم. علاوه بر این، آزمایش‌های مقایسه‌ای را روی ResNet18، ResNet34، و ResNet50 انجام داده‌ایم، که در آن تعداد در شبکه ResNet تعداد لایه‌های مجموع لایه‌های کانولوشنی و کاملاً متصل را نشان می‌دهد. داده های مقایسه ای در نشان داده شده استجدول 1 . بلوک باقیمانده در ResNet18 و ResNet34 از دو لایه تشکیل شده است 3×3پیچیدگی، در حالی که بلوک باقیمانده ResNet50 شامل دو لایه است 1×1پیچیدگی و یک لایه از 3×3پیچیدگی در اینجا باید تاکید کرد که تمام مدل‌های این مقاله بر اساس چارچوب Pytorch، یک چارچوب شبکه عصبی مشترک است. برخلاف فریم ورک کراس که معمولاً مورد استفاده قرار می گیرد، چارچوب Pytorch دقت و سرعت آموزش بهتری دارد که برای اهداف سبک وزن و کارآمد مفیدتر است.
از جدول 1 ، می بینیم که اگرچه ResNet50 بالاترین میزان دقت را دارد، اما میزان دقت ResNet18 تنها 0.27٪ کمتر است. با در نظر گرفتن عوامل دیگری مانند تعداد پارامترها و زمان تست، در نهایت ResNet18 را به عنوان شبکه پایه مدل در این مقاله انتخاب می کنیم. برای ResNet18 اصلی، این یک مدل سبک وزن نیست، و نه دقت و نه تعمیم نمی‌تواند نتایج رضایت‌بخشی را هنگام اعمال در وظایف تشخیص ابر و برف به دست آورد. بنابراین، ما یک سری تغییرات را در اساس آن ایجاد می کنیم و آن را تغییر می دهیم 7×7لایه کانولوشن در شبکه اصلی به یک ماژول استخراج ویژگی کم عمق، تغییر دو لایه 3×3پیچیدگی در ماژول باقیمانده به یک ماژول نگاشت ویژگی ذاتی دو لایه، و اضافه کردن یک مکانیسم توجه تطبیقی ​​سبک وزن در پشت آنها. از طریق تغییرات فوق، یک شبکه توجه نقشه ویژگی سبک وزن ساخته شده است.
در ادامه، ساختار شبکه شبکه توجه نقشه ویژگی های سبک وزن را به تفصیل معرفی می کنیم. شبکه ابتدا از ماژول استخراج ویژگی های کم عمق برای استخراج ویژگی های کم عمق از مجموعه داده های ابر و برف استفاده می کند. در این ماژول از دو لایه کانولوشن قابل تفکیک عمق و یک لایه کانولوشن عمق هیبریدی استفاده می کنیم و از تابع فعال سازی Leaky ReLU بعد از سه لایه پیچیدگی به جای فعال سازی سنتی ReLU استفاده می کنیم. در کانولوشن قابل جداسازی عمق لایه اول، اندازه کانولوشن کانال به کانال برابر است با 3×3، و اندازه کانولوشن نقطه به نقطه است 1×1×32. در کانولوشن قابل جداسازی عمق لایه دوم، اندازه کانولوشن کانال به کانال برابر است با 5×5، و اندازه کانولوشن نقطه به نقطه است 1×1×64. در لایه سوم کانولوشن عمق هیبریدی، 64 کانال را به چهار گروه تقسیم می کنیم. گروه اول 32 کانال، گروه دوم 16 کانال و گروه سوم و چهارم 8 کانال دارند. اندازه هسته های کانولوشن عبارتند از: 3×3، 5×5، 7×7، 9×9. هدف اصلی این ماژول استخراج ویژگی‌های ابری و برفی میدان‌های گیرنده چند سطحی و چندگانه است تا از وقوع تشخیص از دست رفته جلوگیری کند. در ماژول استخراج ویژگی های کم عمق، کانولوشن هسته به صورت کانال به کانال است که می تواند تعداد پارامترها را تا حد زیادی کاهش دهد. اگر همراه با پیچیدگی نقطه به نقطه استفاده شود، می تواند اطلاعات را بین کانال ها ترکیب کند و ابعاد کانال را فشرده یا گسترش دهد.
پس از اینکه مجموعه داده ابر و برف یادگیری ماژول استخراج ویژگی های کم عمق را کامل کرد، برای یادگیری عمیق ویژگی وارد لایه های L2 تا L5 شبکه توجه نقشه برداری ویژگی های سبک وزن می شود. در این لایه های ماژول ها، ما دو لایه اصلی را تغییر دادیم 3×3بلوک پیچیدگی در ResNet18 به یک ماژول نگاشت ویژگی ذاتی دو لایه و یک مکانیسم توجه تطبیقی ​​سبک وزن در پشت آنها اضافه شده است. لازم به ذکر است که ما اتصال باقیمانده را در ResNet حفظ می کنیم که هدف آن کاهش پدیده ناپدید شدن گرادیان است. در ماژول نگاشت ویژگی های داخلی، نیمه اول نقشه های ویژگی اصلی توسط کانولوشن معمولی ایجاد می شود و نیمه باقی مانده از نقشه های ویژگی با نگاشت تابع تولید می شود، سپس دو قسمت از نقشه های ویژگی به هم متصل می شوند که خروجی است. از این لایه می بینیم که تعداد کانال ها و اندازه نقشه های ویژگی خروجی به دست آمده توسط ماژول نگاشت ویژگی ذاتی و عملیات کانولوشن معمولی یکسان است، اما مقدار پارامتر و پیچیدگی محاسباتی کاهش می یابد. مکانیسم توجه تطبیقی ​​سبک وزن عمدتاً بر تأثیر متقابل بین کانال ها متمرکز است. از طریق پیچیدگی یک بعدی، یادگیری توجه بین کانال ها تکمیل می شود. این ماژول از پارامترهای تقریباً ناچیز برای دستیابی به وزن کانال ویژگی استفاده می کند.شکل 2 ساختار شبکه خاص لایه L3 را در شبکه توجه نقشه برداری ویژگی های سبک وزن نشان می دهد.
پس از تکمیل یادگیری ویژگی های کم عمق و عمیق، از لایه جمع آوری میانگین جهانی و لایه کاملاً متصل برای نگاشت فضای ویژگی به فضای دسته برچسب استفاده می کنیم و در نهایت از طبقه بندی کننده Softmax برای خروجی احتمال هر آموزش ابر و برف استفاده می کنیم. نمونه متعلق به هر دسته، به این ترتیب نتیجه طبقه بندی نمونه ابر و برف به دست می آید. جدول 2 مقایسه بین ساختار شبکه ResNet18 و ساختار شبکه توجه نقشه ویژگی سبک وزن اصلاح شده را نشان می دهد. در مقایسه با ResNet18، مزیت شبکه ما این است که دقت بسیار بالاتری برای همان تعداد لایه داریم، در حالی که مقایسه پارامترهای خاص در بخش 3 ارائه خواهد شد .

2.3. ماژول استخراج ویژگی کم عمق

همانطور که همه ما می دانیم، وقتی از شبکه های عصبی کانولوشن برای یادگیری ویژگی های نمونه ها استفاده می کنیم، ویژگی های کم عمق معمولاً اطلاعات دقیق و اطلاعات مکان تصویر را می آموزند [ 28 ]. برای مجموعه داده های ابر و برف در این مقاله، ویژگی های کم عمق عمدتاً بافت، طیف، فضا و سایر اطلاعات موجود در تصویر سنجش از راه دور را یاد می گیرند. ویژگی های عمیق معمولاً دارای ویژگی های انتزاعی بیشتری هستند. در کار تشخیص ابر و برف، قضاوت دسته ابر و برف مغرضانه است. نحوه انجام یادگیری دقیق و جامع از ویژگی های کم عمق مانند بافت، طیف و فضا در تصاویر سنجش از دور برای وظیفه تشخیص ابر و برف بسیار مهم است.
هدف ماژول استخراج ویژگی های کم عمق، استخراج ویژگی های کم عمق با جزئیات و غنی است، در نتیجه تشخیص از دست رفته مدل تشخیص ابر و برف را کاهش می دهد و دقت تشخیص مدل را بهبود می بخشد. این ماژول اصلاحی است که بر روی لایه L1 ResNet18 در جدول 2 انجام شده است. ما نسخه اصلی را تغییر دادیم 7×7کانولوشن در لایه L1 ResNet18 به یک ماژول استخراج ویژگی کم عمق که شامل دو لایه پیچیدگی قابل تفکیک عمق و یک لایه پیچیدگی عمق ترکیبی است.
کانولوشن قابل تفکیک عمقی یک عملیات پیچشی رایج در مدل های شبکه سبک وزن است [ 29 ]. در مقایسه با عملیات کانولوشن معمولی، مقدار پارامتر و هزینه عملیات آن بسیار کمتر است. کانولوشن جداشدنی عمق، یک عملیات کانولوشن کامل را از طریق کانولوشن کانالی و پیچیدگی نقطه‌ای به دو مرحله تقسیم می‌کند. شکل 3 نمودار شماتیکی از فرآیند کانولوشن کانولوشن قابل تفکیک عمقی است.
در کانولوشن تفکیک پذیر عمق، ابتدا یادگیری ویژگی را بر روی نقشه ویژگی ورودی بدون تغییر تعداد کانال های ویژگی از طریق کانولوشن کانال به کانال انجام می دهیم. برخلاف عملیات کانولوشن معمولی، کانولوشن کانال به کانال، تمام نقشه‌های ویژگی چند بعدی ورودی را به نقشه‌های ویژگی تک کاناله تقسیم می‌کند و سپس کانولوشن تک کانالی را روی آن‌ها جداگانه انجام می‌دهد، به این معنی که یک هسته کانولوشن فقط مسئول است. یک کانال ویژه
پس از اینکه نقشه ویژگی کانال به کانال پیچیده شد، تعداد کانال های نقشه ویژگی جدید تولید شده بدون تغییر باقی می ماند. دو مشکل در این عملیات وجود دارد: اول، نقشه ویژگی پس از پیچیدگی تک کاناله فقط می تواند اطلاعات معنایی محلی کانال را یاد بگیرد. دوم، کانولوشن کانال به کانال، پیچیدگی مستقلی را در هر کانال از لایه ورودی انجام می دهد. از نظر عملیاتی، اطلاعات معنایی در یک مکان مکانی اما در کانال های ویژگی های مختلف نمی توانند با یکدیگر همبستگی داشته باشند و اطلاعات مکانی بین آنها نمی تواند به طور موثر مورد استفاده قرار گیرد. بنابراین، پیچیدگی قابل تفکیک عمق نیازمند مرحله دوم است. یعنی عملیات پیچیدگی نقطه به نقطه. 1×1×م، که در آن M تعداد کانال های لایه قبلی است. از طریق 1×1×مهسته کانولوشن، کانولوشن قابل تفکیک عمق، ترکیب ویژگی نقشه ویژگی خروجی را در پیچیدگی کانال به کانال کامل می کند. در عین حال، این عملیات تعداد کانال های ویژگی خروجی را نیز تغییر می دهد. اگر n هسته کانولوشن در پیچیدگی نقطه به نقطه وجود داشته باشد، نقشه ویژگی خروجی دارای n کانال است.
در مرحله بعد، نوع دوم کانولوشن را در ماژول استخراج ویژگی های کم عمق، پیچیدگی عمیق ترکیبی [ 30 ] معرفی می کنیم.]. هدف این کانولوشن ترکیب کردن هسته‌های کانولوشن با اندازه‌های مختلف در یک عملیات کانولوشن است تا بتوان از میدان‌های گیرنده با اندازه‌های مختلف برای ثبت ویژگی‌های معنایی کم‌عمق‌تر استفاده کرد. نقش کانولوشن عمیق هیبریدی در وظیفه تشخیص ابر و برف شبیه به ماژول همجوشی چند مقیاسی است که قبلاً معرفی شد. ما از ماژول فیوژن چند مقیاسی برای استخراج ویژگی‌های چند مقیاسی از مجموعه داده‌های ابر و برف استفاده کردیم. این ماژول ویژگی های میدان گیرنده چند مقیاسی را می آموزد و اطلاعات معنایی کم عمق غنی را ارائه می دهد. آزمایش فرسایش نشان می‌دهد که این ماژول می‌تواند دقت وظایف تشخیص ابر و برف را بهبود بخشد و امکان یادگیری ویژگی‌های چند مقیاسی در وظایف تشخیص ابر و برف را اثبات می‌کند. در مقایسه با ماژول فیوژن چند مقیاسی که قبلا طراحی کردیم،شکل 4 ساختار پیچش عمق هیبریدی را نشان می دهد. DW در شکل نشان دهنده پیچیدگی کانال به کانال است.
پیچیدگی عمق ترکیبی ابتدا نقشه ویژگی را بر اساس کانال به چند گروه تقسیم می کند. به طور کلی، نقشه ویژگی به 1-5 گروه تقسیم می شود. در این مقاله نقشه های ویژگی به چهار گروه تقسیم می شوند. پس از تقسیم به گروه ها، برای انجام کانولوشن باید از اندازه های مختلفی از هسته های کانولوشن برای هر گروه استفاده کنیم که در آن از کانولوشن کانال به کانال استفاده می کنیم. برای اندازه هر گروه از هسته های کانولوشن، اندازه هسته کانولوشن را به ترتیب به روشی تنظیم می کنیم (2من+1)×(2من+1)، i تعداد هر گروه را نشان می دهد. از آنجایی که نقشه های ویژگی به چهار گروه تقسیم می شوند، i از یک در گروه اول به چهار در گروه چهارم افزایش می یابد. در مورد تقسیم کانال های هسته کانولوشن، دو روش تقسیم وجود دارد. نوع اول تقسیم مساوی است. یعنی تعداد کانال های هر گروه از هسته های کانولوشن یکسان است. نوع دوم با توان تقسیم می شود. برای اولین من-1گروه، تعداد کانال ها در هر گروه حساب می شود 2-مناز تعداد کل کانال ها تعداد کانال های گروه آخر، کانال های باقی مانده است. در مدل موجود در این مقاله، روش تقسیم بر شاخص انتخاب شده است. پس از انجام عملیات فوق، این کانال ها را به هم متصل کردیم تا عملیات کانولوشن عمق هیبریدی تکمیل شود.
در ماژول استخراج ویژگی های کم عمق در این مقاله، لایه اول کانولوشن قابل تفکیک عمقی است که در آن اندازه هسته کانولوشن برای کانولوشن کانال به کانال است. 3×3، و اندازه هسته کانولوشن برای کانولوشن نقطه به نقطه است 1×1×32. به این ترتیب تعداد پارامترهای دخیل در پیچیدگی در این لایه است 4×3×3+4×32=164. لایه دوم هنوز کانولوشن قابل تفکیک عمقی است، اما اندازه هسته کانولوشن کانولوشن از نظر کانال تبدیل می شود 5×5، و اندازه هسته کانولوشن کانولوشن نقطه ای می شود 1×1×64. به این ترتیب تعداد پارامترهای دخیل در پیچیدگی در این لایه است 32×5×5+32×64=2848. دو لایه کانولوشن بالا همان هستند 7×7میدان گیرنده در محدوده میدان پذیرا. لایه سوم پیچش عمقی هیبریدی است. 64 کانال لایه دوم را با توجه به شاخص به 32، 16، 8 و 8 تقسیم می کنیم. اندازه هسته کانولوشن مربوطه است 3×3، 5×5، 7×7، و 9×9. برای تعداد پارامترهای درگیر در این لایه پیچیدگی، وجود دارد 3×3×32+5×5×16+7×7×8+9×9×8=1728. به طور خلاصه، تعداد پارامترهای ماژول استخراج ویژگی کم عمق است 164+2848+1728=4740. برای لایه L1 ResNet18، ما داریم 4×7×7×64=12،544مولفه های. تعداد پارامترهای ماژول استخراج ویژگی های کم عمق شبکه توجه نقشه ویژگی های سبک وزن کمتر از پارامترهای L1لایه ResNet18.
بعد از اصل 7×7لایه کانولوشن ResNet18، نویسنده تابع فعال سازی ReLU را اضافه کرده است. همانطور که در شکل 5 نشان داده شده است، نقشه ویژگی را پس از عملیات تابع فعال سازی تجسم می کنیم . از این گروه از تصاویر می توان دریافت که نقشه ویژگی پس از فعال سازی ReLU ضرر زیادی دارد. اگر تابع فعال سازی در استخراج ویژگی های کم عمق مدل اضافه شود، برای یادگیری ویژگی بعدی مفید نخواهد بود.
این پدیده توسط ماهیت ReLU تعیین می شود. اگر اطلاعات ویژگی ورودی مثبت باشد، ویژگی خروجی فعال شده توسط ReLU مقدار ورودی بازیابی شده است. در این صورت می توانیم آن را به عنوان یک تبدیل خطی درک کنیم. اما اگر اطلاعات ویژگی ورودی منفی باشد، اطلاعات ویژگی کانال پاک می شود که اطلاعات ویژگی را از دست می دهد. در ماژول استخراج ویژگی های کم عمق در این بخش، ما تابع فعال سازی ReLU را پس از پیچیدگی سه لایه انتخاب نکردیم، بلکه نرمال سازی دسته ای و عملکرد فعال سازی Leaky ReLU را اضافه کردیم. خروجی این تابع دارای شیب کمی برای ورودی منفی است. در این مقاله تنظیم شده است آ=0.01، به طوری که خروجی تمایل دارد به جای پاک شدن در ناحیه منفی فعال شود.

2.4. ماژول نقشه برداری ویژگی ذاتی

در یک مدل شبکه عصبی کانولوشنال عالی، برای اطمینان از درک جامع داده‌های ورودی، حاوی نقشه‌های ویژگی غنی و حتی اضافی خواهد بود [ 31 ]. این نقشه‌های ویژگی از معماری شبکه شبکه عصبی کانولوشن پشتیبانی می‌کنند و بخشی ضروری از مدل شبکه هستند. در کار تشخیص ابر و برف، نقشه ویژگی را تجسم می کنیم L1لایه در ساختار ResNet18، همانطور که در شکل 6 نشان داده شده است. برای سهولت مقایسه، آن را در قالب یک نقشه حرارتی ارائه می کنیم. از این مجموعه از نقشه های حرارتی، می بینیم که برای 64 نقشه ویژگی در این لایه کانولوشن، برخی از نقشه های حرارتی جزئیات مشابهی دارند. برای این نقشه‌های ویژگی مشابه، می‌توان فهمید که آنها از طریق نوعی تبدیل خطی یا غیرخطی شکل گرفته‌اند. به عنوان مثال، در یک موقعیت ایده آل، نقشه های ویژگی یک لایه خاص، همه ویژگی های لبه یادگیری هستند. اطلاعات لبه افقی، اطلاعات لبه چپ، اطلاعات لبه سمت راست و غیره وجود دارد. این نقشه های ویژگی همگی می توانند پس از تبدیل از یک نقشه ویژگی عبور کنند.
در همین حال، برای نقشه‌های ویژگی‌های اضافی در شبکه، به جای اینکه مغزمان را برای یافتن راه‌هایی برای جلوگیری از ویژگی‌های زائد تحت فشار قرار دهیم، ممکن است از طریق یک محاسبه ارزان، این ویژگی‌های مشابه را از نقشه‌های ویژگی‌های موجود ترسیم کنیم. به این ترتیب بدون تغییر تعداد نقشه های ویژگی خروجی، تعداد پارامترها و محاسبات شبکه نیز کاهش می یابد. این ایده اصلی ماژول نگاشت ویژگی داخلی است. ماژول نگاشت ویژگی ذاتی این مقاله در شکل 7 نشان داده شده است . این ماژول از دو مرحله برای به دست آوردن همان تعداد نقشه ویژگی مانند کانولوشن معمولی استفاده می کند.

در پیچیدگی سنتی، برای یک ورودی داده شده ساعت×w×ج، c تعداد کانال ها است، h و w به ترتیب ارتفاع و عرض نقشه ویژگی ورودی هستند، زمانی که اندازه هسته کانولوشن برابر است. ک×ک×ج. وقتی n هسته کانولوشن وجود دارد، اندازه نقشه ویژگی خروجی است ساعت”×w”×n. سپس عملیات پیچیدگی این لایه را می توان به صورت زیر بیان کرد:

Y=ایکس∗f+ب

که در آن ∗ یک عملیات کانولوشن را نشان می دهد، X نشان دهنده یک نقشه ویژگی ورودی است، f∈آرج×ک×ک×nنشان دهنده یک هسته کانولوشن در لایه، b نشان دهنده یک جمله انحراف و Y∈آرساعت”×w”×nیک نقشه ویژگی خروجی از n کانال را نشان می دهد.

در ماژول نگاشت ویژگی های داخلی، اولین قدم ما انجام عملیات کانولوشن منظم است، اما تعداد هسته های کانولوشن به شدت تنظیم می شود. در مرحله اول، ما فقط m نقشه ویژگی اصلی را برای عملیات کانولوشن معمولی استخراج می کنیم و m در این مرحله به نصف هسته کانولوشن معمولی تنظیم می شود، یعنی:

Y”=ایکس∗f”+ب
در میان آنها، f”∈آرج×ک×ک×مترهسته های کانولوشن m هستند که توسط ماژول استفاده می شود. در این لایه کانولوشن، فراپارامترهایی مانند اندازه هسته کانولوشن و طول گام مانند کانولوشن معمولی است. تنها تفاوت در تعداد m هسته های کانولوشن است. به عنوان مثال، 64 هسته کانولوشن معمولاً در شبکه استفاده می شود. ما در اینجا از 32 استفاده می کنیم.

پس از ایجاد نقشه ویژگی اصلی، برای اینکه مانند کانولوشن معمولی باشد، باید نقشه های ویژگی m دیگری را بدست آوریم. در مرحله بعد، مرحله دوم را از طریق محاسبات خطی یا غیرخطی ارزان انجام می دهیم: نقشه برداری برای تولید نیمه باقی مانده از نقشه ویژگی، شکل 7 . ϕ1و ϕکنشان دهنده مرحله دوم ماژول نگاشت ویژگی ذاتی است. ما از یک سری عملیات خطی یا غیر خطی ارزان قیمت روی هر ویژگی اصلی استفاده می کنیم Y”. در تئوری، هر ویژگی اصلی را می توان برای تولید نقشه های ویژگی جدید نگاشت:

yمنj=ϕمن،j(yمن”)،∀من=1،…،متر،j=1،…،س
در میان آنها، yمن”نشان دهنده i- امین نقشه ویژگی اصلی است Y”، کارکرد ϕمن،jنشان دهنده تابع خطی یا غیرخطی است که برای نگاشت برای تولید j- امین نقشه ویژگی جدید استفاده می شود و s نشان دهنده تعداد دفعاتی است که نقشه ویژگی اصلی به صورت خطی نگاشت شده است. به عبارت دیگر، یک یا چند نقشه ویژگی را می توان به صورت نظری ترسیم کرد. با استفاده از عملیات ارزان قیمت می توانیم تا متر×سنقشه های ویژگی جدید y11y12⋯yمترج. عملیات ارزان در اینجا می تواند از تبدیل افین، تبدیل موجک، تبدیل نمایی و غیره استفاده کند، اما این عملیات برای تکمیل تبدیل چند ویژگی بسیار منفرد و دشوار است. در نهایت ما انتخاب کردیم 3×3پیچیدگی کانال به کانال، زیرا عملیات پیچیدگی شامل بسیاری از عملیات خطی مانند صاف کردن، محو کردن و حرکت است. به این ترتیب، اطمینان از مطابقت نقشه ویژگی اصلی با نقشه برداری برای ایجاد یک نقشه ویژگی جدید، شهودی تر است. پس از انجام عملیات فوق، نقشه های ویژگی تولید شده در مرحله اول و دوم را به عنوان نقشه ویژگی خروجی ماژول نگاشت ویژگی داخلی به هم متصل می کنیم. نقشه ویژگی خروجی شامل m نقشه ویژگی اصلی و mنقشه های ویژگی تولید شده توسط نگاشت ویژگی. مشاهده می‌شود که نقشه‌های ویژگی خروجی به‌دست‌آمده توسط ماژول نگاشت ویژگی ذاتی به اندازه مواردی است که توسط کانولوشن معمولی به دست می‌آید، اما مقدار پارامترها کمتر از کانولوشن معمولی است و مقرون به صرفه و کارآمد است.

2.5. مکانیسم توجه تطبیقی ​​سبک وزن

ما مکانیسم توجه با وزن بالا، همراه با شبکه ستون فقرات متصل به متراکم را برای کاهش تشخیص کاذب نمونه‌های ابر و برف در شبکه‌های عصبی کانولوشن معرفی می‌کنیم. نتایج تجربی نشان می‌دهد که این مکانیسم می‌تواند توانایی تمایز مدل تشخیص ابر و برف را بهبود بخشد و افزودن این ماژول می‌تواند به دقت بالاتری دست یابد که برای وظیفه تشخیص ابر و برف اهمیت زیادی دارد. هنگام یادگیری وزن هر کانال ویژگی، مکانیسم توجه با وزن بالا از دو لایه اتصال کامل استفاده می کند و اولین لایه اتصال کامل شامل ساخت ضریب مقیاس و تابع فعال سازی است. اگرچه این پیکربندی می‌تواند به غیر خطی بودن بیشتری دست یابد و در نتیجه همبستگی بین کانال‌ها را بهتر تطبیق دهد.32 ].
بر اساس مکانیسم توجه با وزن بالا، این مقاله ساختار مدل را در مکانیسم توجه بهینه می‌کند، پارامترها را کاهش می‌دهد و یک مکانیسم توجه تطبیقی ​​سبک وزن را پیشنهاد می‌کند که نمودار ساختار آن همانطور که در شکل 8 نشان داده شده است. این مکانیسم توجه کانال را از طریق پیچش یک بعدی ایجاد می کند به طوری که یک تناظر مستقیم بین کانال و وزن آن وجود دارد. کانال ویژگی های وزن دهی مجدد برای یادگیری ویژگی های بعدی اهمیت راهبری دارد. برای کل مدل، می تواند پدیده تشخیص نادرست را در وظیفه تشخیص ابر و برف کاهش دهد.

در مکانیسم توجه تطبیقی ​​سبک وزن، برای نقشه مشخصه ورودی U ، اندازه است اچ×w×سی. ما همچنان عملیات میانگین گیری را در هر کانال به طور مستقل انجام می دهیم. یعنی نقشه ویژگی دو بعدی را یک بعدی کنیم. از طریق این عملیات، هر کانال ویژگی به یک عدد واقعی تبدیل می شود. هدف از این نیز مشخص کردن میدان پذیرای جهانی نقشه ویژگی مربوطه آن است (ساعت×w)تا حدی فرمول به شرح زیر است:

زج=افجیآپ(ایکسج)=1w×ساعت∑من=1w∑j=1ساعتایکسج(من،j)

جایی که ایکسجنقشه ویژگی c را در ورودی U نشان می دهد. zجخروجی کانال c را نشان می دهد. پس از اعمال فرمول بالا به نوبت به هر کانال، اندازه نقشه ویژگی خروجی می شود 1×1×سی. پس از آن، به جای یادگیری رابطه بین کانال ها از طریق لایه کاملاً متصل، ماتریس وزن متقابل کانال را می سازیم. آموزش مجدد وزن های ویژگی کانال تکمیل شد. دبلیوکشکل بیان ماتریس وزن متقابل کانال در فرمول ( 5 ) نشان داده شده است. یعنی در ماتریس وزن متقابل، اقلام 1 تا k در ردیف اول موارد غیر صفر هستند و بقیه موارد همگی صفر هستند. در ردیف 2، ترم های 2 تا ک+1غیر صفر، بقیه صفر هستند، و غیره. ماتریس وزن متقابل کانال برای به تصویر کشیدن روابط متقابل بین کانال های ویژگی استفاده می شود، جایی که k نشان دهنده محدوده تأثیر تعاملات متقابل کانال است. این ضریب را می توان به این صورت درک کرد: هنگام محاسبه اهمیت یک کانال، k کانال مجاور وجود خواهد داشت تا با ماتریس وزن متقابل کانال ضرب شود، به این معنی که فقط این کانال های همسایه K در پیش بینی توجه کانال شرکت می کنند. از منظر تعداد پارامترها، در مقایسه با روش یادگیری وزن‌ها با دو لایه کاملاً متصل، ماتریس وزن متقابل فقط شامل ک×جمولفه های.

w1،1⋯w1،ک00⋯⋯00w2،2⋯w2،ک+10⋯⋯0⋮⋮⋮⋮⋱⋮⋮⋮0⋯00⋯wج،ج-ک+1⋯wج،ج

علاوه بر این، وزن توجه کانال c در نقشه ویژگی U را می توان به صورت زیر بیان کرد:

wج=افساعت(w،z)=∑j=1کwجjzجj،zجj∈Ωجک

میان اینها، wجjنشان دهنده یک ضریب ماتریس وزن متقابل کانال مربوط به کانال است، Ωجکبیان می کند zج، مجموعه ای متناظر از k کانال مشخصه مجاور، wجوزن مربوطه را نشان می دهد که توسط کانال ویژگی cth آموخته می شود و دبلیوج= w1w2⋯wجبه منظور کاهش بیشتر پارامترها و اطمینان از اینکه وزن هر کانال و k کانال همسایه آن می تواند همزمان بهینه شود، به همه کانال های ویژگی اجازه می دهیم اطلاعات وزن را به اشتراک بگذارند. (7) به روز شده به:

wج=افساعت(w،z)=∑j=1کwjzجj،zجj∈Ωجک

در این مرحله، تعداد پارامترهای مکانیسم توجه تطبیقی ​​سبک وزن به k تبدیل می شود . برای فرمول ( 7 )، می‌توانیم این کار را با کانولوشن یک بعدی انجام دهیم. بنابراین، در مکانیسم توجه تطبیقی ​​سبک وزن، در نهایت تبادل اطلاعات بین کانال های ویژگی را از طریق کانولوشن یک بعدی با اندازه هسته کانولوشن k کامل می کنیم و فرمول را می توان به صورت زیر نوشت:

wج=سی1Dک(z)
جایی که سی1Dنشان دهنده یک پیچیدگی یک بعدی است. در اینجا لازم به ذکر است که برای اطمینان از مطابقت یک به یک بین کانال مشخصه و وزن پیش‌بینی توجه آن، عبارت padding در پیچیدگی یک بعدی باید روی آن تنظیم شود. ک/2و به سمت پایین گرد شد ( شکل 9 ). این فرآیند واقعی یادگیری وزن را با پیچیدگی یک بعدی نشان می دهد، زمانی که دامنه تأثیر تعامل متقابل کانال در مکانیسم توجه تطبیقی ​​سبک وزن باشد. ک=5.

محدوده تأثیر k تعامل متقابل کانال – یعنی اندازه هسته پیچش یک بعدی – یک پارامتر مهم مکانیسم توجه تطبیقی ​​سبک وزن است. در مدل های مختلف شبکه عصبی کانولوشن، می توانیم به صورت دستی پارامتر k را برای دستیابی به بهترین پوشش تنظیم کنیم. با این حال، تنظیم دستی از طریق اعتبارسنجی متقابل از نظر محاسباتی گران و زمان بر است. ما می دانیم که هرچه کانال های ویژگی ورودی بیشتر باشد، برهمکنش اطلاعات مکانی بین کانال ها بیشتر است، به این معنی که محدوده تأثیر K تعامل متقابل کانال بیشتر است. به عبارت دیگر، بعد C کانال مشخصه با پارامتر k متناسب است. علاوه بر این، نگاشت خاصی بین بعد C کانال مشخصه و محدوده تأثیر k تعامل متقابل کانال وجود دارد. ϕ(ک):

سی=ϕ(ک)

می دانیم که ساده ترین نگاشت یک تابع خطی است، یعنی ϕ(ک)=γ∗ک-ب. با این حال، رابطه بین ورودی و خروجی که می تواند با تابع خطی مشخص شود، محدود است و پدیده عدم برازش جدی است. علاوه بر این، بعد C کانال مشخصه معمولاً به طور مصنوعی روی توان دو تنظیم می شود. بنابراین از تابع خطی استفاده خواهیم کرد ϕ(ک)=γ∗ک-ب. بسط یک تابع غیر خطی است، یعنی:

سی=ϕ(ک)=2(r∗ک-ب)

سپس با توجه به بعد کانال مشخصه C ، بعد کانال مشخصه را با استفاده از فرمول محاسبه می کنیم. این روش به صورت تطبیقی ​​اندازه هسته k را تعیین می کند :

ک=ψ(سی)=|ورود به سیستم2سیγ+بγ|oدد
میان اینها، |تی|oددنزدیکترین عدد فرد به t را نشان می دهد. در این قسمت، γ=2، ب=1. بدیهی است که با نگاشت غیرخطی ψ(سی)، کانال ویژگی با ابعاد بالا ورودی می تواند با کانال های ویژگی مجاور بیشتری در محدوده وسیع تری تعامل داشته باشد.

پس از انجام این کار، تابع فعال سازی سیگموید را اضافه می کنیم تا وزن نرمال شده بین 0 و 1 به دست آید. اما به دلیل اینکه وزن کانال های مشخصه نرمال شده بین 0 و 1 است، همبستگی و تفاوت رابطه بین برخی از کانال های مشخصه مشخص نیست. . بنابراین، وزن‌های آموخته‌شده از طریق کانولوشن یک‌بعدی را بیشتر تقویت می‌کنیم تا ویژگی‌های خود کانال را برجسته کنیم. در فرمول ( 12 )، n ضریب تقویت وزن است. به عنوان مثال، n 10 است، یعنی فاصله وزنی 0 تا 10 است، که وزن مهم را مهم تر می کند و فرمول این است:

افw=n·σ(دبلیوج)

علاوه بر این، σنشان دهنده فعال بودن سیگموئید است. در نهایت، این وزن با ویژگی های هر کانال به شرح زیر وزن می شود:

U”=افw·U
سرکوب یا افزایش وزن کانال ویژگی از طریق عملیات فوق تکمیل می شود، در نتیجه قابلیت تشخیص کلی مدل تشخیص ابر و برف بهبود می یابد.

2.6. مقدمه ای بر مجموعه داده

مجموعه داده‌ها در این مقاله چهار تصویر سنجش از دور در باند طیفی مرئی هستند که توسط دوربین‌های CCD از ماهواره‌های چینی HJ-1A/1B که به رصد زمین برای نظارت بر محیط‌زیست و بلایا اختصاص داده شده‌اند، گرفته شده‌اند. هر دو HJ-1A و HJ-1B دارای دو دوربین CCD هستند که قادر به تشخیص چند طیفی هستند. تفاوت این است که HJ-1A دارای یک تصویرگر فراطیفی اضافی (HSI) است، در حالی که HJ-1B یک دوربین مادون قرمز (IRS) دارد. جدول 3 پارامترهای خاص باند طیفی مرئی ماهواره را نشان می دهد.
تصاویر در این مقاله به طور تصادفی تصاویر سنجش از دور از مناطق فلات چینگهای-تبت و یوننان-گوئیژو فلات در چین جمع آوری شده است. در مجموعه داده این مقاله، 11000 نمونه ابر ضخیم، ابر نازک و پوشش برفی و 14000 نمونه بدون برف و بدون ابر وجود دارد.

3. نتایج تجربی و تجزیه و تحلیل

تمام مدل‌های این مقاله شبکه‌های عصبی مبتنی بر چارچوب Pytorch تحت سیستم ویندوز هستند. پیکربندی سخت افزاری کامپیوتر عبارت است از: GeForce RTX 2070 8 گیگابایت گرافیک مجزا، 16 گیگابایت حافظه، پردازنده Intel Core i7-8700. دلایل زیر برای تغییر چارچوب وجود دارد. اول اینکه keras به دلیل خود فریم ورک دارای کپسوله سازی نسبتاً پیشرفته ای است و نمی تواند جزئیات آموزش را تغییر دهد، بنابراین برای تحقیق الگوریتم مناسب نیست. دوم، در حال حاضر، بسیاری از محققان پس از مقایسه عملکرد فریمورک‌های مختلف از طریق آزمایش، دریافته‌اند که سرعت و دقت آموزش Pytorch بهتر از Keras است.
در تجزیه و تحلیل نتایج تجربی در این مقاله، ابتدا از دقت و شاخص کاپا برای تحلیل کمی عملکرد شبکه‌های مختلف در وظایف تشخیص ابر و برف استفاده می‌کنیم. دقت و شاخص کاپا شش شبکه عصبی کانولوشنال و هشت شبکه سبک وزن در وظایف تشخیص ابر و برف در جدول 4 آمده است. از جدول 4 ، می بینیم که در مدل شبکه عصبی کانولوشن، ResNeXT18 [ 33 ]، دقت آزمون و شاخص کاپا کمترین، به ترتیب 30/89 و 68/85 درصد بود (Xception) [ 34 ].]. دقت آزمون و شاخص کاپا با 93.40 درصد و 91.18 درصد بالاترین میزان را داشتند. با این حال، در مقایسه با دقت تست و شاخص کاپا شبکه توجه نقشه برداری ویژگی های سبک وزن، به ترتیب 1.62٪ و 2.16٪ کمتر است.
ما مدل سبک وزن جریان اصلی فعلی را برای تشخیص ابر و برف اعمال می کنیم و نتایج تجربی را دریافت می کنیم. در شبکه های سبک وزن، SqueezeNet [ 35 ] را داریم. دقت تست و شاخص کاپا کمترین است: دقت تست 88.55٪ و شاخص کاپا 84.68٪ است. به دنبال آن EfficientNet [ 36 ] آمده است. دقت تست آن 91.28 درصد و شاخص کاپا آن 88.33 درصد است. دقت تست سایر مدل های سبک وزن بیش از 92 درصد و شاخص کاپا بیش از 89 درصد است. در این مدل های شبکه سبک وزن، برای وظیفه تشخیص ابر و برف، MobileNet V2 [ 37]، دقت آزمون و شاخص کاپا به ترتیب 26/94 درصد و 31/92 درصد است. با این حال، در مقایسه با شبکه توجه نقشه برداری ویژگی های سبک وزن که ما طراحی کردیم، هنوز شکاف خاصی وجود دارد. دقت آزمون شبکه توجه نقشه برداری ویژگی های سبک وزن 95.02 درصد و شاخص کاپا 93.34 درصد است که هر دو بالاترین در بین تمام مدل های تشخیص ابر و برف در این مقاله هستند.
در مرحله بعد، ما از سه شاخص دقت، یادآوری و امتیاز F1 برای تجزیه و تحلیل بیشتر چهار نوع نمونه در هر مدل استفاده می‌کنیم: بدون برف، بدون ابر، ابر نازک، و ابر و برف ضخیم. نتایج تجربی مربوطه در جدول 5 و جدول 6 نشان داده شده است . بیشترین مقدار هر شاخص در چهار دسته نمونه با فونت پررنگ نشان داده شده است.
از طریق داده‌های این سه شاخص، متوجه می‌شویم که در نمونه‌های بدون برف و بدون ابر، میزان دقت مدل Res2Net [ 38 ] در بین همه مدل‌ها با 98.97 درصد بالاترین و میزان دقت مدل سبک وزن است. شبکه توجه نقشه برداری ویژگی 98.31٪ است. در میان نمونه های ابر نازک، مدل با بالاترین میزان دقت، ShuffleNet V1 [ 39 ] است. میزان دقت شبکه توجه نقشه برداری ویژگی های سبک وزن 0.3 درصد کمتر است. در مدل ShuffleNetV2 [ 40]، نرخ فراخوان نمونه ابر ضخیم در همه مدل‌ها با 93.72% بالاترین است. دقت نمونه برف نیز با 94.09 درصد بالاترین میزان است. برای شاخص ارزیابی طبقه بندی جامع امتیاز F1، شبکه توجه نقشه برداری ویژگی های سبک وزن نسبت به سایر شبکه ها در ابر نازک، ابر ضخیم، نمونه های برف برتری دارد و امتیاز F1 بدون برف و بدون ابر با آن تفاوت بسیار کمی دارد. از Xception. علاوه بر این، ما متوجه شدیم که اگرچه دقت تست و شاخص کاپا MobileNet V2 تنها پس از شبکه توجه نقشه برداری ویژگی های سبک وزن دوم است، اما سه شاخص آن برجسته نیستند. به طور خلاصه، برای وظایف تشخیص ابر و برف، عملکرد طبقه بندی شبکه توجه نقشه برداری ویژگی های سبک وزن بهتر از سایر شبکه ها است.
در مرحله بعد، ما اثر تعمیم تشخیص ابر و برف را برای مدل های مختلف ارائه می دهیم ( شکل 10 ). در این مقاله، یک تصویر ابر ماهواره‌ای از ناحیه فلات با پیچیدگی بالا و صحنه‌های تداخل زیاد انتخاب می‌کنیم و شبکه توجه نقشه‌برداری ویژگی سبک وزن را با شبکه عصبی کانولوشنال محبوب مقایسه می‌کنیم. شکل 10 الف یک تصویر ابر ماهواره ای است. شکل 10 ب اثر تعمیم شناخت ابر و برف Res2Net18 را نشان می دهد. شبکه بلوک باقیمانده اصلی را با اتصال باقیمانده های سلسله مراتبی در بلوک باقیمانده و افزایش دامنه میدان پذیرنده سلسله مراتبی بهبود می بخشد. 3×3پیچیدگی شکل 10c برای اثر تعمیم Vgg16، شبکه یک شبکه عصبی کانولوشنال 16 لایه را با استفاده از یک 3×3هسته کانولوشن و حداکثر عملیات ادغام. شکل 10d برای اثر تعمیم تشخیص ابر و برف InceptionV3، شبکه یک بهینه ساز RMSProp و هموارسازی برچسب بر اساس InceptionV2 را اضافه می کند. شکل 10 e برای اثر تعمیم Xception، مدل پیچیدگی در Inception v3 را به پیچیدگی قابل تفکیک عمقی تغییر می‌دهد و اتصال باقی‌مانده را اضافه می‌کند. شکل 10 و اثر تعمیم تشخیص ابر و برف برای یک شبکه توجه نقشه برداری ویژگی سبک وزن.
از این مجموعه از نتایج تعمیم، می توانیم ببینیم که اثر تعمیم Res2Net18 و Vgg16 برای منطقه برفی در گوشه سمت راست بالای تصویر ابر ماهواره ای بدترین است. در نقشه های تعمیم دو مدل، منطقه به طور گسترده به عنوان ابرهای متراکم به اشتباه تشخیص داده شد. InceptionV3 و Xception تشخیص های غلط نسبتا کمی دارند و شبکه توجه نقشه برداری ویژگی های سبک وزن کمترین تشخیص نادرست را دارد. در گوشه پایین سمت چپ تصویر ماهواره‌ای، برای این ناحیه، قابلیت تعمیم شبکه توجه نقشه‌برداری ویژگی سبک‌وزن قوی‌ترین است و سایر مدل‌ها دارای پدیده جدی تشخیص مفقود هستند. برای اطلاعات تداخل دریاچه ها و دریاچه های نمک، مدل طراحی شده در این مقاله نیز از تشخیص خوبی برخوردار است و آنها را در زمره نمونه های بدون برف و ابر طبقه بندی می کند.
علاوه بر این، ما نمودار اثر تعمیم شبکه توجه نگاشت ویژگی سبک وزن را با مدل سبک وزن مقایسه می کنیم، همانطور که در شکل 11 نشان داده شده است. نقشه اثر تعمیم ابر و برف SqueeeNet از طریق تجمع ماژول های Fire شکل می گیرد. ماژول دارای دو لایه است. لایه اول از a عبور می کند 1×1کانال فشرده سازی کانولوشن، و لایه دوم از آن عبور می کند 1×1و 3×3کانال های گسترش کانولوشنال شکل 11 ج، برای نقشه اثر تعمیم ابر و برف EfficientNet، یک روش مقیاس بندی اندازه شبکه جدید پیشنهاد شده است و ساختار شبکه بهینه از طریق NAS جستجو می شود. شکل 11 d نقشه اثر تعمیم ابر و برف ShuffleNetV2 است. شبکه کانال را به دو شاخه تقسیم می کند. یک شاخه همان نگاشت را انجام می دهد و شاخه دیگر شامل سه کانولوشن است. پس از تکمیل دو عملیات انشعاب، نقشه های ویژگی به دست آمده توسط آنها به صورت سری به هم متصل می شوند. شکل 11 e نقشه اثر تعمیم ابر و برف MobileNet V2 است. این شبکه از پیچیدگی قابل تفکیک عمقی استفاده می‌کند و بلوک‌های باقیمانده معکوس را با ساختار گلوگاه پیشنهاد می‌کند. شکل 11f نقشه اثر تعمیم ابر و برف شبکه توجه نقشه برداری ویژگی های سبک وزن است. در این مجموعه از نتایج تعمیم، می‌توانیم ببینیم که در پایین سمت چپ تصویر ابر ماهواره‌ای منطقه فلات، ناحیه بزرگی از ابرهای ضخیم وجود دارد، اما در SqueeeNet، EfficientNet و ShuffleNetV2 تشخیص‌های نادرست زیادی وجود دارد. برخی از مناطق این مدل‌ها به اشتباه به‌عنوان برف شناسایی می‌شوند و در نتیجه اثر تعمیم ضعیفی در این منطقه ایجاد می‌شود. شبکه توجه نگاشت ویژگی سبک وزن، تشخیص نادرست کمتری در این ناحیه دارد، بنابراین اثر تعمیم تشخیص در این ناحیه بهترین است. برای اثر تعمیم کل نمودار، می‌توانیم در مقایسه با چهار مدل سبک وزن دیگر، در نمودار تعمیم شبکه توجه نقشه‌برداری ویژگی سبک وزن، دریابیم که
به منظور اطمینان از سختی آزمایش، ما همچنین مجموعه ای از نقشه های اثر تعمیم شبکه توجه نقشه برداری ویژگی های سبک وزن و سایر مدل های سبک وزن را ارائه می دهیم، مانند آنچه در شکل 12 نشان داده شده است.. از این مجموعه نقشه‌های تعمیم، می‌توان دید که مناطق بزرگی از ابرهای متراکم در گوشه سمت راست بالا و گوشه سمت راست پایین تصاویر ابر ماهواره‌ای وجود دارد و در مقایسه با چهار شبکه سبک وزن دیگر، مدل شبکه توجه نقشه‌برداری ویژگی سبک وزن به آن دست می‌یابد. بهترین اثر تعمیم در این زمینه ها. از اثر تعمیم کلی، نتیجه تعمیم SqueezeNet بدترین است و تعداد زیادی از ابرهای متراکم از دست رفته است. قابلیت تعمیم شبکه توجه نقشه برداری ویژگی های سبک وزن قوی ترین است و تشخیص جزئیات در تصاویر ابری ماهواره ای نیز بهترین است که می تواند ظرافت ها را بهتر تعمیم دهد.
در مرحله بعد، اندازه مدل و پیچیدگی شبکه توجه نقشه برداری ویژگی های سبک وزن و سایر شبکه های عصبی کانولوشنال را تجزیه و تحلیل می کنیم. تعداد پارامترها، مقدار محاسبه ممیز شناور و زمان آزمون برای هر مدل در جدول 7 نشان داده شده است.
از جدول 7می بینیم که شبکه توجه نگاشت ویژگی های سبک وزن دارای کمترین تعداد پارامتر است، تنها 5.617 M و پس از آن EfficientNet که دارای 8.413 M است. مدل با بیشترین تعداد پارامتر ResNeXT18 است و تعداد پارامترهای آن به 25.110 M می رسد. از نظر محاسبه ممیز شناور، مدل inceptionv3 دارای بالاترین پیچیدگی 2.513 G و مدل EfficientNet کمترین پیچیدگی را دارد. محاسبه ممیز شناور 0.018 G است. محاسبه ممیز شناور شبکه توجه نگاشت ویژگی سبک وزن 0.234 G است و پیچیدگی مدل در موقعیت متوسط ​​در بین هفت شبکه قرار دارد. در زمان تست، شبکه توجه نقشه برداری ویژگی های سبک وزن کمترین زمان را صرف می کند، تنها 2.276 ثانیه، و Inceptionv3 بیشترین زمان، 10.294 ثانیه را می گیرد. ترکیب سه شاخص،
در نهایت، برای شبکه توجه نقشه برداری ویژگی سبک وزن پیشنهاد شده در این مقاله، ما به طور خاص نتایج طبقه بندی را در وظیفه تشخیص ابر و برف تجزیه و تحلیل می کنیم. جدول 8 ماتریس سردرگمی شبکه توجه را برای ویژگی سبک وزن ترسیم می کند.
از جدول 8، می بینیم که نمونه های بدون برف و بدون ابر کمترین احتمال اشتباه را دارند و به دنبال آن نمونه های ابر نازک قرار دارند. برای نمونه های برف، دقت نقشه برداری 90.40 درصد است که کمترین میزان در بین چهار نوع نمونه است. تعداد واقعی نمونه های برف 2197 است، تعداد نمونه های صحیح پیش بینی شده توسط شبکه توجه نقشه برداری ویژگی های سبک وزن 1986 است و 195 نمونه به اشتباه به عنوان ابرهای ضخیم شناسایی شده اند. برای نمونه های ابر متراکم، دقت نقشه برداری 93.28٪ است. از بین 2246 نمونه ابر متراکم واقعی، 2095 نمونه به درستی توسط مدل در این بخش پیش‌بینی شده است و 119 نمونه به اشتباه به عنوان برف شناسایی شده‌اند. این دو مجموعه از داده های نمونه نشان می دهد که به دلیل شباهت اطلاعات طیفی بین ابرهای متراکم و برف، تشخیص کاذب رخ خواهد داد.

4. خلاصه

در این مطالعه، یک شبکه توجه نقشه برداری ویژگی سبک وزن (Lw-fmaNet) برای وظایف تشخیص برف ابری کارآمد و دقیق پیشنهاد شده است. شبکه پیشنهادی ما از معماری شبکه ResNet18 اقتباس شده است، از جمله یک ماژول استخراج ویژگی کم عمق، یک ماژول نگاشت ویژگی های ویژه، و یک مکانیسم توجه تطبیقی ​​سبک وزن. ماژول استخراج ویژگی کم عمق شامل دو لایه کانولوشن قابل تفکیک عمق و یک لایه پیچش عمقی مختلط است که با هدف استخراج میدان های ادراکی بیشتر و کاهش وقوع تشخیص از دست رفته می باشد. سپس در ماژول نگاشت ویژگی ذاتی، همبستگی و افزونگی بین نقشه‌های ویژگی ابر و برف در نظر گرفته می‌شود، بنابراین تعداد کمی از نقشه‌های ویژگی ضروری ابتدا توسط کانولوشن تولید می‌شوند و سپس نقشه‌های ویژگی جدید با محاسبات ارزان قیمت تولید می‌شوند. کاهش تعداد پارامترها و محاسبات برای دستیابی به راندمان بالا و وزن سبک. پس از ماژول نقشه برداری ویژگی ذاتی، یک مکانیسم توجه تطبیقی ​​سبک وزن معرفی شده است. این مکانیسم قادر است از طریق کانولوشن سریع یک بعدی، توجه کانال را ایجاد کند، به طوری که با هدف کاهش پدیده تشخیص نادرست در تشخیص ابر و برف، مطابقت مستقیمی بین کانال و وزن آن وجود دارد. علاوه بر این، اندازه هسته پیچیدگی 1 بعدی در این مکانیسم، یعنی محدوده تأثیر برهمکنش های متقابل کانال، می تواند به طور تطبیقی ​​با نگاشت غیرخطی اندازه کانال، بدون نیاز به تنظیم دستی پارامترها، تعیین شود. در آزمایشات این مقاله، روش در این مقاله می تواند دقت و توانایی تعمیم شناسایی برف ابری را تضمین کند و در عین حال تعداد پارامترهای شبکه و تلاش محاسباتی را کاهش دهد. علاوه بر این، شبکه توجه نقشه ویژگی سبک وزن پیشنهادی ما عملکرد بهتری در انجام وظایف تشخیص برف ابری در مقایسه با شبکه‌های عصبی کانولوشنال و شبکه‌های سبک وزنی دارد که معمولاً برای تشخیص برف ابری استفاده می‌شوند.
با این حال، هنوز هم کاستی هایی وجود دارد.
(1) در این مقاله، اهداف شناسایی ابرهای ضخیم، ابرهای نازک، پوشش برف و بدون برف و بدون ابر هستند، اما در کاربرد عملی در مناطق مرتفع واقعی، تأثیر شرایط زمین، مانند دریاچه‌ها و رودخانه‌ها، نیاز دارد. باید در نظر گرفته شود، بنابراین باید در مطالعه تحقیقاتی بعدی، دسته های بیشتری از مجموعه داده ها اضافه شود.
(2) ماتریس سردرگمی در مقاله نشان می‌دهد که پدیده تشخیص نادرست هنوز وجود دارد، بنابراین علاوه بر توسعه سخت‌افزار رایانه‌ای جدید، مدل‌های شبکه بهینه‌تر و پیشرفته‌تر باید طراحی شوند تا بتوانند وظیفه تشخیص نقشه ابری را بیشتر انجام دهند.

منابع

  1. Qu، Y. شیا، م. ژانگ، Y. شبکه توجه فضایی کانال ادغام نوار برای تقسیم بندی ابر و سایه ابر. محاسبه کنید. Geosci. 2021 ، 157 ، 104940. [ Google Scholar ] [ CrossRef ]
  2. شیا، م. Qu، Y. Lin, H. PANDA: شبکه نامتقارن موازی با توجه مضاعف برای تشخیص ابر و سایه آن. J. Appl. Remote Sens. 2021 , 15 , 046512. [ Google Scholar ] [ CrossRef ]
  3. چن، بی. شیا، م. کیان، م. Huang, J. MANet: یک شبکه تجمع چند سطحی برای تقسیم بندی معنایی تصاویر سنجش از دور با وضوح بالا. بین المللی J. Remote Sens. 2022 , 13 . [ Google Scholar ] [ CrossRef ]
  4. ژانگ، جی. ژو، Q. شن، ایکس. Li, Y. تشخیص ابر در تصاویر سنجش از دور با وضوح بالا با استفاده از چند ویژگی اشیاء زمینی. جی. جوویس. تف کردن مقعدی 2019 ، 3 ، 14. [ Google Scholar ] [ CrossRef ]
  5. وانگ، دبلیو. آهنگ، WG; لیو، اس ایکس; ژانگ، YM; ژنگ، هی. Tian، W. یک الگوریتم تشخیص ابر برای تصاویر MODIS ترکیبی از خوشه‌بندی Kmeans و روش آستانه چند طیفی. Spectrosc. طیف مقعدی 2011 ، 31 ، 1061-1064. [ Google Scholar ]
  6. Sekrecka، A. کیدزیرسکی، م. Wierzbicki، D. پیش پردازش تصاویر پانکروماتیک برای بهبود تشخیص شی در تصاویر pansharpened. Sensors 2019 , 19 , 5146. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  7. هوانگ، دبلیو. وانگ، ی. Chen, X. تشخیص ابر برای تصاویر سنجش از دور با وضوح بالا از مناطق شهری با استفاده از ویژگی‌های رنگ و لبه بر اساس مدل‌های دو رنگ. بین المللی J. Remote Sens. 2018 , 39 , 6657–6675. [ Google Scholar ] [ CrossRef ]
  8. ژان، ی. وانگ، جی. شی، ج. چنگ، جی. یائو، ال. Sun, W. تشخیص ابر و برف در تصاویر ماهواره ای از طریق شبکه کانولوشن عمیق. IEEE Geosci. سنسور از راه دور Lett. 2017 ، 14 ، 1785-1789. [ Google Scholar ] [ CrossRef ]
  9. شیا، م. وانگ، ک. آهنگ، دبلیو. چن، سی. Li, Y. تفکیک بار غیر نفوذی بر اساس شبکه حافظه کوتاه مدت بلند مرکب عمیق. سیستم خبره Appl. 2020 , 160 , 113669. [ Google Scholar ] [ CrossRef ]
  10. شیا، م. ژانگ، ایکس. ونگ، ال. Xu, Y. ویژگی های چند مرحله ای محدودیت یادگیری برای تخمین سن. IEEE Trans. Inf. پزشکی قانونی امن. 2020 ، 15 ، 2417-2428. [ Google Scholar ] [ CrossRef ]
  11. میائو، اس. شیا، م. کیان، م. ژانگ، ی. لیو، جی. Lin, H. تقسیم‌بندی ابر/سایه بر اساس ویژگی‌های چندسطحی بهبود یافته شبکه برای تصاویر سنجش از دور. بین المللی J. Remote Sens. 2022 . [ Google Scholar ] [ CrossRef ]
  12. لو، سی. شیا، م. کیان، م. Chen, B. شبکه دو شاخه ای برای تقسیم بندی ابر و سایه ابری. IEEE Trans. Geosci. Remote Sens. 2022 , 60 , 5410012. [ Google Scholar ] [ CrossRef ]
  13. شیا، م. لیو، دبلیو. شی، بی. ونگ، ال. لیو، جی. تشخیص ابر/برف برای تصاویر ماهواره ای چندطیفی بر اساس یک شبکه باقیمانده عمیق چند بعدی. بین المللی J. Remote Sens. 2019 ، 40 ، 156–170. [ Google Scholar ] [ CrossRef ]
  14. بله، ال. کائو، ز. Xiao, Y. DeepCloud: دسته‌بندی تصویر ابری زمینی با استفاده از ویژگی‌های پیچیده پیچیده. IEEE Trans. Geosci. Remote Sens. 2017 , 55 , 5729–5740. [ Google Scholar ] [ CrossRef ]
  15. لی، ز. شن، اچ. چنگ، کیو. لیو، ی. شما، اس. او، Z. تشخیص ابر مبتنی بر یادگیری عمیق برای تصاویر سنجش از راه دور با وضوح متوسط ​​و بالا از حسگرهای مختلف. ISPRS J. Photogramm. Remote Sens. 2019 ، 150 ، 197–212. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  16. بای، تی. لی، دی. سان، ک. چن، ی. Li, W. تشخیص ابر برای تصاویر ماهواره‌ای با وضوح بالا با استفاده از یادگیری ماشین و همجوشی چند ویژگی. Remote Sens. 2016 , 8 , 715. [ Google Scholar ] [ CrossRef ][ Green Version ]
  17. چن، ی. فن، آر. بلال، م. یانگ، ایکس. وانگ، جی. Li, W. تشخیص ابر چند سطحی برای تصاویر سنجش از دور با وضوح بالا با استفاده از شبکه‌های عصبی کانولوشنال متعدد. ISPRS Int. J. Geo-Inf. 2018 ، 7 ، 181. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  18. زی، اف. شی، م. شی، ز. یین، جی. Zhao، D. تشخیص ابر چند سطحی در تصاویر سنجش از راه دور بر اساس یادگیری عمیق. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2017 , 10 , 3631–3640. [ Google Scholar ] [ CrossRef ]
  19. لیو، اس. دوان، ال. ژانگ، ز. کائو، ایکس. Durrani، TS Multimodal طبقه‌بندی ابر سنجش از دور زمینی از طریق یادگیری ویژگی‌های عمیق ناهمگن. IEEE Trans. Geosci. Remote Sens. 2020 , 58 , 7790–7800. [ Google Scholar ] [ CrossRef ]
  20. آهنگ، ال. شیا، م. جین، جی. کیان، م. Zhang، Y. SUACDNet: شبکه تشخیص تغییر توجه مبتنی بر ساختار U شکل سیامی. بین المللی J. Appl. زمین Obs. Geoinf. 2021 ، 105 ، 102597. [ Google Scholar ] [ CrossRef ]
  21. لو، سی. شیا، م. Lin, H. شبکه تجمیع نوار چند مقیاسی برای تقسیم بندی ابر و سایه ابری. محاسبات عصبی Appl. 2022 ، 34 ، 6149-6162. [ Google Scholar ] [ CrossRef ]
  22. شیا، م. وانگ، ز. لو، ام. Pan, L. MFAGCN: چارچوبی جدید برای شناسایی پارامترهای انشعاب شبکه برق. برق سیستم پاور Res. 2022 ، 207 ، 107855. [ Google Scholar ] [ CrossRef ]
  23. سلام.؛ ژانگ، ایکس. Sun, J. هرس کانال برای شتاب دادن به شبکه های عصبی بسیار عمیق. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، ونیز، ایتالیا، 22 تا 29 اکتبر 2017؛ صص 1389–1397. [ Google Scholar ]
  24. پانگ، ک. ونگ، ال. ژانگ، ی. لیو، جی. لین، اچ. Xia، M. SGBNet: یک شبکه بسیار سبک وزن برای تقسیم بندی معنایی بلادرنگ پوشش زمین. بین المللی جی. ریموت. سنس 2022 . [ Google Scholar ] [ CrossRef ]
  25. وو، جی. لنگ، سی. وانگ، ی. هو، کیو. Cheng, J. شبکه های عصبی کانولوشنال کوانتیزه شده برای دستگاه های تلفن همراه. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو، لاس وگاس، NV، ایالات متحده، 27-30 ژوئن 2016. صص 4820–4828. [ Google Scholar ]
  26. ژو، ز. لی، اس. Shao, Y. طبقه بندی محصولات شی گرا برای تصاویر سنجش از دور بر اساس شبکه عصبی کانولوشن. در مجموعه مقالات پردازش تصویر و سیگنال برای سنجش از دور XXIV; SPIE: Bellingham WA، ایالات متحده، 2018; جلد 10789، ص. 1078922. [ Google Scholar ]
  27. پراکوسا، جنوب غربی؛ Leu، JS; Chen, ZH بهبود دقت شبکه هرس شده با استفاده از تقطیر دانش. الگوی مقعدی Appl. 2021 ، 24 ، 819-830. [ Google Scholar ] [ CrossRef ]
  28. گائو، جی. ونگ، ال. شیا، م. Lin, H. MLNet: شبکه لوزی فیوژن چند کاناله برای تقسیم‌بندی زمین. J. Appl. Remote Sens. 2022 , 16 , 016513. [ Google Scholar ] [ CrossRef ]
  29. هوارد، AG; زو، ام. چن، بی. کالنیچنکو، دی. وانگ، دبلیو. ویاند، تی. آندریتو، م. Adam, H. Mobilenets: شبکه های عصبی کانولوشن کارآمد برای برنامه های بینایی موبایل. arXiv 2017 , arXiv:1704.04861. [ Google Scholar ]
  30. تان، م. Le، QV Mixconv: هسته های کانولوشنال در عمق مخلوط شده است. arXiv 2019 ، arXiv:1907.09595. [ Google Scholar ]
  31. هان، ک. وانگ، ی. تیان، کیو. گوا، جی. خو، سی. Xu, C. Ghostnet: ویژگی های بیشتر از عملیات ارزان. در مجموعه مقالات کنفرانس IEEE/CVF در مورد بینایی کامپیوتری و تشخیص الگو، سیاتل، WA، ایالات متحده آمریکا، 13 تا 19 ژوئن 2020؛ صفحات 1580-1589. [ Google Scholar ]
  32. ژانگ، QL; یانگ، YB Sa-net: توجه به شبکه‌های عصبی کانولوشنال عمیق را به هم بزنید. در مجموعه مقالات کنفرانس بین المللی ICASSP 2021-2021 IEEE در مورد آکوستیک، پردازش گفتار و سیگنال، تورنتو، ON، کانادا، 6 تا 11 ژوئن 2021؛ ص 2235–2239. [ Google Scholar ]
  33. زی، اس. گیرشیک، آر. دلار، پی. تو، ز. او، K. تبدیل‌های باقی‌مانده را برای شبکه‌های عصبی عمیق جمع‌آوری کرد. در مجموعه مقالات کنفرانس IEEE در مورد دید رایانه و تشخیص الگو، هونولولو، HI، ایالات متحده آمریکا، 21 تا 26 ژوئیه 2017؛ صفحات 1492-1500. [ Google Scholar ]
  34. Chollet، F. Xception: یادگیری عمیق با پیچش های عمیق قابل تفکیک. در مجموعه مقالات کنفرانس IEEE در مورد دید رایانه و تشخیص الگو، هونولولو، HI، ایالات متحده آمریکا، 21 تا 26 ژوئیه 2017؛ ص 1251-1258. [ Google Scholar ]
  35. Iandola، FN; هان، اس. Moskewicz، MW; اشرف، ک. دالی، WJ; Keutzer، K. SqueezeNet: دقت در سطح AlexNet با 50 برابر پارامترهای کمتر و اندازه مدل <0.5 مگابایت. arXiv 2016 , arXiv:1602.07360. [ Google Scholar ]
  36. تان، م. Le، QV EfficientNet: بازاندیشی مقیاس‌بندی مدل برای شبکه‌های عصبی کانولوشنال. arXiv 2020 ، arXiv:1905.11946. [ Google Scholar ]
  37. سندلر، ام. هوارد، آ. زو، ام. ژموگینوف، آ. Chen, LC Mobilenetv2: باقیمانده های معکوس و تنگناهای خطی. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 23 ژوئن 2018؛ ص 4510–4520. [ Google Scholar ]
  38. گائو، اس. چنگ، MM; ژائو، ک. ژانگ، XY; یانگ، MH; Torr، PH Res2net: معماری ستون فقرات چند مقیاسی جدید. IEEE Trans. الگوی مقعدی ماخ هوشمند 2019 ، 43 ، 652-662. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  39. ژانگ، ایکس. ژو، ایکس. لین، ام. Sun, J. Shufflenet: یک شبکه عصبی کانولوشنال بسیار کارآمد برای دستگاه های تلفن همراه. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 23 ژوئن 2018؛ صص 6848–6856. [ Google Scholar ]
  40. مرد.؛ ژانگ، ایکس. ژنگ، اچ تی. Sun، J. Shufflenet v2: دستورالعمل های عملی برای طراحی معماری cnn کارآمد. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر (ECCV)، مونیخ، آلمان، 8 تا 14 سپتامبر 2018؛ صص 116-131. [ Google Scholar ]
Ijgi 11 00390 g001 550
شکل 1. شبکه توجه همجوشی چند مقیاسی.
Ijgi 11 00390 g002 550
شکل 2. نقشه جزئیات لایه L3 در شبکه توجه ویژگی های سبک وزن.
Ijgi 11 00390 g003 550
شکل 3. نمودار شماتیک پیچش قابل تفکیک عمق.
Ijgi 11 00390 g004 550
شکل 4. نمودار شماتیک پیچیدگی عمق هیبریدی.
Ijgi 11 00390 g005 550
شکل 5. نقشه ویژگی پس از عملکرد فعال سازی ReLU.
Ijgi 11 00390 g006 550
شکل 6. نقشه حرارتی ویژگی لایه L1 در ResNet18.
Ijgi 11 00390 g007 550
شکل 7. نمودار جزئیات ماژول نگاشت ویژگی ذاتی.
Ijgi 11 00390 g008 550
شکل 8. مکانیسم توجه تطبیقی ​​سبک وزن.
Ijgi 11 00390 g009 550
شکل 9. نمودار فرآیند قبل و بعد از عملیات پیچشی یک بعدی ( K = 5).
Ijgi 11 00390 g010 550
شکل 10. نقشه اثر تشخیص ابر و برف مدل های مختلف در منطقه فلات.
Ijgi 11 00390 g011 550
شکل 11. اثر تعمیم تشخیص ابر و برف بر اساس مدل سبک وزن.
Ijgi 11 00390 g012 550
شکل 12. اثر تعمیم تشخیص ابر و برف بر اساس مدل سبک وزن.

مقالات داخلی و بین المللی

مطالب مرتبط ...

7 نظرات

دیدگاهتان را بنویسید