استخراج کارآمد و دقیق جاده از تصاویر سنجش از راه دور برای برنامه های مربوط به ناوبری و به روز رسانی سیستم اطلاعات جغرافیایی مهم است. روش‌های مبتنی بر داده‌های موجود مبتنی بر تقسیم‌بندی معنایی، جاده‌ها را از تصاویر پیکسل به پیکسل تشخیص می‌دهند، که معمولاً فقط از اطلاعات مکانی محلی استفاده می‌کند و باعث مشکلات استخراج ناپیوسته و تشخیص مرز ناهموار می‌شود. برای رسیدگی به این مشکلات، ما یک معماری مبتنی بر توجه آبشاری را برای استخراج جاده‌های اصلاح‌شده مرزی از تصاویر سنجش از دور پیشنهاد می‌کنیم. معماری پیشنهادی ما از بلوک‌های باقی‌مانده توجه فضایی بر روی ویژگی‌های چند مقیاسی برای گرفتن روابط دوردست و معرفی لایه‌های توجه کانال برای بهینه‌سازی ادغام ویژگی‌های چند مقیاسی استفاده می‌کند. علاوه بر این، یک شبکه رمزگذار-رمزگشای سبک وزن به منظور بهینه سازی تطبیقی ​​مرزهای جاده های استخراج شده متصل شده است. آزمایش‌های ما نشان داد که روش پیشنهادی از روش‌های موجود بهتر عمل کرده و به نتایج پیشرفته‌ای در مجموعه داده ماساچوست دست یافته است. علاوه بر این، روش ما به نتایج رقابتی در مجموعه داده‌های معیار جدیدتر، به عنوان مثال، DeepGlobe و چالش استخراج جاده هواوی Cloud دست یافت.

کلید واژه ها:

استخراج جاده ; تصاویر سنجش از دور ; تقسیم بندی معنایی ; یادگیری عمیق ؛ مکانیسم توجه

1. مقدمه

با توسعه سریع فناوری رصد زمین، تصاویر سنجش از دور در مقیاس بزرگ و با وضوح بالا به مهم ترین منبع داده برای استخراج اشیا تبدیل شده است. تشخیص خودکار جاده و استخراج از تصاویر سنجش از دور یک گام اساسی به سمت بسیاری از کاربردها، از جمله نقشه با وضوح بالا و به روز رسانی مجموعه داده های GIS (سیستم اطلاعات جغرافیایی) است. علیرغم تحقیقات گسترده موجود در مورد استخراج خودکار جاده ها، استخراج دقیق و کارآمد جاده ها از تصاویر سنجش از دور برای کاربردهای GIS هنوز یک چالش بزرگ است. این تا حدی به دلیل پیچیدگی بین جاده ها و پس زمینه ها و تا حدی به دلیل تغییر در عرض جاده ها و وضوح فضایی تصاویر است [ 1 ، 2 ].
روش‌های مبتنی بر یادگیری عمیق می‌توانند به طور خودکار ویژگی‌های معرف و متمایز را از تعداد زیادی نمونه آموزشی بیاموزند و استخراج کنند. آنها به طور گسترده ای در سنجش از دور استفاده شده اند، زیرا آنها عملکرد بالاتری نسبت به روش های سنتی استخراج جاده دارند [ 3 ، 4 ، 5 ]. محبوب ترین استراتژی برای استخراج جاده ها، شبکه های مبتنی بر رمزگذار رمزگشا هستند [ 6 ، 7 ، 8 ، 9 ، 10 .]. ماژول رمزگذار ویژگی‌های چند مقیاسی را از تصاویر ورودی استخراج می‌کند، سپس ماژول رمزگشا ویژگی‌ها را از انتها به انتها برای استخراج جاده تفسیر و نمونه‌برداری می‌کند. اگرچه مطالعات اخیر جهش های بزرگی را در این زمینه انجام داده اند، اما هنوز مشکلاتی وجود دارد که باید حل شوند [ 3 ، 4 ، 11 ].
(1) ناپیوستگی در جاده های باریک. اول اینکه جاده ها معمولا خطی و پیوسته هستند. از آنجایی که پیکسل های کمتری در جهت مقطع جاده در تصویر وجود دارد، به خصوص برای جاده هایی که باریک هستند، بافت مکانی دقیق به راحتی با کاهش مکرر نمونه در طول استخراج ویژگی از بین می رود. روش‌های موجود تلاش می‌کنند اطلاعات مکانی را با ترکیب ویژگی‌های با وضوح بالا استخراج‌شده از لایه‌های پیچیده کم عمق با استفاده از اتصالات پرش [ 9 ، 12 ، 13 ] بازیابی کنند. با این حال، اطلاعات معنایی ویژگی‌های استخراج‌شده از لایه‌های کانولوشن کم عمق کافی نیست، و نویز ایجاد می‌کند که جاده‌های استخراج‌شده را ناپیوسته و ناهموار می‌کند، همانطور که در بیضی چین‌دار زرد در شکل 1 نشان داده شده است..
(2) طبقه بندی درشت در مرز. دوم، روش‌های موجود از یک آستانه خاص برای طبقه‌بندی مستقیم نقشه‌های ویژگی نمونه‌برداری شده جاده‌ها و پس‌زمینه‌ها استفاده می‌کنند [ 11 ، 12 ]. با این حال، تقسیم‌بندی مبتنی بر آستانه معمولاً منجر به استخراج نادرست می‌شود که با یک زیگزاگ در مرز یک جاده نشان داده می‌شود. اثرات زیگزاگ نامطلوب را می‌توان تنها زمانی حل کرد که ویژگی‌ها اطلاعات را در یک زمینه جهانی به جای محلی در مرزهای جاده جمع‌آوری کنند، همانطور که با بیضی خط قرمز در شکل 1 نشان داده شده است.
برای پرداختن به مشکلات فوق، ما یک شبکه درشت به ریز با افزایش توجه باقیمانده به نام CRAE-Net پیشنهاد می‌کنیم که ماژول‌های توجه فضایی و کانالی را برای بهینه‌سازی و ادغام ویژگی‌های چند مقیاسی ترکیب می‌کند. این زمینه فضایی دقیق را در ویژگی‌های با وضوح بالا حفظ می‌کند و بخش‌های مبتنی بر آستانه را با استفاده از یک شبکه کمی اصلاح‌شده برای اطمینان از دقت جاده‌های باریک و استخراج مرزهای صاف بهبود می‌بخشد. ما یک شبکه چند مسیری موازی بر اساس ResNet50 از پیش آموزش دیده طراحی کردیم تا ویژگی‌های چند مقیاسی و بافت مکانی دقیق و معنایی غنی را تقویت کنیم. سپس، کانال و توجه فضایی برای بهینه‌سازی و ادغام ویژگی‌های چند مقیاسی آبشاری شدند. علاوه بر این، یک شبکه سبک وزن برای اصلاح بیشتر مرز جاده ها متصل شد.
به طور خلاصه، مشارکت های ما به شرح زیر است: (1) ما یک ساختار مبتنی بر توجه آبشاری طراحی کردیم تا جزئیات مکانی و اطلاعات معنایی را برای استخراج مداوم جاده جمع آوری کنیم. (2) ما یک ماژول بخش درشت به ریز سبک وزن را برای تشخیص مرز جاده صاف معرفی کردیم. و (3) ما نتایج معیار خود را در مجموعه داده‌های رقابتی DeepGlobe و Huawei برای مقایسه با تحقیقات مرتبط منتشر کردیم. کد منبع در دسترس است: https://github.com/liaochengcsu/Cascade_Residual_Attention_Enhanced_for_Refinement_Road_Extraction ، قابل دسترسی در 26 دسامبر 2021.
بقیه این مقاله به شرح زیر سازماندهی شده است. کارهای مربوط به استخراج جاده در بخش 2 خلاصه شده است. بخش 3 جزئیات روش پیشنهادی برای استخراج جاده های تصفیه شده را معرفی می کند. بخش 4 آزمایش ها را شرح می دهد و نتایج را تجزیه و تحلیل می کند. بخش 5 نتیجه گیری این مقاله را ارائه می دهد.

2. آثار مرتبط

فناوری یادگیری ماشین در سال های اخیر به سرعت توسعه یافته است، به ویژه با پیشنهاد شبکه کاملاً کانولوشن (FCN) [ 13 ]، که نقطه عطفی در زمینه تحقیقات پردازش تصویر است و نتایج خوبی برای تقسیم بندی کارآمد تصویر به دست آورده است. اخیراً بسیاری از مطالعات مبتنی بر یادگیری عمیق مرتبط با تقسیم‌بندی سنجش از دور انجام شده است [ 2 ، 14 ، 15 ، 16 ، 17 ، 18 ، 19 ، 20 ، 21 ، 22 ، 23 ، 24 ، 25 ، 26 .]. برای مرتبط‌ترین مشکلات در تحقیقات استخراج جاده، ما به طور مختصر کارهای مرتبط را مرور می‌کنیم، از جمله استخراج مرز جاده‌ای تصفیه‌شده و شناسایی مستمر منطقه‌ای جاده.
استخراج مرزهای جاده ای تصفیه شده معماری رمزگذار-رمزگشا طراحی شده U-Net [ 27 ] بر اساس یک FCN برای تقسیم بندی تصویر پزشکی است. این اتصالات پرش را برای بازیابی جزئیات فضایی از دست رفته توسط گزینه های نمونه برداری پایین در مرحله رمزگذار معرفی می کند. بسیاری از کارهای مشتق شده از U-Net [ 9 ، 28 ، 29 ، 30 ، 31 ] به عملکرد عالی، به ویژه برای استخراج مرز جاده ها دست یافته اند، زیرا اطلاعات مکانی بالقوه جزئیات مرز جاده را در لایه کم عمق نشان می دهد. علاوه بر این، SegNet [ 6 ] جزئیات فضایی را بیشتر اصلاح کرد و پیچیدگی محاسبات را در مقایسه با FCN کاهش داد.
ResNet [ 32 ] اتصال باقیمانده را برای حل مشکل انفجار و ناپدید شدن گرادیان ها در شبکه های کانولوشنی عمیق معرفی کرد. این بلوک باقیمانده باعث می‌شود شبکه‌های عصبی پیچیده (CNN) سریع‌تر و پایدارتر همگرا شوند. بسیاری از مطالعات با معرفی ستون فقرات ResNet از پیش آموزش دیده به عملکرد قابل توجهی دست یافتند. ResU-Net [ 33 ] با معرفی بلوک های باقیمانده به U-Net، دقت تقسیم بندی را به طور قابل توجهی بهبود بخشید. DenseNet [ 34 ] بلوک های متصل متراکم را با استفاده از مسیرهای کوتاه بین لایه های کم عمق و لایه های عمیق برای استفاده مجدد از ویژگی طراحی کرد و با پیچیدگی محاسباتی کمتری نسبت به ResNet انجام شد. عملکرد استخراج جاده با استفاده از بلوک های متراکم در [ 29 ، ] بهبود یافت.35 ]. مدل Coord-Dense-Global (CDG) [ 36 ] مکانیزم توجهی را برای افزایش اطلاعات لبه و زمینه جهانی جاده ها بر اساس DenseNet معرفی کرد. برای پالایش مرز جاده، میدان های تصادفی شرطی (CRF) به عنوان استراتژی های پس از پردازش برای بهینه سازی نتیجه استخراج شده معرفی شدند [ 37 ، 38 ]. مرجع. [ 39 ] یک الگوریتم درشت به ریز پیشنهاد کرد، با استفاده از توزیع ارزش خاکستری برای پیش‌بخش‌بندی جاده‌های بالقوه و استفاده از ویژگی‌های بافت ساختار برای استخراج نهایی جاده.
از آنجایی که جزئیات زمینه مکانی در عملیات نمونه برداری پایین در طول رمزگذاری از بین می رود، بازیابی بافت فضایی، به ویژه برای مرزهای جاده باریک، دشوار است. علاوه بر این، اکثر روش‌های مبتنی بر تقسیم‌بندی موجود، پیکسل‌ها را مستقیماً با استفاده از یک آستانه ثابت طبقه‌بندی می‌کنند و ساختار لبه را نادیده می‌گیرند و باعث ایجاد مرزهای زیگزاگی شدید می‌شوند.
شناسایی مستمر منطقه ای جاده. دانش قبلی یک جاده، مانند جهت گیری یا اطلاعات توپولوژیکی آن، برای استخراج مداوم جاده استفاده شده است [ 11 ، 35 ، 40 ، 41 ، 42 ، 43 ، 44 ، 45 ]. این محدودیت ها برای استخراج جاده ها موثر بوده اند. مجموعه‌ای از روش‌های DeepLab [ 7 ، 38 ] پیچیدگی آزاردهنده‌ای را برای وظایف بخش‌بندی معرفی کردند، که میدان گیرنده را بدون افزایش پیچیدگی محاسباتی بزرگ‌تر می‌کند و سازگاری منطقه‌ای را بهبود می‌بخشد. مرجع. [ 12] یک ماژول Atrous Spatial Pyramid Pooling (ASPP) را برای گرفتن اطلاعات معنایی جهانی چند مقیاسی برای استخراج کارآمد جاده معرفی کرد. علاوه بر این، Ref. [ 8 ] از دست دادن تشابه ساختاری را برای بهبود تداوم جاده های استخراج شده بر اساس ویژگی های چند مقیاسی اعمال کرد.
مکانیسم توجه یکی دیگر از روش های محبوب برای بهبود تداوم منطقه ای است، Refs. [ 31 ، 46 ، 47 ، 48 ، 49 ، 50 ] لایه های توجه فضایی و کانالی را معرفی کردند که به طور موثر عملکرد قطعه بندی را بهبود بخشید، به ویژه برای تداوم در منطقه جاده. بهره مندی از شبکه های متخاصم مولد (GAN)، Refs. [ 40 ، 51 ، 52 ، 53 ] نتایج چشمگیری از تصاویر از طریق یادگیری ماشینی متخاصم بین مدل های تولیدی و افتراقی به دست آوردند. D-LinkNet [ 54] لایه های پیچشی گشاد شده را در بخش مرکزی ساختار رمزگذار-رمزگشای از پیش آموزش دیده معرفی کرد تا میدان گیرنده را با محاسبات و حافظه کارآمد بدون کاهش وضوح ویژگی ها بزرگ کند و مقام اول را در چالش استخراج جاده CVPR DeepGlobe [ 55 ] به دست آورد.
با این حال، برای تحقیقات استخراج جاده، تشخیص مرز نادرست و نتایج بخش‌بندی ناپیوسته، به‌ویژه برای جاده‌های باریک، هنوز اجتناب ناپذیر است.

3. مواد و روشها

3.1. بررسی اجمالی

در این کار، ما یک شبکه پالایش توجه جمع‌آوری شده برای استخراج جاده‌ها از تصاویر سنجش از دور پیشنهاد می‌کنیم. هدف آن حل مشکلات استخراج جاده ناپیوسته و شناسایی مرز ناهموار در روش‌های موجود است. ساختار اصلی روش پیشنهادی در شکل 2 نشان داده شده است .
به طور خاص، ما مطالعه خود را بر اساس ستون فقرات ResNet50 که از قبل در ImageNet آموزش داده شده است. (1) برای ناپیوستگی جاده‌های استخراج‌شده، ما یک ماژول باقی‌مانده مبتنی بر توجه آبشاری را برای بهبود ویژگی‌های چند مقیاسی استخراج‌شده، به‌ویژه برای حفظ اطلاعات مکانی دقیق، معرفی می‌کنیم. از آنجا که ویژگی‌های با وضوح بالا استخراج‌شده از لایه‌های کانولوشن کم‌عمق حاوی جزئیات فضایی هستند که برای تشخیص اشیاء کوچک، مانند جاده‌های باریک، حیاتی هستند، ممکن است نویز برای ویژگی‌های ناکافی که از طریق یک لایه کانولوشن کم عمق استخراج می‌شوند، ایجاد کند. ماژول طراحی شده نه تنها جزئیات مکانی دقیق و اطلاعات معنایی غنی را با هم ترکیب می کند، بلکه توانایی ثبت شباهت های مسافت طولانی جاده ها را نیز بهبود می بخشد. (2) برای تشخیص مرز جاده ناهموار،

3.2. افزایش ویژگی توجه آبشاری

مکانیسم توجه برای اولین بار برای رسیدگی به مشکل گلوگاه که با استفاده از یک بردار رمزگذاری با طول ثابت ایجاد می‌شود پیشنهاد شد [ 56 ]]، جایی که رمزگشا دسترسی محدودی به اطلاعات ارائه شده توسط ورودی خواهد داشت. از مجموع وزنی همه حالت‌های پنهان رمزگذار استفاده می‌کند تا به طور انعطاف‌پذیری توجه رمزگشا را بر روی مرتبط‌ترین بخش‌های دنباله ورودی متمرکز کند، که عملکرد مدل دنباله را به‌ویژه برای ترجمه ماشینی بسیار بهبود بخشید. در سال‌های اخیر با موفقیت به برنامه‌های پردازش تصویر، به‌ویژه برای بخش‌بندی معنایی، منتقل شده است و عملکرد پردازش تصویر سنجش از دور را به طور قابل‌توجهی بهبود بخشیده است. مکانیسم توجه عمدتاً به توجه فضایی و توجه کانال در برنامه های پردازش تصویر تقسیم می شود. توجه فضایی با استفاده از محاسبه شباهت پیکسل به پیکسل فضایی با هدف گرفتن همبستگی فاصله طولانی است.
برای کامل بودن، مکانیسم‌های توجه مورد استفاده در کارمان را به طور خلاصه معرفی می‌کنیم، از جمله ماژول توجه فضایی و مدول توجه کانال [ 46 ، 47 ، 48 ]، همانطور که در شکل 3 نشان داده شده است.
در این کار، چهار مقیاس از ویژگی ها توسط ستون فقرات از پیش آموزش دیده ResNet50 استخراج شده است. ویژگی هایی با وضوح بالا که از لایه های کم عمق استخراج می شوند، جزئیات فضایی زیادی را حفظ می کنند. ویژگی‌هایی با وضوح پایین که از لایه‌های پیچیدگی عمیق‌تر حاوی ویژگی‌های معنایی غنی با از دست دادن اطلاعات مکانی استخراج می‌شوند. جاده ها معمولاً به صورت ساختارهای خطی طولانی و باریک در تصاویر سنجش از دور ظاهر می شوند. به دلیل عرض محدود جاده، پیکسل های کمی در سطح مقطع جاده وجود دارد. بنابراین، ما تنها از سه مقیاس ویژگی‌های دارای وضوح بالا استفاده می‌کنیم که اطلاعات مکانی لازم جاده را بهتر حفظ می‌کند. به منظور بزرگ‌تر کردن میدان پذیرش و استخراج طیف وسیعی از جاده‌های پیوسته،
از آنجایی که ویژگی‌های با وضوح بالا از لایه‌های شبکه کمتری عبور می‌کنند، که ضمن ارائه اطلاعات نویز، اطلاعات فضایی بیشتری را حفظ می‌کنند و لبه جاده را ناهموار نشان می‌دهند. ما بلوک‌های باقی‌مانده آبشاری را که به‌عنوان RB نشان داده می‌شوند اضافه کردیم تا ویژگی‌های معنایی غنی را استخراج کنیم و جزئیات مکانی را با حفظ وضوح فضایی ویژگی‌ها حفظ کنیم. علاوه بر این، لایه توجه فضایی (SA) برای به تصویر کشیدن شباهت راه‌ها در مسافت طولانی و همچنین افزایش ثبات ویژگی‌های جاده، به‌ویژه برای جاده‌های باریک، معرفی شده است. در مرحله رمزگشایی، ویژگی‌های چند مقیاسی پیشرفته از طریق اتصالات پرش ترکیب می‌شوند و در همان زمان، لایه توجه کانال (CA) برای انجام فیلتر در سطح کانال بر روی ویژگی‌های چند مقیاسی در مرحله نمونه‌برداری و برای به دست آوردن ویژگی‌هایی با جزئیات معنایی غنی و مکانی دقیق استفاده می‌شود. جزئیات این بلوک ها نشان داده شدشکل 4 .
با توجه به اینکه جاده ها در تصاویر سنجش از دور باریک و پیوسته هستند، جاده کوچک مستعد تداخل پیکسل های پس زمینه مجاور است که باعث ایجاد مشکل در استخراج نتایج ناپیوستگی می شود. ما ویژگی‌های معنایی منطقه جاده را با معرفی یک مکانیسم توجه فضایی برای گرفتن همبستگی راه‌های طولانی، که تداوم جاده‌های باریک را به طور قابل‌توجهی بهبود می‌بخشد، افزایش می‌دهیم. علاوه بر این، رمزگشای شبکه های تقسیم بندی معنایی ویژگی ها را از طریق اتصال پرش با افزودن فضایی یا الحاق کانال ترکیب می کند. قابلیت استخراج جزئیات مکانی و ویژگی های معنایی توسط ویژگی هایی با مقیاس های مختلف را نادیده می گیرد. بر اساس این بررسی، ما مکانیسم توجه کانال را برای درک ادغام تطبیقی ​​ویژگی‌ها در مقیاس‌های مختلف معرفی کردیم. و جزئیات مکانی و اطلاعات معنایی ویژگی ها را بهینه می کند، در نتیجه ویژگی برای نمایش جاده را افزایش می دهد. مقایسه روش های مختلف فیوژن ویژگی در نشان داده شده استشکل 5 .

3.3. بهینه سازی مرز درشت به ریز

تقریباً تمام استراتژی‌های رمزگشای مورد استفاده در روش‌های مبتنی بر تقسیم‌بندی موجود، نقشه‌های ویژگی را به همان مقیاس ورودی نمونه‌برداری می‌کنند و پیکسل‌های یک جاده یا پس‌زمینه را بر اساس یک آستانه خاص طبقه‌بندی می‌کنند. از آنجایی که جاده‌ها همیشه توسط شی دیگری مانند درخت یا سایه‌های ساختمان پوشیده می‌شوند، به‌ویژه در لبه‌های جاده‌ها به طوری که ویژگی‌های بافت مرز جاده‌ها ناهموار هستند، و تشخیص مرز جاده‌ها را دشوار می‌کند. دایره خط تیره زرد در شکل 6، از (a) تا (d)، تصویر اصلی را نشان می دهد، نقشه ویژگی آخرین لایه در DLinkNet50، تقسیم بندی مبتنی بر آستانه در نقشه ویژگی، و برچسب ها را به ترتیب تجسم می کند. بدیهی است جاده های استخراج شده بر اساس آستانه در مرز جاده های مسدود درشت هستند.
تابع از دست دادن آنتروپی متقاطع باینری L_bce که به عنوان فرمول (1) نشان داده می شود، معمولاً برای ارزیابی فاصله بین نتایج پیش بینی شده و برچسب های واقعی در کاربردهای تقسیم بندی باینری استفاده می شود. از آنجایی که L_bce یک متریک مبتنی بر پیکسل است که سازگاری کلی نتایج پیش‌بینی و برچسب‌ها را در نظر نمی‌گیرد. ساختارهای دقیق جاده ها که مرزها را مشخص می کنند در زمینه سنجش از دور ارزشمند هستند. بنابراین، ما یک شبکه U-Net مانند بهینه سازی شده با استفاده از تاس طراحی کردیم [ 57] از دست دادن برای اصلاح نقشه های ویژگی آپنمونه شده. تابع از دست دادن تاس برای بهینه سازی ویژگی های خروجی معرفی شد و در فرمول (2) به صورت L_dice نشان داده شده است. تابع از دست دادن تاس شباهت بین نتایج پیش‌بینی و برچسب‌ها را اندازه‌گیری می‌کند. بنابراین، مرزهای جاده می تواند بیشتر بهینه شود.

U-Net اضافه شده با توجه به پیچیدگی مدل، سبک وزن است. همانطور که در شکل 7 نشان داده شده است، در انتهای یک شاخه تقسیم بندی متصل می شود و شامل دو واحد رمزگذاری با تعداد کانال های ویژگی کم است تا ویژگی های بهبود یافته را به طور موثر اصلاح کند . تابع تلفات متقاطع آنتروپی استخراج ویژگی را بهینه می‌کند و تابع تلفات تاس به پالایش مرز جاده می‌رسد که ساختار استخراج جاده‌ای درشت به ریز را تشکیل می‌دهد. زیان کل مجموع دو تابع زیان است که در فرمول (3) نشان داده شده است. از آنجایی که L_bce بسیار کوچکتر از L_dice است، وزن ها را تنظیم می کنیم و به ترتیب به 4 و 1 در آزمایش ما برای حفظ وزن متعادل بین شاخه تقسیم بندی و بهینه سازی.

3.4. معیارهای ارزیابی

استخراج جاده مبتنی بر تقسیم‌بندی معنایی از تصاویر سنجش از دور، یک کار تقسیم‌بندی باینری معمولی است که به دنبال طبقه‌بندی هر پیکسل به عنوان جاده یا پس‌زمینه است. بنابراین، ما عملکرد روش پیشنهادی را از طریق معیارهای ارزیابی مبتنی بر تقسیم‌بندی معنایی کلی ارزیابی کردیم.
نتایج پیش‌بینی شامل چهار مورد است، از جمله نمونه‌های مثبت طبقه‌بندی‌شده درست، نمونه‌های مثبت طبقه‌بندی نادرست، نمونه‌های منفی طبقه‌بندی صحیح و نمونه‌های منفی طبقه‌بندی نادرست. آنها به ترتیب به صورت مثبت واقعی (TP)، مثبت کاذب (FP)، منفی واقعی (TN) و منفی کاذب (FN) نشان داده می شوند. Precision، Recall، F1-Score و Intersection over Union (IoU) چهار معیار ارزیابی جامع رایج بر اساس شاخص های فوق هستند. محاسبات آنها در فرمول های (4) – (7) نشان داده شده است.

از آنجایی که مجموعه تست شامل چندین تصویر است، دقت هر تصویر را جداگانه محاسبه می کنیم و در نهایت نتایج ارزیابی تمامی تصاویر را میانگین می گیریم.

4. آزمایش ها و نتایج

4.1. مجموعه داده ها و استراتژی ها

در این بخش، مجموعه داده‌های آزمایشی، از جمله مجموعه داده‌های جاده ماساچوست [ 58 ]، مجموعه داده‌های چالش استخراج جاده DeepGlobe [ 55 ] و مجموعه داده رقابت هواوی Cloud [ 59 ] را توصیف می‌کنیم.
مجموعه داده ماساچوست شامل 1171 تصویر کاشی شده، از جمله 1108 برای آموزش، 14 برای اعتبار سنجی، و 49 برای آزمایش است. سایز تمامی تصاویر 1500 × 1500 پیکسل با وضوح 1 متر می باشد.
مجموعه داده DeepGlobe شامل 8570 تصویر، از جمله 6226 برای آموزش، 1243 برای اعتبار سنجی، و 1101 برای آزمایش است که در تایلند، اندونزی و هند گرفته شده است. ما فقط از زیر مجموعه آموزشی در آزمایش خود استفاده کردیم زیرا برچسب های مربوط به دو زیر مجموعه دیگر در دسترس نبود. سایز تمامی تصاویر 1024 × 1024 پیکسل با وضوح 0.5 متر می باشد. ما این تصاویر را به طور تصادفی به 4316 برای آموزش، 617 برای اعتبار سنجی و 1293 برای آزمایش بر اساس نسبت 7:1:2 تقسیم کردیم.
مجموعه داده استخراج جاده برای رقابت هواوی Cloud شامل زیر مجموعه‌های آموزشی و آزمایشی است. ما فقط از مجموعه آموزشی در آزمایش‌های خود استفاده کردیم، زیرا برچسب‌های مجموعه آزمایشی خصوصی هستند. دو کاشی تصویر از ماهواره Beijing2 با وضوح 0.8 متر در مجموعه آموزشی وجود دارد. اندازه تصاویر به ترتیب 40391×33106 و 34612×29810 پیکسل است. همانطور که در شکل 8 نشان داده شده است، تصاویر را بر اساس نسبت 7:3 به مناطق تمرین و آزمایش تقسیم کردیم .. با توجه به محدودیت‌های اندازه حافظه ویدیویی، مناطق آزمایش را به تکه‌های 1500 × 1500 پیکسل با همپوشانی 18 پیکسل برای آزمایش برش دادیم. اگرچه به طور گسترده ای پذیرفته شده است که یک منطقه همپوشانی بزرگتر و ترکیب نتایج با استفاده از استراتژی رای گیری به طور قابل توجهی عملکرد را بهبود می بخشد، ما می خواهیم مستقیماً عملکردها را بدون مهندسی گسترده بررسی کنیم.
ما مدل خود را فقط روی مجموعه آموزشی آموزش دادیم و عملکرد را روی مجموعه آزمایشی آزمایش کردیم. مجموعه اعتبارسنجی فقط برای اعتبارسنجی روش در سه مجموعه داده فوق استفاده شد. ما مجموعه آموزشی را در مرحله آموزش به تکه هایی با اندازه 512 × 512 برش دادیم، با یک همپوشانی سازگار به دلیل محدودیت های اندازه حافظه ویدیویی. مجموعه‌های تست و اعتبارسنجی پیش‌بینی شده و برای ارزیابی دقت به اندازه اصلی برش داده شدند.
آزمایشات ما بر روی یک سرور با واحد گرافیکی 2080Ti انجام شد. Adam برای بهینه‌سازی مدل‌ها با فراپارامترهای توصیه‌شده استفاده شد و نرخ یادگیری اولیه 0.01 بود. ما یک استراتژی افزایش داده را با چرخش تصادفی در جهت عمودی و افقی، لرزش رنگ و چرخش تصادفی در طول مرحله آموزش اتخاذ کردیم. ما از استراتژی افزایش زمان تست (TTA) در مرحله آزمایش برای همه روش‌های مقایسه استفاده کردیم. نتیجه پیش‌بینی میانگین حسابی پیش‌بینی‌ها، از جمله تصاویر اصلی و همچنین عکس‌های برگردان افقی و عمودی بود.

4.2. اجرا در ماساچوست

برای تأیید روش پیشنهادی، آزمایش‌های مقایسه‌ای را روی مجموعه داده ماساچوست انجام دادیم تا عملکرد روش خود را با سایر روش‌های تقسیم‌بندی معنایی کلاسیک، از جمله U-Net [ 27 ]، SegNet [ 6 ]، Res-U-Net [ 28 ] مقایسه کنیم. ، روش های سری DeepLabv3+ [ 7 ] و D-LinkNet [ 54 ]. Res-U-Net بلوک باقیمانده را بر اساس U-Net معرفی می کند. D-LinkNet34 مبتنی بر ResNet34 است که از قبل در ImageNet آموزش دیده است، و ستون فقرات DeepLabv3+ و D-LinkNet50 ResNet50 از قبل آموزش دیده در ImageNet است.
نتایج تجربی در جدول 1 نشان داده شده است. روش پیشنهادی ما در مقایسه با روش‌های تقسیم‌بندی معنایی کلاسیک به بهبود قابل‌توجهی دست یافت و به نتایج SOTA (به‌روزترین) در مجموعه داده‌های آزمون ماساچوست دست یافت. علاوه بر این، روش پیشنهادی حاشیه عملکرد زیادی نسبت به D-LinkNet50 به دست آورد و در مقایسه با D-LinkNet34 که در چالش استخراج جاده CVPR DeepGlobe 2018 به مقام اول دست یافت، 4.92 درصد در معیارهای IoU بهبود یافت. ما بهترین نتیجه را به صورت پررنگ در زیر هر معیار بدست آوردیم.
برای سهولت مقایسه نتایج استخراج روش‌های مرتبط، نمونه استخراج و جزئیات محلی را به ترتیب در شکل 9 و شکل 10 نشان می‌دهیم . بخش های فرعی (الف) تا (ح) نتایج روش های مرتبط را در شکل 9 نشان می دهد . در شکل 10 ، بخش های فرعی (ج) تا (i) جزئیات محلی روش پیشنهادی و نتایج مربوط به U-Net، SegNet، Res-U-Net، DeepLabv3+، D-LinkNet34 و D-LinkNet50 را نشان می دهد که مربوط به رنگ زرد است. دایره ای که در (الف) مشخص شده است. از نتایج جزئیات محلی تجسم شده، می توان استنباط کرد که روش ما مرز صاف تری نسبت به روش های مقایسه استخراج کرده است.
برای تأیید بیشتر عملکرد روش پیشنهادی ما، آن را با آخرین روش‌های استخراج جاده مرتبط در مجموعه داده ماساچوست ارزیابی کردیم. مطالعات متعددی به این مجموعه داده ارجاع داده اند، اما معیارهای ارزیابی کاربردی یکسان نیستند. بنابراین، ما روش‌هایی را شامل [ 12 ، 30 ، 36 ، 60 ، 61 ] برای مقایسه منصفانه انتخاب می‌کنیم. همه این روش ها در دو سال گذشته پیشنهاد شده اند. TSKD-Road [ 60 ] یک شبکه فضایی توپولوژیکی مبتنی بر تقطیر دانش سبک وزن را برای تولید جاده های پیوسته تر و حفظ پیچیدگی محاسباتی و پارامترهای شبکه کم پیشنهاد کرد. CDG [ 36] یک مکانیسم توجه مبتنی بر DenseNet را برای افزایش اطلاعات لبه در زمینه جهانی جاده معرفی کرد. DGRN [ 12 ] یک شبکه باقیمانده متراکم جهانی را برای جمع آوری ویژگی های چند مقیاسی فراوان بر اساس ASPP برای رفع از دست دادن ویژگی های فضایی طراحی کرد. JointNet [ 61 ] اتصالات متراکم را با پیچش گشاد ترکیب کرد تا میدان گیرنده را بزرگ کند، که استخراج جاده های چند مقیاسی را به طور موثر امکان پذیر کرد. RB-UNET [ 30 ] یک U-Net با سوگیری بازسازی را برای استخراج جاده پیشنهاد کرد تا اطلاعات معنایی غنی را از عملیات چند نمونه‌برداری به دست آورد.
از آنجایی که کد منبع آثار مرتبط در دسترس نبود، به نتایج گزارش شده آنها اشاره کردیم. همانطور که در جدول 2 نشان داده شده است ، روش پیشنهادی در هر دو معیار امتیاز F1 و IoU به بهبود قابل توجهی دست یافت. ما از آخرین مطالعات مرتبط بهتر عمل کرده و به نتایج SOTA در مجموعه داده تست ماساچوست دست یافتیم. ما بهترین نتیجه را به صورت پررنگ در زیر هر معیار بدست آوردیم.

4.3. عملکرد در DeepGlobe

ما آزمایشی را روی مجموعه داده DeepGlobe طراحی کردیم که حاوی تصاویر با وضوح بالا است تا عملکرد روش پیشنهادی را ارزیابی کنیم. از آنجا که هیچ تقسیم داده یکنواختی با روش استخراج جاده مربوط انجام نمی شود، ما روش خود را تنها با روش های تقسیم بندی معنایی کلاسیک معرفی شده در بالا مقایسه کردیم.
اگرچه بسیاری از مطالعات از این مجموعه داده برای آزمایش‌ها استفاده کرده‌اند، اما جزئیات تقسیم داده‌ها را عمومی نمی‌کنند، که مقایسه عملکرد بین مطالعات مرتبط را غیرممکن می‌کند. بنابراین، ما جزئیات تقسیم داده ها و یک معیار جدید را ارائه می دهیم که برای مقایسه در تحقیقات بعدی مناسب است. نتیجه آزمایش در جدول 3 نشان داده شده است . ما بهترین نتیجه را به صورت پررنگ در زیر هر معیار بدست آوردیم.
نتایج نشان می‌دهد که روش ما عملکرد قابل‌توجهی از روش‌های مقایسه در معیارهای F1 Score و IoU دارد. به طور خاص، روش ما به بهبود 1.53 درصدی نسبت به متریک IoU که توسط D-LinkNet50 به دست آمده بود، دست یافت. برای سهولت مقایسه نتایج استخراج شده از روش های مرتبط، نمونه استخراج شده و جزئیات محلی دقیق را به ترتیب در شکل 11 و شکل 12 نشان می دهیم. در شکل 12، بخش های فرعی (ج) تا (i) جزئیات محلی روش پیشنهادی و نتایج U-Net، SegNet، Res-U-Net، DeepLabv3+، D-LinkNet34، و D-LinkNet50 را نشان می دهد که با دایره زرد علامت گذاری شده مطابقت دارد. در یک). با توجه به نتایج به‌دست‌آمده، نتایج استخراج‌شده از روش پیشنهادی پیوسته‌تر از روش‌های مقایسه است. علاوه بر این، مرزهای جاده روش ما هموارتر از سایرین است.

4.4. عملکرد در هواوی Cloud

ما در مسابقات مقدماتی و مقام اول در فینال رقابت هواوی Cloud [ 59 ] برای استخراج جاده از تصاویر سنجش از دور بر اساس ایده این آثار، مقام دوم را کسب کردیم. برای تأیید مزیت روش پیشنهادی و ارائه معیاری بر روی این مجموعه داده، آزمایشی را برای مقایسه روش خود و روش‌های تقسیم‌بندی کلاسیک بالا در مجموعه آموزشی طراحی کردیم. نتایج در جدول 4 نشان داده شده است. روش ما نسبت به روش های مقایسه در مجموعه داده تست Huawei بهتر عمل کرد. ما بهترین نتیجه را به صورت پررنگ در زیر هر معیار بدست آوردیم.
برای راحتی مقایسه نتایج استخراج شده برای روش‌های مرتبط، نمونه‌ها و جزئیات محلی را نیز به ترتیب در شکل 13 و شکل 14 ارائه می‌کنیم. نتایج کارهای مقایسه شده و نتایج روش ما در بخش های فرعی (الف) تا (ح) شکل 13 نشان داده شده است. در شکل 14 ، بخش‌های فرعی (ج) تا (i) جزئیات محلی روش پیشنهادی و نتایج مربوط به U-Net، SegNet، Res-U-Net، DeepLabv3+، D-LinkNet34 و D-LinkNet50 را نشان می‌دهند که مربوط به رنگ زرد است. دایره ای که در (الف) مشخص شده است.
به طور کلی، نتایج بصری سه مجموعه داده فوق نشان می‌دهد که ماژول باقیمانده مبتنی بر توجه معرفی شده و شبکه بهینه‌سازی جاده سبک به طور قابل‌توجهی تداوم جاده‌ها و همچنین صاف بودن مرزهای جاده را بهبود بخشیده است.

4.5. مطالعه فرسایش

روش ما بلوک‌های باقیمانده آبشاری مبتنی بر توجه را برای افزایش جزئیات فضایی چند مقیاسی و ویژگی‌های معنایی معرفی کرد. علاوه بر این، U-Net سبک وزن در انتهای شبکه برای بهینه سازی مرز جاده ها متصل می شود. بنابراین، می‌توانیم جاده‌های چند مقیاسی را از تصاویر سنجش از راه دور با وضوح چندگانه استخراج کنیم. برای ارزیابی اثر هر ماژول از روش پیشنهادی، ما یک آزمایش فرسایش بر روی مجموعه داده DeepGlobe طراحی کردیم. ما D-LinkNet50 را به عنوان خط پایه انتخاب کردیم زیرا شبکه ما بر اساس آن است. بلوک باقیمانده مبتنی بر توجه و شبکه پالایش سبک وزن به ترتیب به عنوان Att_B و Ref_B نشان داده می شوند. نتیجه تجربی در جدول 5 نشان داده شده است .
نتایج تجربی نشان می دهد که ماژول های معرفی شده به طور قابل توجهی عملکرد شبکه را بهبود بخشیده اند. Att_B 0.84٪ بهبود IoU نسبت به خط پایه به دست آورد، که نشان می دهد که بافت جزئیات محلی در ویژگی های کم عمق نقش مهمی در استخراج جاده ایفا می کند، به خصوص برای جاده های باریک. Ref_B 0.77٪ بهبود IoU نسبت به خط پایه به دست آورد، که نشان می دهد ماژول بهینه سازی مرز بهتر از روش تقسیم بندی آستانه است. به طور کلی، روش ما به بهبود 1.53٪ در معیارهای IoU نسبت به خط پایه دست یافت.

4.6. مقایسه کارایی

آزمایش‌های گسترده بر روی سه مجموعه داده عمومی با وضوح‌های فضایی تصویر متفاوت ثابت کرد که روش پیشنهادی نسبت به کارهای مرتبط به پیشرفت‌های قابل توجهی دست یافته است. کارایی در تفسیر خودکار تصاویر سنجش از دور در مقیاس بزرگ نیز مهم است. بنابراین، ما روابط بین IoU دقیق با پارامترهای قابل آموزش و عملیات نقطه شناور (FLOPs) کارهای مرتبط در مجموعه داده DeepGlobe را در این بخش مورد بحث قرار می‌دهیم. نتیجه تجربی در جدول 6 نشان داده شده است .
با توجه به نتایج، روش ما به بالاترین دقت روش های مقایسه دست یافت. به طور خاص، روش پیشنهادی پارامترها و FLOPهای بسیار پایین تری نسبت به روش های از پیش آموزش دیده ResNet50 مانند DeepLabv3+ و D-LinkNet50 حفظ می کند. اگرچه D-LinkNet34 به طور قابل توجهی تعداد پارامترها و FLOP ها را کاهش داد، که از یک مدل از پیش آموزش دیده سبک تر نسبت به روش ما بهره می برد، دقت IoU نیز کاهش یافت. به طور کلی، روش ما نسبت به روش‌های مرتبط به مبادله بهتری بین دقت و کارایی دست یافت. برای مقایسه شهودی نتایج، ما رابطه بین دقت و پارامترهای قابل آموزش و FLOP ها را در شکل 15 تجسم می کنیم .

5. بحث و نتیجه گیری

برای مشکلاتی که در استخراج جاده از تصاویر سنجش از دور وجود دارد: (1) نتایج استخراج شده ناپیوسته هستند و (2) مرزهای جاده زیگزاگ و تار هستند. این کار یک شبکه آبشاری مبتنی بر توجه را برای بهینه‌سازی استخراج جاده پیشنهاد کرد. دو بخش اصلی وجود دارد: بلوک باقیمانده مبتنی بر توجه که برای حفظ جزئیات فضایی چند مقیاسی جاده‌ها معرفی شده است، و شبکه بهینه‌سازی سبک وزن که برای اصلاح مرزهای جاده‌ها طراحی شده است.
ما آزمایش‌های گسترده‌ای را روی سه مجموعه داده عمومی برای ارزیابی عملکرد روش پیشنهادی انجام دادیم. از آخرین کارهای مرتبط بهتر عمل کرد و به نتایج SOTA دست یافت. علاوه بر این، ما معیارهای جدیدی ساختیم و شرح مفصلی از تقسیم داده ها در دو مجموعه داده دیگر ارائه کردیم که برای مطالعات بعدی برای مقایسه مناسب است.
این نتایج تحقیقات نشان می‌دهد که اطلاعات ساختاری موجود در لایه‌های کانولوشن کم عمق، نقش حیاتی در بازیابی جزئیات، به‌ویژه برای اشیاء کوچک مانند ساختمان‌ها و جاده‌ها دارد. روش‌های موجود ویژگی‌هایی را از سرتاسر داده‌ها یاد می‌گیرند، که کم و بیش، دانش قبلی مانند ساختار مرز جاده را نادیده می‌گیرند. ما به تمرکز بر روی این محدودیت های ساختاری برای پرداختن به وابستگی به داده ها در روش های داده محور موجود ادامه خواهیم داد.

منابع

  1. وانگ، دبلیو. یانگ، ن. ژانگ، ی. وانگ، اف. کائو، تی. Eklund, P. مروری بر استخراج جاده از تصاویر سنجش از دور. J. Traffic Transp. مهندس (Engl. Ed.) 2016 ، 3 ، 271-282. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  2. میائو، ز. شی، دبلیو. گامبا، پی. Li, Z. یک روش مبتنی بر شی برای استخراج شبکه جاده در تصاویر ماهواره ای VHR. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2015 , 8 , 4853–4862. [ Google Scholar ] [ CrossRef ]
  3. عبدالهی، ع. پرادان، بی. شوکلا، ن. چاکرابورتی، اس. Alamri، A. رویکردهای یادگیری عمیق به کار رفته در مجموعه داده‌های سنجش از راه دور برای استخراج جاده: بررسی پیشرفته‌تر. Remote Sens. 2020 , 12 , 1444. [ Google Scholar ] [ CrossRef ]
  4. لیان، آر. وانگ، دبلیو. مصطفی، ن. روش‌های استخراج جاده در تصاویر سنجش از دور با وضوح بالا: مروری جامع. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2020 , 13 , 5489–5507. [ Google Scholar ] [ CrossRef ]
  5. چن، ال. زو، س. Xie، X. متعجب.؛ Zeng, H. استخراج جاده از تصاویر سنجش از دور VHR از طریق تقسیم بندی شیء محدود شده توسط ویژگی های گابور. ISPRS Int. J. Geo-Inf. 2018 ، 7 ، 362. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  6. بدرینارایانان، وی. کندال، ا. Cipolla، R. SegNet: معماری رمزگذار-رمزگشای پیچیده پیچیده برای تقسیم بندی تصویر. IEEE Trans. الگوی مقعدی ماخ هوشمند 2017 ، 39 ، 2481-2495. [ Google Scholar ] [ CrossRef ]
  7. چن، ال سی; زو، ی. پاپاندرو، جی. شروف، اف. آدام، اچ. رمزگذار-رمزگشا با پیچیدگی قابل جداسازی آتروس برای تقسیم بندی تصویر معنایی. در کامپیوتر ویژن-ECCV 2018 ؛ عنوان مجموعه: نکات سخنرانی در کامپیوتر، علوم; فراری، وی.، هبرت، ام.، اسمینچیسسکو، سی.، ویس، ی.، ویرایش. انتشارات بین المللی اسپرینگر: چم، سوئیس، 2018; جلد 11211، ص 833–851. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  8. او، اچ. یانگ، دی. وانگ، اس. وانگ، اس. Li, Y. استخراج جاده با استفاده از شبکه هرم فضایی Atrous Pooling یکپارچه رمزگذار-رمزگشا و از دست دادن تشابه ساختاری. Remote Sens. 2019 , 11 , 1015. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  9. وانگ، اس. مو، ایکس. یانگ، دی. او، اچ. ژائو، پی. استخراج جاده از تصاویر سنجش از دور با استفاده از پیچیدگی داخلی شبکه یکپارچه رمزگذار-رمزگشا و زمینه های تصادفی شرطی جهت دار. Remote Sens. 2021 , 13 , 465. [ Google Scholar ] [ CrossRef ]
  10. لو، ایکس. ژونگ، ی. ژنگ، ز. لیو، ی. ژائو، جی. ما، ا. یانگ، جی. چارچوب یادگیری عمیق چند مقیاسی و چند وظیفه ای برای استخراج خودکار جاده. IEEE Trans. Geosci. Remote Sens. 2019 , 57 , 9362–9377. [ Google Scholar ] [ CrossRef ]
  11. دینگ، ال. Bruzzone، L. DiResNet: شبکه باقیمانده آگاه از جهت جهت استخراج جاده در تصاویر سنجش از دور VHR. IEEE Trans. Geosci. Remote Sens. 2021 ، 1-12. [ Google Scholar ] [ CrossRef ]
  12. وو، کیو. لو، اف. وو، پی. وانگ، بی. یانگ، اچ. Wu, Y. استخراج خودکار جاده از تصاویر سنجش از دور با وضوح بالا با استفاده از روشی مبتنی بر هرم با ویژگی‌های فضایی به هم پیوسته متراکم. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2021 , 14 , 3-17. [ Google Scholar ] [ CrossRef ]
  13. شلهامر، ای. لانگ، جی. دارل، تی. شبکه های کاملاً پیچیده برای تقسیم بندی معنایی. IEEE Trans. الگوی مقعدی ماخ هوشمند 2017 ، 39 ، 640-651. [ Google Scholar ] [ CrossRef ]
  14. ژانگ، ی. ژو، جی. زو، س. زی، ی. لی، دبلیو. فو، ال. ژانگ، جی. Tan, J. ساخت محیط های فاجعه زمین لغزش مجازی شخصی شده بر اساس نمودارهای دانش و شبکه های عصبی عمیق. بین المللی جی دیجیت. زمین 2020 ، 13 ، 1637-1655. [ Google Scholar ] [ CrossRef ]
  15. بوسلایف، آ. سفربکوف، اس. ایگلوویکوف، وی. Shvets، A. شبکه کاملاً پیچیده برای استخراج خودکار جاده از تصاویر ماهواره ای. در مجموعه مقالات کنفرانس IEEE/CVF 2018 در کارگاه های آموزشی بینایی و تشخیص الگوی کامپیوتری (CVPRW)، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 22 ژوئن 2018؛ IEEE: سالت لیک سیتی، UT، ایالات متحده آمریکا، 2018؛ صفحات 197-1973. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  16. وی، ی. وانگ، ز. Xu, M. Road Structure CNN اصلاح شده برای استخراج جاده در تصویر هوایی. IEEE Geosci. سنسور از راه دور Lett. 2017 ، 14 ، 709-713. [ Google Scholar ] [ CrossRef ]
  17. باستانی، ف. او هست.؛ آببر، س. علیزاده، م. بالاکریشنان، اچ. چاولا، س. مدن، اس. DeWitt, D. RoadTracer: استخراج خودکار شبکه های جاده ای از تصاویر هوایی. در مجموعه مقالات کنفرانس IEEE/CVF 2018 در مورد دید رایانه و تشخیص الگو، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 22 ژوئن 2018؛ IEEE: سالت لیک سیتی، UT، ایالات متحده آمریکا، 2018؛ صص 4720–4728. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  18. الشهی، ر. Marpu، PR; وون، WL; Mura, MD استخراج همزمان جاده ها و ساختمان ها در تصاویر سنجش از دور با شبکه های عصبی کانولوشن. ISPRS J. Photogramm. Remote Sens. 2017 ، 130 ، 139-149. [ Google Scholar ] [ CrossRef ]
  19. گرینیاس، آی. پاناگیوتاکیس، سی. Tziritas، G. تقسیم‌بندی مبتنی بر MRF و طبقه‌بندی بدون نظارت برای تشخیص ساختمان و جاده در مناطق پیرامون شهری از تصاویر ماهواره‌ای با وضوح بالا. ISPRS J. Photogramm. Remote Sens. 2016 ، 122 ، 145-166. [ Google Scholar ] [ CrossRef ]
  20. شی، دبلیو. میائو، ز. Debayle, J. یک روش یکپارچه برای استخراج خط مرکزی جاده اصلی شهری از تصاویر سنجش از دور نوری. IEEE Trans. Geosci. Remote Sens. 2014 , 52 , 3359–3372. [ Google Scholar ] [ CrossRef ]
  21. زو، س. چن، ال. متعجب.؛ پیراسته، س. لی، اچ. Xie, X. آموزش ویژگی بدون نظارت برای بهبود قابلیت انتقال بازنمایی های حساسیت زمین لغزش. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2020 , 13 , 3917–3930. [ Google Scholar ] [ CrossRef ]
  22. زو، س. لیائو، سی. متعجب.؛ می، ایکس. Li, H. MAP-Net: شبکه عصبی مسیر حضور چندگانه برای استخراج ردپای ساختمان از تصاویر سنجش از دور. IEEE Trans. Geosci. Remote Sens. 2021 , 59 , 6169–6181. [ Google Scholar ] [ CrossRef ]
  23. لیائو، سی. متعجب.؛ لی، اچ. Ge، X. چن، ام. لی، سی. زو، کیو. یادگیری مشترک کانتور و ساختار برای استخراج ساختمان های حفظ شده با مرز. Remote Sens. 2021 , 13 , 1049. [ Google Scholar ] [ CrossRef ]
  24. زی، ی. میائو، اف. ژو، ک. Peng, J. HsgNet: یک شبکه استخراج جاده بر اساس درک جهانی از اطلاعات مکانی با مرتبه بالا. ISPRS Int. J. Geo-Inf. 2019 ، 8 ، 571. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  25. دینگ، سی. ونگ، ال. شیا، م. Lin, H. شبکه جستجوی ویژگی غیرمحلی برای بخش بندی ساختمان و جاده تصویر سنجش از دور. ISPRS Int. J. Geo-Inf. 2021 ، 10 ، 245. [ Google Scholar ] [ CrossRef ]
  26. ژائو، ایکس. تائو، آر. لی، دبلیو. فیلیپس، دبلیو. Liao، W. Fractional Gabor Convolutional Network for Multisource Remote Sensing Data Classification. IEEE Trans. Geosci. Remote Sens. 2021 , 60 . [ Google Scholar ] [ CrossRef ]
  27. رونبرگر، او. فیشر، پی. Brox، T. U-Net: شبکه های کانولوشن برای تقسیم بندی تصویر زیست پزشکی. در محاسبات تصویر پزشکی و مداخله به کمک کامپیوتر – MICCAI 2015 ; عنوان مجموعه: نکات سخنرانی در کامپیوتر، علوم; نواب، ن.، هورنگر، ج.، ولز، دبلیو ام، فرانگی، اف.اف.، ویرایش. انتشارات بین المللی Springer: چم، سوئیس، 2015; جلد 9351، ص 234–241. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  28. ژانگ، ز. لیو، کیو. وانگ، Y. استخراج جاده توسط Deep Residual U-Net. IEEE Geosci. از راه دور. سنس لت. 2018 ، 15 ، 749-753. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  29. شین، جی. ژانگ، ایکس. ژانگ، ز. Fang, W. استخراج از راه دور تصاویر سنجش از دور با وضوح بالا برگرفته از DenseUNet. Remote Sens. 2019 , 11 , 2499. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  30. چن، ز. وانگ، سی. لی، جی. زی، ن. هان، ی. Du, J. Reconstruction Bias U-Net برای استخراج جاده از تصاویر سنجش از دور نوری. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2021 , 14 , 2284–2294. [ Google Scholar ] [ CrossRef ]
  31. رن، ی. یو، ی. Guan, H. DA-CapsUNet: یک کپسول U-Net با توجه دوگانه برای استخراج جاده از تصاویر سنجش از دور. Remote Sens. 2020 , 12 , 2866. [ Google Scholar ] [ CrossRef ]
  32. او، ک. ژانگ، ایکس. رن، اس. Sun، J. یادگیری باقیمانده عمیق برای تشخیص تصویر. در مجموعه مقالات کنفرانس IEEE 2016 در مورد بینایی کامپیوتری و تشخیص الگو (CVPR)، لاس وگاس، NV، ایالات متحده آمریکا، 27 تا 30 ژوئن 2016؛ IEEE: لاس وگاس، NV، ایالات متحده آمریکا، 2016؛ صص 770-778. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  33. دیاکوگیانیس، فی. والدنر، اف. کاکتا، پی. Wu, C. ResUNet-a: یک چارچوب یادگیری عمیق برای تقسیم بندی معنایی داده های سنجش از راه دور. ISPRS J. Photogramm. Remote Sens. 2020 , 162 , 94–114. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  34. هوانگ، جی. لیو، ز. ون در ماتن، ال. واینبرگر، شبکه‌های کانولوشن با اتصال متراکم KQ. در مجموعه مقالات کنفرانس IEEE 2017 در مورد دید رایانه و تشخیص الگو (CVPR)، هونولولو، HI، ایالات متحده آمریکا، 21 تا 26 ژوئیه 2017؛ IEEE: هونولولو، HI، ایالات متحده آمریکا، 2017؛ ص 2261-2269. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  35. دای، جی. زو، تی. وانگ، ی. ما، ر. Fang, X. استخراج جاده از تصاویر ماهواره ای با وضوح بالا بر اساس توصیفگرهای متعدد. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2020 , 13 , 227–240. [ Google Scholar ] [ CrossRef ]
  36. وانگ، اس. یانگ، اچ. وو، کیو. ژنگ، ز. وو، ی. لی، جی. یک روش بهبود یافته برای استخراج جاده از تصاویر سنجش از دور با وضوح بالا که اطلاعات مرزی را افزایش می دهد. Sensors 2020 , 20 , 2064. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  37. Wegner، JD; Montoya-Zegarra، JA; شیندلر، کی. یک مدل CRF با مرتبه بالاتر برای استخراج شبکه جاده ای. در مجموعه مقالات کنفرانس IEEE 2013 در مورد بینایی کامپیوتری و تشخیص الگو، پورتلند، OR، ایالات متحده آمریکا، 23 تا 28 ژوئن 2013. IEEE: Portland, OR, USA, 2013; صفحات 1698-1705. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  38. چن، ال سی; پاپاندرو، جی. کوکینوس، آی. مورفی، ک. Yuille، AL DeepLab: Semantic Segmentation image with Deep Convolutional Nets، Atrous Convolution، و CRFهای کاملاً متصل. IEEE Trans. الگوی مقعدی ماخ هوشمند 2018 ، 40 ، 834-848. [ Google Scholar ] [ CrossRef ]
  39. چن، ز. فن، دبلیو. ژونگ، بی. لی، جی. دو، ج. وانگ، سی. استخراج جاده از کورس به ریز بر اساس مدل‌های مخلوط دیریکله محلی و یادگیری عمیق چند مقیاسی. IEEE Trans. هوشمند ترانسپ سیستم 2019 ، 21 ، 4283-4293. [ Google Scholar ] [ CrossRef ]
  40. ژانگ، ی. Xiong، Z. زنگ، ی. وانگ، سی. لی، جی. Li, X. استخراج شبکه جاده ای آگاه از توپولوژی از طریق شبکه های متخاصم مولد با نظارت. Remote Sens. 2019 , 11 , 1017. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  41. ژو، ام. سویی، اچ. چن، اس. وانگ، جی. Chen, X. BT-RoadNet: یک شبکه عصبی مرزی و آگاه از توپولوژی برای استخراج جاده از تصاویر سنجش از دور با وضوح بالا. ISPRS J. Photogramm. Remote Sens. 2020 , 168 , 288–306. [ Google Scholar ] [ CrossRef ]
  42. Sghaier، MO; Lepage، R. استخراج جاده از تصاویر نوری سنجش از دور با وضوح بسیار بالا بر اساس تجزیه و تحلیل بافت و تبدیل پرتو. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2016 ، 9 ، 1946-1958. [ Google Scholar ] [ CrossRef ]
  43. الشهی، ر. Marpu، بخش‌بندی مبتنی بر نمودار سلسله مراتبی روابط عمومی برای استخراج شبکه‌های جاده‌ای از تصاویر ماهواره‌ای با وضوح بالا. ISPRS J. Photogramm. Remote Sens. 2017 , 126 , 245–260. [ Google Scholar ] [ CrossRef ]
  44. باترا، ا. سینگ، اس. پانگ، جی. باسو، س. جواهر، ج. Paluri، M. بهبود اتصال جاده با یادگیری مشترک جهت گیری و تقسیم بندی. در مجموعه مقالات کنفرانس IEEE/CVF 2019 در مورد بینایی کامپیوتری و تشخیص الگو (CVPR)، لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، 15 تا 20 ژوئن 2019؛ IEEE: لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، 2019؛ ص 10377–10385. [ Google Scholar ] [ CrossRef ]
  45. قهوهای مایل به زرد، YQ; گائو، SH; Li، XY; چنگ، MM; Ren, B. VecRoad: کاوش نمودار تکراری مبتنی بر نقطه برای استخراج نمودارهای جاده. در مجموعه مقالات کنفرانس IEEE/CVF 2020 در مورد دید رایانه و تشخیص الگو (CVPR)، سیاتل، WA، ایالات متحده آمریکا، 13 تا 19 ژوئن 2020؛ IEEE: سیاتل، WA، ایالات متحده آمریکا، 2020؛ صص 8907–8915. [ Google Scholar ] [ CrossRef ]
  46. فو، جی. لیو، جی. تیان، اچ. لی، ی. بائو، ی. نیش، ز. لو، اچ. شبکه توجه دوگانه برای تقسیم بندی صحنه. در مجموعه مقالات کنفرانس IEEE/CVF 2019 در مورد بینایی کامپیوتری و تشخیص الگو (CVPR)، لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، 15 تا 20 ژوئن 2019؛ IEEE: لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، 2019؛ صص 3141-3149. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  47. وانگ، ایکس. گیرشیک، آر. گوپتا، ا. او، K. شبکه های عصبی غیر محلی. در مجموعه مقالات کنفرانس IEEE/CVF 2018 در مورد دید رایانه و تشخیص الگو، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 23 ژوئن 2018؛ IEEE: سالت لیک سیتی، UT، ایالات متحده آمریکا، 2018؛ صفحات 7794-7803. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  48. هو، جی. شن، ال. آلبانی، اس. سان، جی. وو، ای. شبکه های فشار و برانگیختگی. IEEE Trans. الگوی مقعدی ماخ هوشمند 2020 ، 42 ، 2011–2023. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  49. وان، جی. زی، ز. خو، ی. چن، اس. Qiu, Q. DA-RoadNet: شبکه ای با توجه دوگانه برای استخراج جاده از تصاویر ماهواره ای با وضوح بالا. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2021 , 14 , 6302–6315. [ Google Scholar ] [ CrossRef ]
  50. لی، جی. لیو، ی. ژانگ، ی. Zhang، Y. آبشاری توجه DenseUNet (CADUNet) برای استخراج جاده از تصاویر با وضوح بسیار بالا. ISPRS Int. J. Geo-Inf. 2021 ، 10 ، 329. [ Google Scholar ] [ CrossRef ]
  51. لوک، پی. کوپری، سی. چینتالا، اس. Verbeek, J. Semantic Segmentation with Adversarial Networks. arXiv 2016 , arXiv:1611.08408. [ Google Scholar ]
  52. کوستئا، دی. مارکو، ا. لئوردئانو، ام. Slusanschi، E. ایجاد نقشه‌های راه در تصاویر هوایی با شبکه‌های دشمن مولد و بهینه‌سازی مبتنی بر هموارسازی. در مجموعه مقالات کنفرانس بین المللی IEEE 2017 در کارگاه های بینایی کامپیوتری (ICCVW)، ونیز، ایتالیا، 22 تا 29 اکتبر 2017؛ IEEE: ونیز، ایتالیا، 2017؛ ص 2100–2109. [ Google Scholar ] [ CrossRef ]
  53. ژانگ، ایکس. هان، ایکس. لی، سی. تانگ، ایکس. ژو، اچ. جیائو، ال. استخراج تصویر هوایی از جاده بر اساس شبکه دشمنان مولد بهبود یافته. Remote Sens. 2019 , 11 , 930. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  54. ژو، ال. ژانگ، سی. Wu, M. D-LinkNet: لینک نت با رمزگذار از پیش آموزش دیده و پیچش گشاد شده برای استخراج جاده تصاویر ماهواره ای با وضوح بالا. در مجموعه مقالات کنفرانس IEEE/CVF 2018 در کارگاه های آموزشی بینایی و تشخیص الگوی کامپیوتری (CVPRW)، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 22 ژوئن 2018؛ IEEE: سالت لیک سیتی، UT، ایالات متحده آمریکا، 2018؛ صفحات 192-1924. [ Google Scholar ] [ CrossRef ]
  55. دمیر، من. کوپرسکی، ک. لیندنباوم، دی. پانگ، جی. هوانگ، جی. باسو، س. هیوز، اف. تویا، دی. Raskar, R. DeepGlobe 2018: چالشی برای تجزیه زمین از طریق تصاویر ماهواره ای. در مجموعه مقالات کنفرانس IEEE/CVF 2018 در کارگاه های آموزشی بینایی و تشخیص الگوی کامپیوتری (CVPRW)، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 22 ژوئن 2018؛ IEEE: سالت لیک سیتی، UT، ایالات متحده آمریکا، 2018؛ صفحات 172-17209. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  56. بهداناو، د. چو، خ. Bengio، Y. ترجمه ماشینی عصبی با یادگیری مشترک تراز و ترجمه. در مجموعه مقالات سومین کنفرانس بین‌المللی بازنمایی‌های یادگیری (ICLR)، سن دیگو، کالیفرنیا، ایالات متحده آمریکا، 7 تا 9 مه 2015. [ Google Scholar ]
  57. میلتاری، ف. نواب، ن. احمدی، SA V-Net: شبکه های عصبی کاملاً کانولوشن برای تقسیم بندی تصویر حجمی پزشکی. در مجموعه مقالات چهارمین کنفرانس بین المللی 2016 در 3D Vision (3DV)، استانفورد، کالیفرنیا، ایالات متحده آمریکا، 25-28 اکتبر 2016. IEEE: استانفورد، کالیفرنیا، ایالات متحده آمریکا، 2016؛ صص 565-571. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  58. Mnih، V. یادگیری ماشین برای برچسب گذاری تصویر هوایی. Ph.D. پایان نامه، دانشگاه تورنتو، اتاوا، ON، کانادا، 2013. [ Google Scholar ]
  59. Huawei Cloud Road Extraction Challenge 2020. در دسترس آنلاین: https://competition.huaweicloud.com/information/1000041322/introduction (در 26 دسامبر 2021 قابل دسترسی است).
  60. گنگ، ک. سان، ایکس. یان، ز. دیائو، دبلیو. Gao, X. تقطیر دانش فضایی توپولوژیکی برای استخراج جاده فشرده در تصاویر سنجش از دور نوری. Remote Sens. 2020 , 12 , 3175. [ Google Scholar ] [ CrossRef ]
  61. ژانگ، ز. Wang, Y. JointNet: یک شبکه عصبی مشترک برای استخراج جاده و ساختمان. Remote Sens. 2019 , 11 , 696. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
Ijgi 11 00009 g001 550
شکل 1. جاده هایی که با استفاده از روش های موجود استخراج می شوند، در مرز ناپیوسته و ناهموار هستند، به ویژه هنگامی که جاده ها باریک هستند، همانطور که به ترتیب در دایره های زرد و قرمز نشان داده شده است. ستون های ( a – c ) به ترتیب تصاویر نمونه، برچسب های مربوطه و نتایج استخراج شده توسط D-LinkNet50 را نشان می دهند.
Ijgi 11 00009 g002 550
شکل 2. ساختار روش پیشنهادی.
Ijgi 11 00009 g003 550
شکل 3. جزئیات ماژول توجه فضایی و مدول توجه کانال.
Ijgi 11 00009 g004 550
شکل 4. جزئیات بلوک های مرتبط. ( الف ) بلوک باقیمانده (RB). ( ب ) بلوک توجه فضایی (SA). ( ج ) بلوک توجه کانال (CA).
Ijgi 11 00009 g005 550
شکل 5. مقایسه روش های مختلف ترکیب ویژگی ها. ( الف ) همجوشی اضافه. ( ب ) همجوشی الحاقی. ( ج ) ادغام توجه کانال.
Ijgi 11 00009 g006 550
شکل 6. مقایسه نتایج روش مبتنی بر خرمنکوبی موجود و روش ما.
Ijgi 11 00009 g007 550
شکل 7. جزئیات بلوک پالایش مرز سبک وزن.
Ijgi 11 00009 g008 550
شکل 8. مجموعه داده استخراج جاده رقابت هواوی Cloud.
Ijgi 11 00009 g009 550
شکل 9. نمونه استخراج شده از روش های مرتبط در مجموعه داده ماساچوست.
Ijgi 11 00009 g010 550
شکل 10. مقایسه جزئیات محلی در مجموعه داده ماساچوست. بخش‌های فرعی ( d – i ) نتایج روش‌های مرتبط مربوط به ناحیه در تصویر اصلی ( a ) را نشان می‌دهد که با رنگ زرد مشخص شده است. بخش های فرعی ( b , c ) حقیقت پایه و روش ما هستند.
Ijgi 11 00009 g011 550
شکل 11. نمونه های استخراج شده از روش های مرتبط در مجموعه داده DeepGlobe.
Ijgi 11 00009 g012 550
شکل 12. مقایسه جزئیات محلی در مجموعه داده DeepGlobe. بخش‌های فرعی ( d – i ) نتایج روش‌های مرتبط مربوط به ناحیه در تصویر اصلی ( a ) را نشان می‌دهد که با رنگ زرد مشخص شده است. بخش های فرعی ( b , c ) حقیقت پایه و روش ما هستند.
Ijgi 11 00009 g013 550
شکل 13. نمونه های استخراج شده برای روش های مرتبط در مجموعه داده Huawei.
Ijgi 11 00009 g014 550
شکل 14. مقایسه جزئیات محلی در مجموعه داده Huawei. بخش‌های فرعی ( d – i ) نتایج روش‌های مرتبط مربوط به ناحیه در تصویر اصلی ( a ) هستند که با رنگ زرد مشخص شده‌اند. بخش های فرعی ( b , c ) حقیقت پایه و روش ما هستند.
Ijgi 11 00009 g015 550
شکل 15. مقایسه دقت در مقابل پارامترهای قابل آموزش و FLOP برای روش های مرتبط.

مقالات داخلی و بین المللی

مطالب مرتبط ...

بدون دیدگاه

دیدگاهتان را بنویسید