کلید واژه ها:
نقشه های تاریخی ; بلوک ساختمانی ؛ استخراج ویژگی ؛ توجه به شی ؛ انتقال یادگیری
1. مقدمه
2. آثار مرتبط
3. روش ها
3.1. مدل شبکه
3.1.1. معماری DOANet
3.1.2. ماژول استخراج ویژگی
برخلاف اکثر شبکههای استخراج ویژگی، HRNet از شبکههای فرعی موازی با وضوح بالا و وضوح پایین تشکیل شده است و از ترکیب ویژگیهای چند مقیاسی مکرر استفاده میکند. نقشههای ویژگی با وضوح پایین با عمق یکسان و سطوح مشابه برای بهبود ویژگیهای با وضوح بالا استفاده میشوند و شبکه را قادر میسازد تا اطلاعات محلی را با استحکام قوی ضبط کند. بر اساس HRNet، DOANet از شش رمزگذار و شش رمزگشا تشکیل شده است ( شکل 4) که باعث کاهش اتصالات لایه های هم مقیاس در شبکه اصلی و تقویت اتصالات بین لایه های مقیاس های مختلف می شود. علاوه بر این، به دلیل تعداد کم رمزگذارها، رمزگشاهای کمتری مورد نیاز است و در نتیجه اندازه شبکه کاهش مییابد. هر رمزگذار از Leaky-ReLU به عنوان تابع فعال سازی استفاده می کند که با عملیات عادی سازی دسته ای تکمیل می شود تا پایداری پارامترهای مدل را بهبود بخشد. از آنجایی که استخراج اطلاعات ساختمان از نقشههای تاریخی یک مشکل طبقهبندی باینری است، یعنی برچسبها فقط شامل پسزمینه و ساختمانها میشوند، آنتروپی متقاطع به عنوان تابع ضرر L استفاده میشود :
که در آن y i برچسب نمونه i است که برای طبقه بندی مثبت یک و برای طبقه بندی منفی صفر است و p i احتمال این است که نمونه i به طور مثبت پیش بینی شود.
3.1.3. ماژول توجه
ماژول توجه متقاطع [ 40 ] در شکل 5 در این مطالعه استفاده شد. این ماژول میتواند وابستگی هر پیکسل را به بقیه پیکسلهای تصویر ثبت کند، در نتیجه توانایی شبکه را برای استخراج اطلاعات متنی بهبود میبخشد. ابتدا بعد نقشه ویژگی H به اندازه C × W × H با دو پیچش 1 × 1 کاهش می یابد و دو نقشه ویژگی Q و K به دست می آید. سپس، برای هر پیکسل u در نقشه ویژگی Q ، یک بردار کانال Q u با اندازه 1 × 1 × C′ به دست می آید و تمام پیکسل های موجود در همان سطر و ستون پیکسل u برای ساختن یک بردار ویژگی Ω u با اندازه ( H + W − 1) × C استفاده می شود. سپس، وابستگی d i,u هر پیکسل u در نقشه ویژگی Q به بردار ویژگی Ω u از طریق عملیات میل محاسبه می شود:
که در آن Q i,u بردار کانال i Ω u را نشان می دهد . نقشه توجه A با اندازه ( H + W – 1) × W × H پس از لایه SoftMax به دست می آید. علاوه بر این، نقشه ویژگی V با اندازه C × W × H از طریق پیچیدگی 1×1 دیگری از نقشه ویژگی H به دست می آید . بردار ویژگی Ψ i,u در همان سطر و ستون هر پیکسل u در V نقطه ضرب در بردار ویژگی A i,u است.در موقعیت مربوطه، و محصولات نقطهای برای همه پیکسلها اضافه میشوند تا ویژگی تجمع باقیمانده در موقعیت به دست آید، که سپس به بردار ویژگی اصلی Hu اضافه میشود تا بردار ویژگی Hu ” با قابلیت نمایش ویژگی قویتر به دست آید. معادله به صورت زیر ترسیم شده است:
3.2. یادگیری انتقالی
4. آزمایشات
برای ارزیابی کارایی DOANet و مقایسه نتایج با نتایج الگوریتمهای تقسیمبندی معنایی موجود، مجموعه داده برای وظیفه 1 (تشخیص بلوکهای ساختمانی) در مسابقه ICDAR2021 در بخشبندی نقشه تاریخی [ 42 ]] برای آموزش، اعتبارسنجی و آزمایش الگوریتم ها استفاده شد. مجموعه داده شامل نقشه های شهری پاریس در مقیاس بزرگ است که مربوط به سال های 1860 تا 1940 است که توسط کتابخانه ملی فرانسه جمع آوری شده است، که شامل یک تصویر آموزشی، یک تصویر اعتبار سنجی و سه تصویر آزمایشی است. وضوح هر تصویر حداقل 8000 × 6000 است. بلوک های ساختمان در تصاویر آموزشی و اعتبار سنجی به صورت دستی حاشیه نویسی شدند. یک پنجره کشویی 512 × 512 با اندازه گام 200 برای برش تصویر آموزشی و تصویر اعتبار سنجی (شامل تصاویر حاشیه نویسی مربوطه) استفاده شد و سپس بلوک های تصویر برش خورده به عنوان مجموعه داده در آزمایش استفاده شد. سپس مجموعه داده به یک مجموعه آموزشی و یک مجموعه اعتبار سنجی با نسبت 8:2 تقسیم شد. در مجموع 2237 نمونه آموزشی و 559 نمونه اعتبار سنجی به دست آمد. قبل از آموزش، هر نمونه آموزشی در یک تصویر آینه ای به بالا و پایین و چپ و راست برگردانده می شود و سپس به طور تصادفی یک بار در 45 درجه چرخانده می شود. ICDAR2021 یک شاخص استاندارد برای ارزیابی نتایج آزمایش ارائه می دهد که به شرح زیر محاسبه می شود:
که در آن PQ امتیاز جمع است، SQ میانگین تقاطع بیش از اتحادیه ( mIoU )، RQ امتیاز F است و TP ، FP و FN به ترتیب نشان دهنده مثبت واقعی، مثبت کاذب و منفی کاذب هستند.
4.1. نتایج
4.2. تجزیه و تحلیل فرسایش
5. نتیجه گیری ها
منابع
- دومینیک، ک. Jacek، K. ناتالیا، ک. الژبیتا، ز. کریستوف، او. کاتارزینا، او. اورس، جی. کاتالینا، ام. Volker، CR بازسازی پوشش جنگلی در مقیاس وسیع از نقشه های توپوگرافی تاریخی. Appl. Geogr. 2016 ، 67 ، 39-48. [ Google Scholar ] [ CrossRef ]
- شبیتا، بی. Knoblock، CA؛ Duan، WW; چیانگ، YY; Uhl، JH; Leyk، S. داده های مکانی-زمانی مرتبط با ساختمان از نقشه های تاریخی برداری شده. در مجموعه مقالات کنفرانس وب معنایی گسترده 2020، هراکلیون، یونان، 1 تا 4 ژوئن 2020؛ ص 409-426. [ Google Scholar ]
- Uhl، JH; لیک، اس. چیانگ، YY; Duan، WW; Knoblock، CA استخراج خودکار الگوهای استقرار انسانی از سری نقشه های توپوگرافی تاریخی با استفاده از شبکه های عصبی کانولوشنال تحت نظارت ضعیف. دسترسی IEEE 2020 ، 8 ، 6978–6996. [ Google Scholar ] [ CrossRef ]
- آندراد، اچ جی. فرناندز، BJ سنتز تصاویر شهری ماهواره مانند از نقشه های تاریخی با استفاده از GAN شرطی. IEEE Geosci. سنسور از راه دور Lett. 2020 ، 19 ، 3000504. [ Google Scholar ] [ CrossRef ]
- یوان، XH; شی، ج.اف. Gu, LC مروری بر روشهای یادگیری عمیق برای تقسیمبندی معنایی تصاویر سنجش از دور. سیستم خبره Appl. 2021 ، 169 ، 114-147. [ Google Scholar ] [ CrossRef ]
- Can، YS; گریتز، پی جی. Kabadayi، ME تشخیص خودکار انواع جاده ها از سومین نقشه برداری نظامی سری نقشه های تاریخی اتریش-مجارستان با شبکه های عصبی کانولوشنال عمیق. دسترسی IEEE 2021 ، 9 ، 62847–62856. [ Google Scholar ] [ CrossRef ]
- Uhl، JH; لیک، اس. چیانگ، YY; Duan، WW; Knoblock، CA استخراج ردپای سکونت انسانی از سری نقشه های توپوگرافی تاریخی با استفاده از یادگیری ماشین مبتنی بر زمینه. در مجموعه مقالات هشتمین کنفرانس بین المللی سیستم های تشخیص الگو (ICPRS 2017)، مادرید، اسپانیا، 28 تا 31 اکتبر 2017؛ صص 1-6. [ Google Scholar ]
- او، KM; ژانگ، XY؛ Ren, SQ; Sun، J. یادگیری باقیمانده عمیق برای تشخیص تصویر. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو (CVPR 2016)، لاس وگاس، NV، ایالات متحده آمریکا، 26 تا 30 ژوئن 2016؛ صص 770-778. [ Google Scholar ]
- سگدی، سی. لیو، دبلیو. جیا، YQ; سرمانت، پ. رید، اس. آنگلوف، دی. ایرهان، د. ونهوک، وی. رابینوویچ، الف. با پیچیدگی ها عمیق تر رفتن. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو (CVPR 2015)، بوستون، MA، ایالات متحده آمریکا، 7-9 ژوئن 2015. صفحات 1-9. [ Google Scholar ]
- سیمونیان، ک. زیسرمن، الف. شبکه های پیچیده بسیار عمیق برای تشخیص تصویر در مقیاس بزرگ. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو (CVPR 2015)، بوستون، MA، ایالات متحده آمریکا، 7-9 ژوئن 2015. ص 16-24. [ Google Scholar ]
- روساکوفسکی، او. دنگ، ج. سو، اچ. کراوز، جی. ستایش، س. ما، س. هوانگ، ژ. کارپاتی، ا. خسلا، ع. برنشتاین، ام. و همکاران چالش تشخیص بصری در مقیاس بزرگ ImageNet. بین المللی جی. کامپیوتر. Vis. 2015 ، 115 ، 211-252. [ Google Scholar ] [ CrossRef ]
- لین، TY; مایر، م. بلنگی، اس. هیز، جی. پرونا، پی. رامانان، دی. دلار، پی. Zitnick، CL مایکروسافت COCO: اشیاء مشترک در زمینه. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر (ECCV 2014)، زوریخ، سوئیس، 7-9 سپتامبر 2014. صص 740-755. [ Google Scholar ]
- کوردتس، ام. عمران، م. راموس، اس. رهفلد، تی. انزوایلر، م. بننسون، آر. فرانکه، یو. راث، اس. Schiele, B. مجموعه داده های Cityscapes برای درک معنایی صحنه شهری. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو (CVPR 2016)، لاس وگاس، NV، ایالات متحده آمریکا، 26 تا 30 ژوئن 2016؛ صص 3212–3223. [ Google Scholar ]
- چیانگ، YY; Duan، WW; لیک، اس. Uhl، JH; Knoblock، CA با استفاده از نقشههای تاریخی در مطالعات علمی: کاربردها، چالشها و بهترین روشها . Springer: برلین، آلمان، 2020؛ صص 10-25. شابک 978-3-319-66907-6. [ Google Scholar ]
- سان، ک. شیائو، بی. لیو، دی. Wang, JD Deep Representation Representation Learning for Human Pose Estimation. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو (CVPR 2019)، لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، 16 تا 20 ژوئن 2019؛ صص 5693-5703. [ Google Scholar ]
- یوان، YH; چن، XK; چن، XL; وانگ، ترانسفورماتور تقسیمبندی JD: بازنماییهای شی-متن برای تقسیمبندی معنایی. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر (ECCV 2020)، گلاسکو، بریتانیا، 23 تا 28 اوت 2020؛ ص 1417–1438. [ Google Scholar ]
- هاو، NR; واینمن، جی. گووار، ج. شمجی، الف. مدلهای بخش قابل تغییر شکل برای ارجاع خودکار به تصاویر نقشه تاریخی. در مجموعه مقالات بیست و هفتمین کنفرانس بین المللی ACM SIGSPATIAL در مورد پیشرفت در سیستم های اطلاعات جغرافیایی (ICAGIS 2019)، شیکاگو، IL، ایالات متحده آمریکا، 5 تا 8 نوامبر 2019؛ صص 540-543. [ Google Scholar ]
- هایتسلر، ام. Hurni، L. باز کردن قفل گذشته جغرافیایی با یادگیری عمیق – ایجاد یک مرکز برای داده های نقشه تاریخی در سوئیس. در مجموعه مقالات بیست و نهمین کنفرانس بین المللی کارتوگرافی (ICC 2019)، توکیو، ژاپن، 15 تا 20 ژوئیه 2019؛ صص 1-10. [ Google Scholar ]
- آسوکان، ع. آنیتا، جی. چیوبانو، ام. گابور، ا. نااجی، ع. Hemanth، J. تکنیک های پردازش تصویر برای تجزیه و تحلیل تصاویر ماهواره ای برای طبقه بندی نقشه های تاریخی – یک مرور کلی. Appl. علمی 2020 ، 10 ، 4207. [ Google Scholar ] [ CrossRef ]
- گارسیا-مولسوسا، ا. اورنگو، HA; لارنس، دی. فیلیپ، جی. هاپر، ک. پتری، کالیفرنیا پتانسیل تقسیم بندی یادگیری عمیق برای استخراج ویژگی های باستان شناسی از سری نقشه های تاریخی. آرکائول. چشم انداز. 2021 ، 28 ، 187-199. [ Google Scholar ] [ CrossRef ]
- چن، YZ; کارلینت، ای. Chazalon، J. مالت، سی. دومنیو، بی. Perret, J. ترکیب یادگیری عمیق و ریخت شناسی ریاضی برای تقسیم بندی نقشه های تاریخی. در مجموعه مقالات کنفرانس بین المللی هندسه گسسته و ریخت شناسی ریاضی (DGMM 2021)، آپسال، سوئد، 24 تا 27 مه 2021؛ صص 79-92. [ Google Scholar ]
- چیانگ، YY; Knoblock، CA استخراج داده های بردار جاده از نقشه های Raster. در مجموعه مقالات هشتمین کارگاه بین المللی شناخت گرافیک (GREC 2009)، لاروشل، فرانسه، 11 تا 13 ژوئیه 2009. صص 93-105. [ Google Scholar ]
- چیانگ، YY; لیک، اس. Knoblock، CA تشخیص گرافیک کارآمد و قوی از نقشه های تاریخی. در مجموعه مقالات هشتمین کارگاه بین المللی شناخت گرافیک (GREC 2011)، سئول، کره، 21 تا 22 سپتامبر 2011. صص 25-35. [ Google Scholar ]
- چن، ی. وانگ، آر اس؛ Qian, J. استخراج خطوط کانتور از نقشه های توپوگرافی شرطی مشترک. IEEE Trans. Geosci. Remote Sens. 2006 , 44 , 1048-1057. [ Google Scholar ] [ CrossRef ]
- Miao، QG; Xu، PF; لیو، تی جی; یانگ، ی. Zhang، JY جداسازی ویژگی خطی از نقشه های توپوگرافی با استفاده از چگالی انرژی و تبدیل برشی. IEEE Trans. فرآیند تصویر 2013 ، 22 ، 1548-1558. [ Google Scholar ] [ CrossRef ]
- Liu, Y. An Automation System: Generation of Digital Map Data from Pictorial Map Resources. تشخیص الگو 2002 ، 35 ، 1973-1987. [ Google Scholar ] [ CrossRef ]
- میوشی، تی. لی، WQ; کاندا، ک. یاماشیتا، اچ. Nakamae, E. استخراج خودکار ساختمان ها با استفاده از ویژگی های هندسی یک نقشه توپوگرافی اسکن شده. در مجموعه مقالات هفدهمین کنفرانس بین المللی شناخت الگو (ICPR 2004)، استکهلم، سوئد، 26 اوت 2004; صص 626-629. [ Google Scholar ]
- لیک، اس. Boesch, R. Colors of the Past: تقسیم بندی تصویر رنگی در نقشه های توپوگرافی تاریخی بر اساس همگنی. Geoinformatica 2010 ، 14 ، 1-21. [ Google Scholar ] [ CrossRef ]
- Alganci، U. سویداس، م. سرتل، ای. تحقیق مقایسه ای روی رویکردهای یادگیری عمیق برای تشخیص هواپیما از تصاویر ماهواره ای با وضوح بسیار بالا. Remote Sens. 2020 , 12 , 458. [ Google Scholar ] [ CrossRef ]
- چنگ، جی. Xie, XX; هان، JW; گوا، ال. Xia، طبقهبندی صحنه تصویر سنجش از دور GS با یادگیری عمیق مواجه میشود: چالشها، روشها، معیارها و فرصتها. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2020 , 13 , 3735–3756. [ Google Scholar ] [ CrossRef ]
- وو، SD؛ هایتسلر، ام. Hurni، L. استفاده از تخمین عدم قطعیت و ادغام هرم فضایی برای استخراج ویژگی های هیدرولوژیکی از نقشه های توپوگرافی تاریخی اسکن شده. گیسی. Remote Sens. 2022 , 59 , 200–214. [ Google Scholar ] [ CrossRef ]
- اکیم، بی. سرتل، ای. Kabaday، ME استخراج خودکار جاده از نقشه های تاریخی با استفاده از تکنیک های یادگیری عمیق: مطالعه موردی منطقه ای ترکیه در نقشه جنگ جهانی دوم آلمان. ISPRS Int. J. Geo-Inf. 2021 ، 10 ، 492. [ Google Scholar ] [ CrossRef ]
- سعیدی مقدم، م. استپینسکی، استخراج خودکار نقاط تقاطع جاده ای TF از سری نقشه های تاریخی USGS با استفاده از شبکه های عصبی کانولوشنال عمیق. بین المللی جی. جئوگر. Inf. علمی 2020 ، 34 ، 947-968. [ Google Scholar ] [ CrossRef ]
- Schlegel, I. استخراج خودکار برچسب ها از نقشه های تاریخی در مقیاس بزرگ. گیس چابک. 2021 ، 2 ، 1-14. [ Google Scholar ] [ CrossRef ]
- Duan، WW; چیانگ، YY; لیک، اس. Uhl، JH; Knoblock، CA تراز خودکار داده های برداری معاصر و نقشه های تاریخی جغرافیایی مرجع با استفاده از یادگیری تقویتی. بین المللی جی. جئوگر. Inf. علمی 2019 ، 34 ، 824-849. [ Google Scholar ] [ CrossRef ]
- Li, Z. ایجاد نقشه های تاریخی از نقشه های آنلاین. در مجموعه مقالات بیست و هفتمین کنفرانس بینالمللی ACM SIGSPATIAL در مورد پیشرفتها در سیستمهای اطلاعات جغرافیایی، شیکاگو، IL، ایالات متحده آمریکا، 5 تا 8 نوامبر 2019؛ صص 610-611. [ Google Scholar ]
- Xia، GS; بای، ایکس. دینگ، جی. زو، ز. بلنگی، اس. لو، جی بی؛ داتکو، ام. پلیلو، ام. Zhang، LP DOTA: مجموعه داده در مقیاس بزرگ برای تشخیص اشیاء در تصاویر هوایی. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو (CVPR 2018)، سالت لیک سیتی، GA، ایالات متحده آمریکا، 18 تا 22 ژوئن 2018؛ صص 3974–3983. [ Google Scholar ]
- هایتسلر، ام. هورنیم، ال. بازسازی نقشهبرداری ردپای ساختمان از نقشههای تاریخی: مطالعه روی نقشه زیگفرید سوئیس. ترانس. GIS 2020 ، 24 ، 442-461. [ Google Scholar ] [ CrossRef ]
- Uhl، JH; لیک، اس. چیانگ، YY; Duan، WW; Knoblock، CA فضایی سازی عدم قطعیت در بخش بندی تصویر با استفاده از شبکه های عصبی کانولوشنال تحت نظارت ضعیف: مطالعه موردی از پردازش نقشه تاریخی. فرآیند تصویر IET 2018 ، 12 ، 2084–2091. [ Google Scholar ] [ CrossRef ]
- هوانگ، ZL; وانگ، XG; هوانگ، ال سی. هوانگ، سی. وی، YC; لیو، WY CCNet: توجه متقاطع برای تقسیم بندی معنایی. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر (ICCV 2019)، سئول، کره، 27 تا 31 اکتبر 2019؛ صص 603-612. [ Google Scholar ]
- پان، SJ; یانگ، کیو. نظرسنجی در مورد یادگیری انتقالی. IEEE Trans. بدانید. مهندسی داده 2010 ، 22 ، 1345-1359. [ Google Scholar ] [ CrossRef ]
- Chazalon، J. کارلینت، ای. چن، YZ; پرت، جی. دومنیو، بی. مالت، سی. ژرو، تی. نگوین، وی. نگوین، ن. بالون، ج. و همکاران مسابقه ICDAR 2021 در بخش بندی نقشه های تاریخی. در مجموعه مقالات شانزدهمین کنفرانس بین المللی تحلیل و شناسایی اسناد (ICDAR 2021)، لوزان، سوئیس، 5 تا 10 سپتامبر 2021؛ صص 693-707. [ Google Scholar ]
- جی، SP; استخراج Wei, SQ Building از طریق شبکه های عصبی کانولوشنال از مجموعه داده ساختمان سنجش از دور باز. Acta Geod. کارتوگر. گناه 2019 ، 48 ، 448-459. [ Google Scholar ] [ CrossRef ]









بدون دیدگاه