نقشه برداری آسیب ساختاری مبتنی بر پهپاد: یک بررسی

خلاصه

شناسایی و شناسایی آسیب بلایای ساختاری یکی از قدیمی‌ترین چالش‌های سنجش از راه دور است و کاربرد تقریباً هر نوع حسگر فعال و غیرفعال مستقر در سکوهای مختلف هوا و فضا مورد ارزیابی قرار گرفته است. گسترش و پیشرفت روزافزون وسایل نقلیه هوایی بدون سرنشین (پهپادها) در سال‌های اخیر، به دلیل وضوح فضایی بالا، تصاویر استریو و مشتقات حاصله، و انعطاف‌پذیری پلت فرم، فرصت‌های جدیدی را برای نقشه‌برداری آسیب‌ها باز کرده است. این مطالعه مروری جامع از چگونگی نقشه‌برداری آسیب مبتنی بر پهپاد از ارائه مروری ساده توصیفی از علم بلایا، به بافت پیچیده‌تر و رویکردهای مبتنی بر بخش‌بندی، و در نهایت به مطالعات با استفاده از رویکردهای یادگیری عمیق پیشرفته ارائه می‌کند. و همچنین تصاویر چند زمانی و چند منظره برای ارائه توضیحات جامع آسیب. این مقاله بیشتر مطالعاتی را در مورد کاربرد استراتژی‌های نقشه‌برداری توسعه‌یافته و خطوط لوله پردازش تصویر برای اولین پاسخ‌دهندگان، با تمرکز به‌ویژه بر نتایج دو پروژه تحقیقاتی اخیر اروپایی، RECONASS (برنامه‌ریزی بازسازی و بازیابی: آسیب ساخت‌وساز سریع و به‌روز شده و ارزیابی نیازهای مرتبط بررسی می‌کند. ) و INACHUS (راه حل های فن آوری و روش شناختی برای آگاهی از وضعیت یکپارچه منطقه گسترده و بومی سازی بازماندگان برای پشتیبانی از تیم های جستجو و نجات). در نهایت، پیشرفت‌های اخیر و نوظهور مورد بررسی قرار می‌گیرند، مانند پیشرفت‌های اخیر در یادگیری ماشین، افزایش استقلال نقشه‌برداری، نقشه‌برداری آسیب در فضای داخلی، محیط‌های محروم از GPS، کاربرد پهپادها برای نقشه‌برداری و نگهداری زیرساخت،

کلید واژه ها:

پهپاد ; بینایی کامپیوتری ؛ ابرهای نقطه ای ; یادگیری ماشینی ؛ سی ان ان ; GAN ; اولین پاسخ دهنده ؛ RECONASS ; ایناچوس

1. معرفی

1.1. نقشه برداری آسیب های سازه ای با سنجش از دور

اولین تلاش سیستماتیک ارزیابی خسارت پس از فاجعه با فناوری سنجش از دور به سال 1906 برمی گردد، زمانی که بخش هایی از زلزله زده سانفرانسیسکو با یک دوربین 20 کیلوگرمی که بر روی مجموعه ای از بادبادک ها در ارتفاع 800 متری بالای صحنه فاجعه قرار گرفته بود، نقشه برداری شد. 1 ]. این باعث می‌شود نقشه‌برداری آسیب یکی از قدیمی‌ترین کاربردها در حوزه سنجش از دور باشد، اما همچنین یکی از معدود برنامه‌هایی است که همچنان از راه‌حل‌های عملیاتی قوی فرار می‌کند و موضوع تحقیقات فعال باقی می‌ماند. از روزهای اولیه پیشگامی، تقریباً هر نوع حسگر فعال و غیرفعال بر روی پلتفرم‌های هوابرد نصب شده است که از متصل به خودگردان یا خلبانی، و همچنین ماهواره‌هایی که در پیکربندی‌های مداری یا شبکه‌ای مختلف کار می‌کنند، برای تلاش برای شناسایی خودکار آسیب به طور فزاینده‌ای نصب شده‌اند.2 ، 3 ]. با این حال، علی‌رغم بیش از یک قرن تحقیق و پیشرفت‌های فن‌آوری فوق‌العاده چه در بخش سخت‌افزار و چه در بخش محاسباتی، نقشه‌برداری آسیب مبتنی بر تصویر عملیاتی، مانند منشور بین‌المللی «فضا و بلایای بزرگ» یا خدمات مدیریت اضطراری کوپرنیک (EMS) ، همچنان یک تمرین تا حد زیادی دستی است (به عنوان مثال، [ 4 ، 5 ]).

منشور و فعال سازی EMS بر روی یک نوع خاص چالش برانگیز از نقشه برداری آسیب متمرکز هستند. هر دو نیاز به پاسخگویی به طیف وسیعی از انواع بلایای طبیعی و انسانی دارند، و انتظار می‌رود که اولین نقشه‌ها ظرف چند ساعت پس از دریافت تصویر در دسترس باشند، در حالی که الگوهای آسیب خاص و تشخیص آن‌ها تابع تعدادی متغیر است. نوع شناسی ساختمان، پیکربندی فضایی و مصالح ساختمانی متفاوت است و شاخص های آسیب قابل تشخیص به شدت به نوع خطر و بزرگی آن بستگی دارد. نوع تصویر، از نظر ویژگی‌های فضایی و طیفی، و همچنین زاویه برخورد، اما همچنین شرایط محیطی مانند مه یا پوشش ابر، بسیار متفاوت است و توسعه الگوریتم‌های تشخیص آسیب عمومی و گسترده را به چالش می‌کشد. نقشه‌برداری آسیب‌های مبتنی بر ماهواره دارای این معایب اضافی است که آسیب‌هایی که ممکن است به طور کاملاً متغیر در هر یک از نماهای ساختمان، سقف آن و همچنین فضای داخلی آن بیان شود، تا حد زیادی به یک بعد کاهش می‌یابد، چشم‌انداز شبه عمودی که بر روی ساختمان متمرکز است. سقف تشخیص آسیب در واقعیت سپس با استفاده از پراکسی ها، مانند شواهدی از زباله های نزدیک یا سرنخ های آسیب مرتبط با امضاهای سایه خاص پشتیبانی می شود.6 ، 7 ]. موفقیت‌های قابل‌توجهی در نقشه‌برداری آسیب‌های مبتنی بر ماهواره، به ویژه در مواردی که داده‌های راداری دارای مزیت هستند، به‌ویژه رادار دیافراگم مصنوعی تداخل سنجی [ 8 ] و پلاریمتری [ 9 ] وجود داشته است. در جاهایی که الگوهای آسیب از نظر ساختاری مشخص هستند، مانند دیوارهای پایه باقی مانده پس از سونامی توهوکو (ژاپن) در سال 2011، از شدت پس پراکندگی ساده نیز برای تشخیص آسیب استفاده شده است [ 10 ]. الگوریتم‌های پیشرفته یادگیری ماشین، از جمله شبکه‌های عصبی کانولوشنال (CNN)، برای تشخیص اشکال مختلف آسیب ساختمان با داده‌های رادار استفاده می‌شوند [ 11 ].

تلاش‌ها برای پردازش داده‌های ماهواره‌ای نوری برای نقشه‌برداری سریع آسیب نیز در جهت یادگیری ماشین در حال حرکت است. این شامل روش های مبتنی بر شبکه های عصبی مصنوعی [ 12 ]، و به طور فزاینده ای نیز CNN [ 13 ، 14 ، 15 ، 16 ] است. مطالعات از نظر جاه‌طلبی نقشه‌برداری متفاوت هستند، با هدف بسیاری از آنها فقط طبقه‌بندی دوتایی (آسیب/بدون آسیب؛ [ 12 ])، و هنوز هیچ مدرکی مبنی بر استفاده عملیاتی از روش‌های نوظهور وجود ندارد. با این حال، مجموعه داده ماهواره ای xBD اخیراً منتشر شده حاوی بیش از 700000 برچسب آسیب ساختمان و مربوط به 8 نوع مختلف فاجعه است [ 17 ]] به توسعه و محک زدن متدولوژی های جدید کمک خواهد کرد.

1.2. محدوده بررسی

بنابراین، نقشه‌برداری خودکار آسیب مبتنی بر ماهواره، حداقل از نظر روش‌شناسی همه‌کاره که می‌تواند به آسانی آسیب‌های ساختاری ناشی از انواع رویدادها را در محیط‌های متنوع ترسیم کند، پیشرفت محدودی را نشان داده است. در عین حال، تکثیر و رشد سریع وسایل نقلیه هوایی بدون سرنشین (پهپادها/پهپادها) در سال‌های اخیر، چشم‌اندازهای جدید گسترده‌ای را برای ارزیابی سریع و دقیق آسیب ساختاری ایجاد کرده است که تمرکز این بررسی است. ما سیستم‌های تاریخی، عمدتاً نظامی، مانند هواپیماهای شناسایی بدون خلبان که به جنگ جهانی دوم بازمی‌گردد، در نظر نمی‌گیریم. در عوض، ما بر مجموعه پلتفرم‌هایی تمرکز می‌کنیم که از هواپیماها و هلیکوپترهای کنترل‌شده از راه دور (عمدتاً سرگرم‌کننده) تکامل یافته‌اند، با اولین مطالعات علمی مستند شده در مورد واکنش بلایا مبتنی بر پهپاد به حدود سال 2005 [ 18 ].]. این بازنگری همچنین شامل ارزیابی خسارت غیرساختاری، مانند مطالعات در مورد خسارت محصول یا جنگل نمی شود. همچنین مسائل مربوط به ارتباطات پهپاد (به عنوان مثال، استفاده از پهپادها برای ایجاد شبکه‌های ارتباطی موقت در مناطق فاجعه‌بار)، و همچنین مطالعاتی در مورد شبکه هواپیماهای بدون سرنشین یا بهینه‌سازی زمان‌بندی را پوشش نمی‌دهد. برای هر دو بررسی خوب از قبل وجود دارد (به عنوان مثال، [ 19 ، 20 ]).

این بررسی شامل نشریات بررسی شده است که در Scopus و Web of Science نمایه شده‌اند، به جای ارائه داده‌ها برای ارزیابی بصری، بر تحقیق در مورد تشخیص خودکار آسیب تمرکز می‌کنند، و قرار نیست جامع باشد. در حالی که موضوع در حوزه سنجش از راه دور جا افتاده است و میزان مطالعات نسبتاً کم است، تعدادی مقاله کاربردی بدون تازگی قابل توجهی وجود دارد که در اینجا حذف شده اند. مقاله بر اساس مشارکت اخیر کنفرانس [ 21]، اگرچه تمرکز آن مقاله بر نتایج دو پروژه تحقیقاتی اروپایی در اینجا به یک مطالعه مروری جامع گسترش یافته است. علاوه بر ردیابی پیشرفت‌های فنی و روش‌شناختی مرتبط در تشخیص آسیب، ما وضعیت فعلی هنر را ترکیب می‌کنیم و جهت‌های تحقیقاتی فعلی و در حال ظهور را ارزیابی می‌کنیم. علاوه بر این، ما قابلیت استفاده واقعی و ارزش عملی روش‌های در حال ظهور را برای نقشه‌برداری آسیب عملیاتی، از جمله برای نقشه‌برداری محلی توسط اولین پاسخ‌دهنده، ارزیابی می‌کنیم. در بخش بعدی، انتشارات مربوطه در مورد استفاده از پهپادها برای نقشه برداری آسیب های سازه ای بررسی شده، با افزایش پیچیدگی فنی مرتب شده اند، و خلاصه ای در جدول 1 ارائه شده است .

2. نقشه برداری آسیب مبتنی بر پهپاد

2.1. شناسایی صحنه و تصویربرداری ساده

مزیت اصلی یک پهپاد در شرایط فاجعه، نقطه برتری آن است، یک موقعیت انعطاف پذیر که می تواند هم نماهای همدید و هم جزئیات یک صحنه بالقوه پیچیده را ارائه دهد و همچنین بر محدودیت های دسترسی غلبه کند. بنابراین، مطالعات اولیه بر روی تصویربرداری صحنه متمرکز بود، و با ارائه یک چشم انداز هوایی نسبتا کم هزینه به پاسخ دهندگان بلایا کمک می کرد [ 22 ]. با بهره گیری از ساختار کارآمد فزاینده ناشی از حرکت (SfM) و مفاهیم بازسازی سه بعدی که در آن زمان پدیدار شد (به عنوان مثال، [ 23 ])، در برخی از مطالعات اولیه، داده ها قبلاً برای استخراج تصاویر زمین مرجع [ 24 ]، اطلاعات زمین / مدل های ارتفاعی دیجیتال پردازش شده بودند. DEM) [ 18 ]، یا orthophotos [ 25 ]/orthomosaics [ 26 ]]. در مواردی بدون خط لوله پردازش کامل و در جایی که هیچ داده DEM مناسبی وجود نداشت، تصاویر شبه راست‌سازی (با فرض ارتفاع زمین ثابت) ایجاد شد. به جای تصاویر ثابت، داده های ویدئویی نیز در زمان واقعی منتقل شدند تا امکان بازرسی آسیب بصری فراهم شود [ 27 ].

در سال‌های پس از مطالعات اولیه، با وجود پیشرفت‌ها در سیستم‌های پهپاد خارج از قفسه، یا ظهور ArduPilot در سال 2007 برای بهبود پایداری پرواز پهپاد، یا Pix4D (Pix4D، سوئیس) در سال 2011، پیشرفت روش‌شناسی کمی در نقشه‌برداری آسیب حاصل شد. برای پردازش آسان تر عکس فتوگرامتری طیف وسیعی از مطالعات ظاهر شد که اساساً همچنان بر ارائه تصویر یا پردازش فتوگرامتری ساده، با استفاده از سیستم‌های هلیکوپتر کنترل‌شده از راه دور [ 28 ]، چند کوپتر [ 29 ، 30 ، 31 ، 32 ] یا پهپادهای بال ثابت [ 33 ، 34 ، 35 ].

2.2. روش‌های مبتنی بر بافت و تقسیم‌بندی

تلاش‌های اولیه برای استخراج اطلاعات آسیب به طور خودکار از داده‌های پهپاد بر اساس رویکردهای مبتنی بر بخش‌بندی و بافت، با استفاده از تصاویر تک زمانی بود. فرناندز گالارتا و همکاران [ 36 ] تصاویر پهپاد از محل زلزله 2012 امیلیا رومانیا (ایتالیا) را در مدل های سه بعدی دقیق پردازش کرد. این کار رویکردهای قبلی توسعه یافته برای سیستم پیکتومتری هوابرد (پایلوت) را که تصاویر مورب، همپوشانی و چند منظری مشابهی را ارائه می‌دهد، اقتباس و گسترش داد. همچنین، آن تصاویر به صورت فتوگرامتری پردازش شده بودند [ 37 ]، و برای ارزیابی آسیب ساختاری استفاده شده بودند [ 38 ، 39 ]. تجزیه و تحلیل [ 36] روی شاخص‌های آسیب هندسی مانند دیوارهای شیبدار یا سقف‌های تغییر شکل یافته و همچنین وجود توده‌های زباله ( شکل 1 ) متمرکز شده است. علاوه بر این، تجزیه و تحلیل تصویر مبتنی بر شی (OBIA) بر روی تصاویر برای استخراج ویژگی‌های آسیب مانند ترک‌ها یا سوراخ‌ها، اما همچنین شناسایی آن ویژگی‌های آسیب که با عناصر ساختاری باربر ظاهری تلاقی می‌کنند، انجام شد. یک استراتژی مشابه OBIA توسط [ 40 ] برای شناسایی آسیب در شهر میانژو، تحت تأثیر زلزله ونچوان در سال 2008 استفاده شد.

2.3. طبقه بندی کننده های معمولی

کار فرناندز گالارتا و همکاران. اهمیت اطلاعات هندسی را در تشخیص آسیب، به ویژه بازشوها در سقف ها و نماها نشان داد. وتریول و همکاران [ 41 ] کار را با توسعه روشی برای جداسازی ساختمان‌های منفرد از یک ابر نقطه‌ای مشتق شده از تصویر دقیق که محله‌ای از Mirabello (ایتالیا) شامل نزدیک به 100 ساختمان را پوشش می‌دهد، پیش برد. سپس هر یک از آن‌ها تحت جستجوی دهانه‌های منتسب به آسیب‌های لرزه‌ای، مانند فروریختن جزئی سقف یا سوراخ‌های نما قرار گرفتند، تمرکزی مشابه [ 42 ].]. شکاف ها بر اساس موجک های گابور و همچنین هیستوگرام ویژگی های جهت گیری گرادیان (HoG) شناسایی شدند. دو الگوریتم اصلی یادگیری ماشین، ماشین بردار پشتیبان (SVM) و جنگل تصادفی (RF)، برای شناسایی مناطق آسیب دیده بر اساس توصیفگرهای رادیومتریک، با میزان موفقیت تقریباً 95٪ استفاده شد. با این حال، این کار همچنین نشان داد که چگونه تقسیم‌بندی ابرهای نقطه‌ای اغلب توسط مصنوعات و شکاف‌های داده‌ای مانع می‌شود. در [ 43 ]، رویکردی برای غلبه بر این مشکل ایجاد شد: پس از نمایش بخش‌های سه بعدی برگرفته از ابر نقطه اولیه در فضای تصویر، بخش‌بندی بعدی با استفاده از ویژگی‌های هندسی و رادیومتری، بخش‌های ساختمانی دقیق‌تر و کامل‌تری را به‌دست آورد.

جدول 1. خلاصه مقالات فنی مربوطه بررسی شده در بخش 2 ، سازماندهی شده بر اساس سطح پیچیدگی فنی.

کار در [ 41 ] کار همچنین محدودیت‌های فیلترهای HoG و Gabor را در طبقه‌بندی صحنه‌های پیچیده و نمایش‌های ویژگی‌های جهانی در کلیات نشان داد. زمانی که ویژگی‌های صحنه و تصویر متفاوت است، موارد دوم باعث ایجاد مشکلاتی می‌شوند، که معمولاً بین مناطق مختلف فاجعه یا در ارزیابی‌های چند زمانی اتفاق می‌افتد. کار شرح داده شده در [ 68] به سمت توصیف کننده هایی حرکت کرد که نسبت به ویژگی های تصویر قابل تعمیم و تغییر ناپذیرتر هستند. این روش بر اساس رویکرد Visual Bag of Words ساخته شده بود و بر روی تشخیص قلوه سنگ، انبوه زباله و ریزش شدید تمرکز داشت. این روش به ترتیب بر روی پهپادهای منفرد و همچنین مجموعه داده‌های Pictometry Mirabello (ایتالیا) و پورتو پرنس (هائیتی) خوب عمل کرد، اما همچنین روی مجموعه داده‌ای که دو مجموعه داده هوابرد را با تصاویر عرضی سطح خیابان ترکیب می‌کردند. محدودیت روش این است که مبتنی بر شبکه است و تنها می تواند لکه های آسیب کلی را شناسایی کند، به عنوان مثال، سلول های شبکه تحت تأثیر یک یا چند نوع آسیب در نظر گرفته شده، محدودیتی نیز در مطالعه [ 50 ] مشهود است.]، که از RF روی سوپرپیکسل ها استفاده کرد. محلی سازی دقیق و مشخصه (اندازه، شکل، و غیره) آسیب های یک نوع خاص ترجیح داده می شود، هر چند این به قیمت افزایش زمان پردازش تمام می شود.

2.4. یادگیری ماشین پیشرفته و ظهور CNN

طبقه‌بندی تصویری که برای نقشه‌برداری آسیب استفاده می‌شود، به طور فزاینده‌ای از یادگیری ماشینی، به‌ویژه SVM و RF [ 41 ، 54 ، 69 ] یا الگوریتم‌های تقویت‌کننده مختلف، مانند AdaBoost [ 38 ] یا XGBoost [ 58 ] استفاده می‌کند و به سمت درک صحنه‌های پیشرفته‌تر حرکت می‌کند. پردازش معنایی با این حال، ویژگی‌های مورد استفاده معمولاً دست ساز بودند (مانند HoG یا Gabor، یا سایر توصیف‌کننده‌های ویژگی نقطه‌ای مربوط به ویژگی‌های طیفی، بافتی، و هندسی [ 54 ])، و کارهای نوظهور نشان داده بود که در رویکردهای یادگیری عمیق CNN واقعاً می‌تواند یاد بگیرد. ویژگی ها و نمایش آنها به طور مستقیم از مقادیر پیکسل تصویر [ 70]. بنابراین، کار تشخیص آسیب در این جهت پیش رفت و این فرضیه را مطرح کرد که طبقه‌بندی تصویر از ریز انتشار ویژگی‌های ابر نقطه سه بعدی سود می‌برد. کار شرح داده شده در [ 55 ] یک چارچوب یادگیری چند هسته ای را بر روی چندین مجموعه از تصاویر هوایی متنوع اعمال کرد و نشان داد که ترکیب اطلاعات رادیومتری و هندسی دقت طبقه بندی بالاتری را به همراه دارد. پردازش بر اساس سوپرپیکسل‌های خوشه‌بندی تکراری خطی ساده (SLIC) بود، به این معنی که آسیب‌ها دوباره فقط در وصله‌ها شناسایی شدند، اگرچه آن‌ها با امتیازهای پیش‌بینی خاصی برچسب‌گذاری شدند. سونگ و همکاران [ 66 ] همچنین با سوپرپیکسل های SLIC کار کرد، اگرچه برخلاف [ 55 ]] جایی که آنها مبنای تجزیه و تحلیل ML را تشکیل داده بودند، در اینجا ابتدا یک تشخیص آسیب مبتنی بر CNN مستقیماً روی تصویر انجام شد و بخش‌های SLIC سپس در ترکیب با مورفولوژی ریاضی برای اصلاح نتایج استفاده شدند. در [ 67 ] رویکرد مشابهی اتخاذ شد، با این تفاوت که به جای SLIC یک تقسیم بندی چند وضوحی انجام شد تا امکان استفاده موثر از ویژگی هایی که به طور طبیعی در مقیاس های فضایی مختلف وجود دارند، باشد. رویکرد CNN توسعه یافته در [ 55 ] نیز توسط Cusicanqui و همکاران استفاده شد. [ 71]، که استدلال کردند که داده های ویدیویی اغلب قبل از عکس های ثابت مناسب (مثلاً توسط پلیس یا رسانه ها به دست آمده) در دسترس هستند. بنابراین در این مطالعه آزمایش شد که آیا بازسازی‌های سه بعدی مبتنی بر داده‌های ویدیویی می‌توانند پشتیبانی مشابهی ارائه دهند یا خیر، و در واقع نشان داده شد که یک طبقه‌بندی آسیب باینری بر اساس یادگیری عمیق اعمال شده در سوپرپیکسل‌های SLIC و مدل‌های سه‌بعدی منجر به نتایج قابل مقایسه با نتایج مبتنی بر عکس‌های تصویری می‌شود. عکس ها

اهمیت ویژه کار در [ 55 ] برای پاسخ به بلایا و جستجو و نجات این بود که این روش قابلیت انتقال قابل توجهی را نشان داد، که در ادبیات اخیر به یک تمرکز مکرر تبدیل شده است. مدلی که با تعداد کافی نمونه آموزش داده شده است (مثلاً قبل از یک رویداد واقعی آموزش داده شده) هنگامی که در یک صحنه فاجعه جدید اعمال می شود عملکرد خوبی داشت و از تجزیه و تحلیل سریع بدون نیاز به بازآموزی گسترده پشتیبانی می کند. این رویکرد می تواند به غلبه بر محدودیت سنتی CNN، یعنی نیاز آنها به مقدار زیادی از داده های آموزشی برچسب گذاری شده کمک کند. رویکرد متفاوتی توسط لی و همکاران اتخاذ شد. [ 62]، که از یک رمزگذار خودکار کانولوشنال (CAE) استفاده کرد که با استفاده از تصاویر بدون برچسب پس از فاجعه بر اساس سوپرپیکسل‌های SLIC آموزش دیده بود و نتایج توسط یک طبقه‌بندی‌کننده CNN تنظیم شده بود. در کار بعدی [ 63 ]، نویسندگان علاوه بر این، از طیف وسیعی از روش‌های تقویت داده‌ها، مانند محو کردن یا چرخش داده‌ها، برای بزرگ‌تر کردن تعداد نمونه‌ها استفاده کردند. پیش‌آموزش حاصل، دقت تشخیص آسیب کلی را تا 10 درصد بهبود بخشید.

سناریوهای فاجعه اغلب با در دسترس بودن داده های تصویری ناقص مشخص می شوند و تلاش برای واکنش سریع باید با آنچه وجود دارد کنار بیاید. از این نظر ارزشمند است که بتوان تصاویری از انواع و مقیاس‌های مختلف را در مدل آموزشی گنجاند. دوارته و همکاران [ 56] یک CNN را با انواع مختلف تصاویر هوایی برای طبقه بندی داده های ماهواره ای پس از فاجعه پورتو پرنس آموزش داد. اگرچه اطلاعات بدست آمده از وضوح تصویر متفاوت به وضوح دقت مدل و طبقه بندی را بهبود بخشید، اما این رویکرد هنوز نتوانست ویژگی های آسیب کوچکتر را ثبت کند. این کار همچنین بر تعیین تأثیر اطلاعات چند مقیاسی بر روی لایه‌های فعال‌سازی CNN به‌عنوان پروکسی برای بهبود تشخیص آسیب متمرکز بود، در حالی که اجازه نمی‌داد ارزیابی دقیق از جایی که بهبود طبقه‌بندی از نظر مثبت و منفی کاذب یا انواع آسیب‌های خاص منشأ گرفته است. . کار بعدی بر روی همجوشی ویژگی های چند رزولوشن و تأثیر آن بر طبقه بندی آسیب ساختمان متمرکز شد [ 57]. این نشان داد که چنین همجوشی مفید است و می‌تواند دقت کلی را بهبود بخشد، اگرچه هنوز نتوانسته است نشان دهد کدام نوع آسیب خاص شناسایی شده‌اند و تا چه اندازه به خوبی ضبط شده‌اند.

کار قبلی نشان داده بود که بیان آسیب ساختاری در داده های عمودی و مایل چقدر متغیر است [ 6 ]. اولی اساساً فقط آسیب بیان شده در سقف را در نظر می گیرد و علاوه بر این از پراکسی هایی مانند انبوه زباله برای پیکربندی های سایه خاص استفاده می کند [ 7 ]. همانطور که قبلاً در بخش 2.1 توضیح داده شد، اطلاعات اضافی مهم نیز در اطلاعات نما کدگذاری می شود . با این حال، رویکرد مبتنی بر OBIA برای مثال در [ 36] به بیش از حد برازش تمایل دارد و کارایی و قابلیت انتقال یادگیری عمیق را ندارد. در حالی که تمرکز بر نماها جذاب است، ترسیم واقعی آنها در تصاویر چالش های خاص خود را ایجاد می کند، به ویژه هنگامی که جنبه هایی مانند انسداد یا اثرات محیطی مانند سایه ها را در نظر می گیریم ( شکل 2 ). کار شرح داده شده در [ 51] بنابراین بر توسعه یک روش کارآمد برای استخراج نماها متمرکز شد که متعاقباً از نظر آسیب با استفاده از CNN ارزیابی شدند. این رویکرد از یک ابر نقطه ای محاسبه شده از تصاویر عمودی به دست آمده در یک بررسی اولیه پهپاد استفاده کرد. از ابر نقطه پراکنده، سقف‌های ساختمان تقسیم‌بندی شدند و نماهای ساختمان فرضیه شدند، که به نوبه خود برای استخراج نماهای واقعی از تصاویر مورب پهپاد استفاده شد. طبقه‌بندی آسیب‌های مبتنی بر لکه دارای دقت کلی تقریباً ۸۰٪ بود، اگرچه کار همچنین چالش قابل‌توجه شناسایی آسیب در نماها را به دلیل پیچیدگی‌های معماری و الگوهای سایه‌های متنوع مرتبط، اما همچنین انسداد (توسط ویژگی‌های خارجی مانند پوشش گیاهی، یا داخلی مانند بالکن).

منطقی است که برخی از ابهامات را می توان با تجزیه و تحلیل داده های چند منظر (نماهای یک نما از زوایای مختلف که فراتر از همپوشانی استریوسکوپی معمولی است)، اما همچنین با ترکیب داده های چند زمانی در صورت وجود، برطرف شد. اکثر مطالعاتی که در بالا توضیح داده شد فقط از تصاویر پس از فاجعه استفاده کردند. با این حال، در چند سال اخیر در دسترس بودن تصاویر مرجع قبل از رویداد با وضوح فضایی بالا به سرعت در حال رشد بوده است. این منجر به پیشرفت‌های روش‌شناختی دیگری شده است که بر اساس تشخیص آسیب مبتنی بر بخش‌بندی و بافت که در بالا توضیح داده شد، ساخته شده‌اند و آنها را به یک چارچوب چند زمانی گسترش می‌دهند. وتریول و همکاران [ 47] از داده‌های قبل و بعد از زلزله لاکویلا (ایتالیا) استفاده کرد و بر شناسایی بخش‌های سه بعدی گمشده در داده‌های پس از فاجعه به‌عنوان شاخص آسیب تمرکز کرد. هر دو رویکرد مبتنی بر وکسل و بخش مورد آزمایش قرار گرفتند و در نهایت یک روش بخش‌بندی ترکیبی که یک تقسیم‌بندی یکپارچه نقطه‌ای قبل و بعد از رویداد را به تقسیم‌بندی مبتنی بر صفحه انجام می‌داد انتخاب شد. اگرچه کار با داده های معمولی هوابرد، در [ 61] این مفروضات همچنین در یک چارچوب CNN مورد آزمایش قرار گرفتند، که در آن 6 رویکرد چند زمانی مختلف با 3 رویکرد تک زمانی مقایسه شدند. نتیجه گیری شد که رویکرد چند زمانی با 3 دیدگاه در هر دوره قبل و بعد از رویداد بهترین عملکرد را داشت. همچنین، در اینجا آسیب‌های کوچک‌تر ویژگی‌های تشخیص نادیده گرفته شده است. با این حال، نویسندگان انتظار نتایج بهتری با داده‌های پهپاد دارند، با توجه به اینکه مشکل انسداد را می‌توان از طریق گرفتن تصویر انعطاف‌پذیرتر کاهش داد.

2.5. سطوح نقشه برداری خسارت بلایا

تلاش‌های اولیه در واکنش به بلایا با تصاویر ماهواره‌ای، مناطق آسیب‌دیده را به‌طور کلی‌تر شناسایی کرد، در حالی که داده‌های هوابرد برای شناسایی پراکسی‌های آسیب خاص، معمولاً توده‌های زباله (به عنوان مثال، [ 72 ]) استفاده شد. به‌ویژه در سال‌های اخیر، دقت طبقه‌بندی کلی و امتیازهای f رایج‌ترین معیارهای مورد استفاده برای ارزیابی اثربخشی یک روش نقشه‌برداری آسیب معین، و قضاوت در مورد پیشرفت در این رشته بوده‌اند. با این حال، این تمرکز از غیرقابل مقایسه بودن ذاتی بسیاری از مطالعات انجام شده تا به امروز، و عدم وجود مقیاس کلی آسیب پذیرفته شده غفلت می کند. معرفی مقیاس کلان لرزه ای اروپا در سال 1998 (EMS-98) با گروه بندی آسیب های سازه ای ساختمان در 5 دسته، D1 (آسیب ناچیز/خفیف) – D5 (تخریب) به همگن سازی و همسویی گسترده تلاش ها منجر شد.73 ]. با تکیه بر استفاده رایج آن در تشخیص آسیب مبتنی بر ماهواره (به عنوان مثال، [ 74 ، 75 ، 76 ])، بعداً کاربرد آن برای نقشه برداری آسیب مبتنی بر پهپاد مورد بررسی قرار گرفت. به عنوان مثال، [ 38 ] آسیب های ساختمان را بر اساس EMS-98 طبقه بندی کرد، اگرچه با تشخیص تنوع و ابهام الگوهای آسیب مشاهده شده، هدف مطالعه طبقه بندی آسیب به صورت خودکار نبود، مگر در مواردی که مدل سه بعدی به وضوح فروپاشی کامل را نشان داد (D5). . همچنین، مطالعات [ 36 ، 48 ، 77 ] از این مقیاس به عنوان مبنا استفاده کردند و [ 31 ] حتی یک سطح آسیب ^{ششم را اضافه کردند.}

یکی از پیامدهای چالش مستمر نگاشت آسیب مبتنی بر تصویر این است که، در حالی که تعیین D1 و D5 نسبتاً آسان است اما مراحل آسیب میانی آسان نیست، بسیاری از مطالعات از طرح طبقه‌بندی 5 سطحی خارج شده‌اند. کار در [ 50 ] در عوض رویکرد 4 کلاسه (آسیب دست نخورده، سبک، متوسط و سنگین) را انتخاب کرد، در حالی که چندین مطالعه آسیب را در 3 کلاس گروه بندی کردند. با این حال، حتی در یکی از این دسته‌بندی‌ها، سطوح آسیب/نام کلاس‌ها متفاوت است و قابلیت مقایسه را محدود می‌کند. به عنوان مثال، Zeng et al. [ 40 ] ساختمان های دست نخورده، آسیب دیده و تخریب شده را نقشه برداری کردند، در حالی که Vetrivel و همکاران. [ 47 ] طبقات را بدون آسیب، سطوح پایین تر آسیب، و بسیار آسیب دیده/ فرو ریخته نامیدند، و Song و همکاران. [ 66] ساختمان های دست نخورده، نیمه فروریخته و فروریخته را با تفاوت در تعریف طبقاتی که فراتر از معناشناسی است، متمایز کرد. با این حال، اکثر مطالعات اخیر یک طبقه‌بندی باینری ساده را انتخاب کردند، یا به طور صریح هر دو ساختار آسیب‌دیده و آسیب‌دیده را ترسیم کردند (به عنوان مثال، [ 12 ، 49 ، 55 ، 65 ، 67 ])، یا فقط به طور کلی آسیب را در یک کلاس نگاشت کردند [ 51 ] ، 61 ]. علاوه بر این، مطالعاتی وجود دارد که بر شناسایی انواع آسیب‌های خاص، مانند سوراخ‌های سقف [ 41 ، 42 ]، یا کاشی‌های سقف و ترک‌های در امتداد دیوارها تمرکز دارند [ 36 ]]. سایرین کلاس‌های آسیب و پروکسی را با هم ترکیب کردند، مانند [ 62 ]، که ساختارهای آسیب‌دیده و آسیب‌دیده را ترسیم کردند، اما همچنین زباله‌ها را به عنوان یک کلاس جداگانه ترسیم کردند. انتخاب خلاقانه نام کلاس ها بیشتر مانع مقایسه بین مطالعات مختلف می شود. لی و همکاران [ 63 ] از طبقات خفیف آسیب دیده و ویرانه استفاده کردند، در حالی که Xu و همکاران. [ 54 ] مقوله‌های نقشه‌برداری از جمله سقف، زمین، زباله‌ها و اشیاء کوچک. دشواری نقشه برداری آسیب مبتنی بر تصویر منجر به تمرکز بر کلاس های آسیب شدید (D4-5) شده است و مطالعاتی مانند [ 42] که صراحتاً بر آسیب کمتر (D2-3) یک استثنا تمرکز می کنند. رویکردهای مبتنی بر یادگیری عمیق مخصوصاً برای طبقه‌بندی باینری مناسب هستند، این دلیل دیگری است که به دلیل اتوماسیون فقط یک کلاس آسیب منفرد در حال حاضر اغلب در نظر گرفته می‌شود.

2.6. مورد ویژه نقشه برداری آسیب زیرساخت

تمرکز این بررسی بر آسیب های سازه ای ساختمان است. با این حال، یکی از سریع‌ترین حوزه‌های کاربرد پهپاد در سال‌های اخیر، نظارت بر زیرساخت و تشخیص شاخص‌های آسیب مرتبط با فرسودگی و تخریب، مانند جاده‌ها، پل‌ها یا تونل‌ها است. با مطالعاتی مانند Dominici و همکاران، خطوط بین رشته ها تار شده است. [ 32] به ساختارهای منظم و زیرساخت ها می پردازد. علاوه بر این، از دیدگاه روش‌شناختی، مطالعات متمرکز بر ارزیابی ترک یا ریزش در امتداد پل‌ها یا تونل‌ها نیز برای جامعه نقشه‌برداری خسارت فاجعه مرتبط است و آسیب به زیرساخت‌های ناشی از حوادث بلایا به طور طبیعی نیز در محدوده این بررسی قرار می‌گیرد. به همین دلیل، مقالاتی که پیشرفت‌های کلیدی در نظارت بر زیرساخت و نقشه‌برداری آسیب را نشان می‌دهند به طور خلاصه در اینجا مرور می‌شوند.

بررسی اخیر دورافشان و مگوایر [ 52 ] یک مرور کلی از چالش های خاص بازرسی و نگهداری پل ارائه می دهد، و اینکه چگونه پهپادها، چه با حسگرهای فعال و چه با حسگرهای غیرفعال، شروع به تبدیل شدن به یک ابزار معمولی می کنند. در یک مطالعه اولیه توسط Whang و همکاران. [ 22 ]، یک پهپاد با دو روتور کواکسیال برای انجام بازرسی پل تا حدودی خودمختار، در محدوده‌های محدود، حتی در مناطق محروم از GPS در زیر پل، توسعه یافت. علاوه بر این، این سیستم توانست یک مریخ نورد کوچک مستقل را با استفاده از مکان یابی اولتراسونیک روی پل قرار دهد و تصاویری را برای بازرسی آسیب ارائه کند. با این حال، جزئیات کمی در مورد روش های واقعی و عملکرد سیستم در مقاله ارائه شده است. نویسندگان [ 44] روی تشخیص ترک‌های خستگی کوچک بر روی پل‌ها، ارزیابی ارزش روشنایی فعال و انجام آزمایش‌های آزمایشگاهی کنترل‌شده برای تعیین محدودیت‌های تشخیص و رویکردهای بهینه نقشه‌برداری متمرکز بود.

به طور فزاینده ای، تمرکز بر بازسازی سه بعدی مبتنی بر تصویر یا لیزر از پل یا تونل مورد نظر، به عنوان مبنایی برای شناسایی بصری یا خودکار آسیب بوده است. در [ 78 ] دقت و در نتیجه کاربرد چنین مدل‌های سه‌بعدی مورد ارزیابی قرار گرفت، و [ 45 ] همچنین ارزیابی شد که چگونه ساختارهای پیچیده پل را می‌توان با روش‌های SfM بازسازی کرد، علاوه بر این، محاسبات حجم سه‌بعدی یا نمونه‌های تقسیم عمده را انجام داد. کار [ 79 ] صراحتاً بر روی تشخیص آسیب لرزه‌ای بر روی پل‌ها، همچنین با استفاده از بازسازی‌های سه بعدی مبتنی بر پهپاد متمرکز بود، اگرچه در اینجا با داده‌های مدل‌سازی اطلاعات ساختمان (BIM) قبل از رویداد شروع می‌شود که با آسیب‌های شناسایی‌شده به‌روزرسانی می‌شوند. اکبر و همکاران [ 46] به نظارت بر سلامت سازه (SHM) سازه‌های بلند پرداخته است، با تمرکز بر ایجاد مدل سه بعدی جامع از طریق ویژگی‌های مقاوم سریع (SURF)، و بر روی تشخیص ویژگی‌های آسیب شبیه‌سازی شده بر روی دال‌های بتنی بزرگ، اگرچه جزئیات کمی در مورد الگوریتم تشخیص آسیب واقعی ارائه می‌کند. .

یادگیری عمیق با CNN نیز در SHM استفاده می شود. در [ 53 ] یک شبکه AlexNet برای تشخیص ترک های کوچک در دیوارهای بتنی، گزارش دقت نزدیک به 95٪ و همچنین آزمایش قابلیت انتقال شبکه آموزش دید. دقت های قابل مقایسه توسط لیانگ [ 64 ] گزارش شد، که علاوه بر این، شبکه های GoogleNet و VGG-16 را برای تشخیص آسیب زلزله بر روی یک پل آزمایش کرد.

3. آسیب به محصول و قابلیت استفاده سیستم

نقشه برداری خسارت پس از فاجعه هدف خاصی را دنبال می کند، یعنی ارائه اطلاعات به موقع، دقیق و عملی به طیفی از ذینفعان. اینها شامل آژانس‌های حفاظت مدنی می‌شوند که اقدامات واکنش اضطراری را برنامه‌ریزی می‌کنند، اما همچنین فرماندهان حادثه و اولین امدادگرانی که در محل واقعی فاجعه فعالیت می‌کنند. یکی از پیامدهای در دسترس بودن رو به رشد فناوری پهپاد، کاهش نیاز به تکیه بر پروتکل های رسمی مانند منشور یا EMS است و در عوض اجازه نقشه برداری آسیب واقعی مبتنی بر سایت را می دهد. بنابراین جای تعجب است که قابلیت استفاده از خطوط لوله جمع آوری داده (شامل ابزارهای برنامه ریزی، اجزای سخت افزاری، و روال های پردازش داده) و همچنین محصولات نقشه برداری آسیب حاصله، به ندرت در ادبیات بررسی شده در این مقاله در نظر گرفته شده است. این بخش به طور خلاصه دو پروژه تحقیقاتی اخیر را با تمرکز قوی بر ارزیابی آسیب ساختاری مبتنی بر پهپاد معرفی می‌کند و از آن‌ها تعدادی از انتشارات بررسی شده در این مقاله پدید آمده است. در این پروژه ها نیز طیفی از کاربران نهایی مختلف شرکت کردند و ارزیابی آنها از رویه های نقشه برداری آسیب توسعه یافته نیز خلاصه شده است.

3.1. تشخیص آسیب در دو پروژه تحقیقاتی اروپایی

RECONASS (برنامه‌ریزی بازسازی و بازیابی: آسیب‌های ساختمانی سریع و به‌روز شده و ارزیابی نیازهای مرتبط؛ www.reconass.eu) و INACHUS (راه‌حل‌های فن‌آوری و روش‌شناختی برای آگاهی از وضعیت یکپارچه منطقه وسیع و جستجوی بازمانده و محلی‌سازی سازمان، www . inachus.eu ) پروژه های تحقیقاتی بودند که از طریق ^{هفتم بودجه تامین شده بودند}چارچوب اتحادیه اروپا، که از سال 2013 تا پایان سال 2018 با برخی همپوشانی ها اجرا شد. تمرکز RECONASS ایجاد سیستمی برای نظارت و ارزیابی آسیب برای ساختمان های فردی با ارزش بالا، بر اساس طیف وسیعی از سنسورهای نصب شده داخلی بود که شامل شتاب‌سنج‌ها، شیب‌سنج‌ها و برچسب‌های موقعیت، با داده‌هایی که در یک مدل پایداری ساختاری اجزای محدود پردازش می‌شوند تا خسارات ناشی از فعالیت‌های لرزه‌ای یا انفجارهای داخلی یا خارجی را تعیین کنند. بازسازی سه‌بعدی ساختمان بر اساس پهپاد و نقشه‌برداری دقیق آسیب برای اصلاح شکاف‌های داده‌ای ناشی از شکست‌خوردگی گره‌های حسگر و همچنین اعتبارسنجی خروجی‌های مدل انجام شد. روش های توسعه یافته به تدریج در یک سری آزمایش آزمایش شدند، به اوج خود رسید که در آن یک ساختمان بتنی 3 طبقه ابتدا در معرض انفجار 400 کیلوگرم TNT قرار گرفت که در فاصله 13 متری قرار داشت و بعداً توسط یک بار 15 کیلوگرمی در خود سازه منفجر شد. کاربران نهایی، از جمله آژانس فدرال امداد فنی آلمان (THW)، برای ارزیابی سودمندی سیستم حضور داشتند.

هدف INACHUS کمک به واکنش در برابر بلایا و نیروهای جستجو و نجات شهری با ارائه اطلاعات اولیه و با جزئیات بیشتر در مورد نقاط آسیب و مکان احتمالی بازماندگان بود. پلتفرم های مختلف پهپاد، و همچنین ابزارهای اسکن لیزری زمینی و قابل حمل، برای نقشه برداری یک ساختار آسیب دیده استفاده شد. یک تمرکز تحقیقاتی بر روی بازسازی صحنه و نقشه برداری آسیب بر اساس تصاویر نوری از یک پهپاد ارزان قیمت بود. آزمایشگاه سنجش از دور فرانسوی ONERA همچنین پهپادهای مختلف بزرگتری را که اسکنرهای لیزری مختلف را حمل می‌کردند، تا حدی با راه‌حل‌های پردازش داده اختصاصی، مستقر کرد. خلبان های اصلی نیز توسط گروهی از کاربران نهایی مورد ارزیابی قرار گرفتند.

3.2. آزمایش با کاربران نهایی در دو پروژه تحقیقاتی اروپایی

هر دو RECONASS و INACHUS شامل تعدادی آزمایش آزمایشی بودند، که در آن ابتدا اجزا یا مجموعه‌ای از آنها و سپس کل سیستم‌ها تحت شرایط نسبتاً واقعی آزمایش شدند. برای آزمایش‌های انفجار در سوئد، داده‌ها با استفاده از هگزاکوپتر Aibot X6 که دوربین Canon D600 با لنز 20 میلی‌متری Voigtländer را حمل می‌کرد، به‌دست آمد. علاوه بر داده‌های مرجع، تصاویر پس از انفجارهای بیرونی و داخلی، با فاصله نمونه‌برداری از زمین (GSD) تقریباً 1.5 سانتی‌متر به‌دست آمد. از این تصاویر، ابرهای نقطه سه بعدی دقیق محاسبه و تجزیه و تحلیل شدند. داده ها برای شناسایی دهانه های مربوط به آسیب، مانند دیوارهای پرکننده آسیب دیده یا منفجر شده در اثر انفجار، و همچنین ترک ها و آوارها مناسب بودند. علاوه بر این، تغییر شکل‌های ظریف نما را می‌توان تشخیص داد و کمیت کرد ( شکل 3، هر دو فقط از ابر نقطه پس از انفجار استفاده می کنند، و همچنین در مقایسه با داده های مرجع قبل از رویداد. همچنین نشان داده شد که چگونه یک مدل BIM از سازه می تواند به طور خودکار به روز شود، هم برای تجسم و هم فهرست کردن اطلاعات دقیق آسیب. THW یک ایستگاه توتال LEICA TM30 را برای بررسی ساختار از 4 نقطه مرجع، با استفاده از 16 منشور نصب شده بر روی سازه مستقر کرد. در حالی که کل ایستگاه این مزیت را دارد که یک سازه را می توان به طور مداوم برای تغییر شکل‌های کوچک زیر نظر گرفت – زمانی که پرسنل امداد در نزدیکی یا درون ساختار ضعیف عمل می‌کنند بسیار مهم است – داده‌های به دست آمده از پهپاد داده‌های آسیب را با کیفیت قابل مقایسه، با انعطاف‌پذیری بیشتر و هزینه کمتر، از جمله سقفی که بررسی های زمینی نمی توانند آن را ببینند و به طور بالقوه از فاصله ایمن تر عمل می کنند.

چهار آزمایش آزمایشی INACHUS در 4 سایت مختلف در فرانسه و آلمان انجام شد و شامل ساختمان‌های در حال تخریب و همچنین یک سایت آموزشی جستجو و نجات شهری (پایگاه آموزشی Weeze در آلمان) بود. در پاسخ به انتقاد کاربران نهایی در RECONASS مبنی بر هزینه بالای پهپاد Aibot (حدود 40000 یورو)، در INACHUS از پهپادهای ارزان قیمت DJI (Phantom 4 و Mavic Pro) استفاده شد. پیروی از دستورالعمل های تحقیقاتی شرح داده شده در بخش 2.3 و بخش 2.4، کار کمتر بر بازسازی صحنه ساده متمرکز بود، اما بر روی ادغام با سایر داده های فضایی، و همچنین تجزیه و تحلیل داده های پیشرفته، از جمله با CNN تمرکز داشت. برای هر یک از خلبانان، ساختمان مورد نظر نیز توسط ONERA با استفاده از ابزار لیزری مختلف و همچنین با TLS مورد بررسی قرار گرفت تا نقاط قوت مربوط به هر سیستم را شناسایی کند. آزمایشات اولیه با اسکنرهای لیزری مبتنی بر پهپاد شکست خورد. ابتدا یک ابزار Riegl VZ-1000 (وزن حدود 10 کیلوگرم) روی یک هلیکوپتر RMAX یاماها (وزن 60 کیلوگرم) مستقر شد، اگرچه داده های به دست آمده از آثار باستانی رنج می بردند و مفید نبودند. همچنین، داده‌های به‌دست‌آمده با Velodyne HDL32 (وزن تنها 1.3 کیلوگرم) مستقر در یک هلیکوپتر VARIO BENZIN (وزن کمی کمتر از 10 کیلوگرم) به دلیل سکوی بسیار ناپایدار، برای تشخیص آسیب غیرقابل استفاده بود. برای خلبان نهایی، یک Riegl VUX-1 با کیفیت بالا بر روی یک پلت فرم هگزاکوپتر پایدار DJI Matrice 600 نصب شده است. داده ها عالی بودند، اگرچه سیستم ترکیبی نیز بسیار پرهزینه است (بیش از 80000 یورو) و به دانش تخصصی برای برنامه ریزی و اجرای پرواز و همچنین پردازش داده ها نیاز دارد. نقشه برداری با داده های نوری بر روی استفاده از داده های به دست آمده با دوربین های داخلی Phantom 4 و Mavic Pro متمرکز شد (هزینه های کمتر از 2000 یورو)، و در طول مسیر بینایی کامپیوتر و یادگیری ماشین که قبلا توضیح داده شد، پیشرفت کرد. داده‌های سه‌بعدی به‌دست‌آمده از تصاویر نوری از کیفیت قابل مقایسه با داده‌های VUX-1 برخوردار بودند، در حالی که اطلاعات رنگی طبیعی، جزئیات فضایی بهتر و پوشش کامل نماها را نیز ارائه می‌کردند. 000 EUR) و به دانش تخصصی برای برنامه ریزی و اجرای پرواز و همچنین پردازش داده ها نیاز دارد. نقشه برداری با داده های نوری بر روی استفاده از داده های به دست آمده با دوربین های داخلی Phantom 4 و Mavic Pro متمرکز شد (هزینه های کمتر از 2000 یورو)، و در طول مسیر بینایی کامپیوتر و یادگیری ماشین که قبلا توضیح داده شد، پیشرفت کرد. داده‌های سه‌بعدی به‌دست‌آمده از تصاویر نوری از کیفیت قابل مقایسه با داده‌های VUX-1 برخوردار بودند، در حالی که اطلاعات رنگی طبیعی، جزئیات فضایی بهتر و پوشش کامل نماها را نیز ارائه می‌کردند. 000 EUR) و به دانش تخصصی برای برنامه ریزی و اجرای پرواز و همچنین پردازش داده ها نیاز دارد. نقشه برداری با داده های نوری بر روی استفاده از داده های به دست آمده با دوربین های داخلی Phantom 4 و Mavic Pro متمرکز شد (هزینه های کمتر از 2000 یورو)، و در طول مسیر بینایی کامپیوتر و یادگیری ماشین که قبلا توضیح داده شد، پیشرفت کرد. داده‌های سه‌بعدی به‌دست‌آمده از تصاویر نوری از کیفیت قابل مقایسه با داده‌های VUX-1 برخوردار بودند، در حالی که اطلاعات رنگی طبیعی، جزئیات فضایی بهتر و پوشش کامل نماها را نیز ارائه می‌کردند.شکل 4 ). این انتظار که داده‌های لیزر هوابرد تنها ضعف اصلی فتوگرامتری، ناتوانی در نقشه‌برداری فضاهای داخلی تاریک از طریق روزنه‌ها (به عنوان وسیله‌ای برای یافتن احتمالی بازماندگان به دام افتاده) را برطرف کند، نیز برآورده نشد. داده‌های مربوط به دهانه‌ها و فضاهای داخلی متصل عمدتاً از اسکنر لیزری زمینی روی سه‌پایه تحویل داده شد، اگرچه در اینجا انعطاف‌پذیری محدود و مسدود شدن توسط عناصر ساختاری ساختمان نیز مانع از نقشه‌برداری کامل دهانه‌ها شد.

در حالی که پهپادهای تجاری توسط DJI و سایر سازندگان به وضوح به سطوح بالایی از هزینه-منفعت، پایداری و قابلیت اطمینان رسیده‌اند، اکثر آنها نیز به گونه‌ای طراحی نشده‌اند که ابزارهای درجه‌بندی کارکرد در زمان واقعی باشند. برای پشتیبانی سریع جستجو و نجات، ارائه سریع اطلاعات قابل استفاده حیاتی است. به همین دلیل، در INACHUS رویه ای برای پردازش داده ها با حداقل تاخیر ایجاد شد. با کار با قابلیت Mavic Pro برای پخش تصاویر در طول پرواز، رویه‌ای ساخته شد که (i) تصاویر را بلافاصله پس از دریافت دانلود می‌کند، (ii) یک مدل 3 بعدی پراکنده به تدریج از صحنه با استفاده از روش‌های SfM ایجاد می‌کند، (iii) اعمال می‌شود. CNN برای تشخیص آسیب، و (iv) تصاویر را با استفاده از مدل سه بعدی تصحیح می کند. زمانی که پهپاد پس از حداکثر مدت پرواز حدود 25 دقیقه فرود آمد، تمام پردازش انجام شده و نقشه آسیب موجود است. یک برنامه تلفن هوشمند نیز ساخته شده است که اجازه می دهد این روش را همراه با یک لپ تاپ استاندارد اجرا کنید (شکل 5 ). جزئیات مربوط به برنامه و گردش کار پردازش داده را می توان در [ 59 ] یافت، در حالی که اطلاعات بیشتر در مورد CNN بهینه سازی شده ای که در GitHub در دسترس قرار گرفته است را می توان در اینجا یافت.

3.3. اعتبار سنجی

در هر پایلوت، کاربران نهایی مختلف حضور داشتند و ارزیابی دقیقی از هر ابزار تولید شده و آزمایش شده انجام دادند. سیستم RECONASS توسط THW در سایت آزمایشی، و به طور گسترده‌تر در یک کارگاه اختصاصی در ISCRAM 2017 توسط مجموعاً 11 کاربر نهایی متخصص، که نماینده سازمان‌های دولتی و غیردولتی واکنش اضطراری و همچنین سازمان‌های درگیر در ایجاد آن بودند، ارزیابی شد. نقشه های آسیب نتیجه گیری شد که عنصر مبتنی بر پهپاد تمام الزامات کاربر قبلاً تعیین شده را برآورده می کند، اصولاً تشخیص تمام انواع آسیب های بیان شده خارجی و حاشیه نویسی آنها بر روی تصاویر، همچنین مدل سه بعدی و BIM، و همچنین ارائه محاسبات حجم سه بعدی، همه در قالب GIS آماده. سیستم نهایی حداکثر امتیاز 10/10 را دریافت کرد.

در آخرین آزمایشی INACHUS که در نوامبر 2018 در Roquebillière فرانسه برگزار شد، در مجموع 25 کاربر نهایی از 8 کشور شرکت کردند که نماینده تیم های USAR و سایر سازمان های حفاظت مدنی بودند. آنها نمایش های فردی از تمام ابزارهای فنی توسعه یافته را دنبال کردند و آنها را درجه بندی کردند. از بین تمام راه حل های سخت و نرم افزاری یا روشی توسعه یافته در INACHUS، نقشه برداری سه بعدی و تشخیص آسیب با یک پهپاد تجاری سبک وزن بالاترین امتیاز را کسب کرد (کلی 4.5 از 5). امتیاز بالا نشان‌دهنده سطح بالایی از پیچیدگی فنی نیست، بلکه نشان‌دهنده سادگی است، هم از نظر سخت‌افزار خارج از قفسه و هم برنامه‌ریزی خودکار پرواز و روال نقشه‌برداری آسیب. کاربران نهایی به ویژه از رویکرد ساده و کم‌هزینه‌ای که اطلاعات دقیق و مفیدی را در زمان نزدیک ارائه می‌کرد، قدردانی کردند.

3.4. محدودیت ها

علیرغم ارزیابی‌های مثبت، ارزیابی کاربر نهایی نیز محدودیت‌های راه‌حل نگاشت آسیب توسعه‌یافته را نشان داد. محدودیت‌های قانونی استقرار پهپاد همچنان چالش‌هایی را ایجاد می‌کند، اگرچه مشکلات برای پلت‌فرم‌های سبک‌تر کمتر است، و علاوه بر این، سازمان‌های واکنش‌دهنده اول و حفاظت مدنی تمایل دارند تحت چارچوب‌های قانونی متفاوت عمل کنند. نقطه ضعف واضح پلتفرم‌های پهپاد چند کوپتری کوچک، برد عملیاتی و مدت پرواز نسبتاً کم آنهاست. محدوده فضایی محدود RECONASS و INACHUS به خوبی با توانایی های آنها مطابقت داشت، اما ارزیابی آسیب در مناطق بزرگتر آسیب دیده به راه حل های متفاوتی نیاز دارد. پهپادهای خارج از قفسه مجهز به دوربین های نوری با کیفیت بالا هستند. اگرچه پردازش بینایی کامپیوتری برای تولید ابرهای نقطه سه بعدی برای تکه های تصویر تاریک مانند سایه یا منافذ کوچکتر ساختمان با شکست مواجه می شود. به همین دلیل، منافذ و فضاهای بقای احتمالی در سازه‌های پایلوت نمی‌توانند نقشه‌برداری شوند و در اینجا سنسورهای فعال مزیت آشکاری دارند. پهپادهای تجاری نیز معمولاً سیستم‌های بسته و عمدتاً انحصاری هستند، به این معنی که تعویض یا اضافه کردن سنسورها یا نصب واحدهای پردازشی مانند DJI Manifold (چین) یا NVIDIA Jetson TX2 (ایالات متحده آمریکا) به راحتی امکان‌پذیر نیست. برای ایجاد استقلال بیشتر در پردازش تصویر داخل هواپیما یا تنظیم مسیر پرواز پویا بر روی پهپاد. چندین مورد از این محدودیت ها، همانطور که در بخش زیر توضیح داده شده است، کانون تحقیقات در حال انجام است. منافذ و فضاهای بقای احتمالی در سازه های پایلوت نمی توانند نقشه برداری شوند و در اینجا سنسورهای فعال مزیت آشکاری دارند. پهپادهای تجاری نیز معمولاً سیستم‌های بسته و عمدتاً انحصاری هستند، به این معنی که تعویض یا اضافه کردن سنسورها یا نصب واحدهای پردازشی مانند DJI Manifold (چین) یا NVIDIA Jetson TX2 (ایالات متحده آمریکا) به راحتی امکان‌پذیر نیست. برای ایجاد استقلال بیشتر در پردازش تصویر داخل هواپیما یا تنظیم مسیر پرواز پویا بر روی پهپاد. چندین مورد از این محدودیت ها، همانطور که در بخش زیر توضیح داده شده است، کانون تحقیقات در حال انجام است. منافذ و فضاهای بقای احتمالی در سازه های پایلوت نمی توانند نقشه برداری شوند و در اینجا سنسورهای فعال مزیت آشکاری دارند. پهپادهای تجاری نیز معمولاً سیستم‌های بسته و عمدتاً انحصاری هستند، به این معنی که تعویض یا اضافه کردن سنسورها یا نصب واحدهای پردازشی مانند DJI Manifold (چین) یا NVIDIA Jetson TX2 (ایالات متحده آمریکا) به راحتی امکان‌پذیر نیست. برای ایجاد استقلال بیشتر در پردازش تصویر داخل هواپیما یا تنظیم مسیر پرواز پویا بر روی پهپاد. چندین مورد از این محدودیت ها، همانطور که در بخش زیر توضیح داده شده است، کانون تحقیقات در حال انجام است. یا نصب واحدهای پردازشی مانند DJI Manifold (چین) یا NVIDIA Jetson TX2 (ایالات متحده آمریکا) برای ایجاد استقلال بیشتر در پردازش تصویر داخل هواپیما یا تنظیم مسیر پرواز پویا بر روی پهپاد. چندین مورد از این محدودیت ها، همانطور که در بخش زیر توضیح داده شده است، کانون تحقیقات در حال انجام است. یا نصب واحدهای پردازشی مانند DJI Manifold (چین) یا NVIDIA Jetson TX2 (ایالات متحده آمریکا) برای ایجاد استقلال بیشتر در پردازش تصویر داخل هواپیما یا تنظیم مسیر پرواز پویا بر روی پهپاد. چندین مورد از این محدودیت ها، همانطور که در بخش زیر توضیح داده شده است، کانون تحقیقات در حال انجام است.

4. چشم انداز و تحولات جدید

ادبیات بررسی شده در این مقاله منعکس کننده رشته ای است که به سرعت در حال توسعه است که تنها در چند سال از تصویربرداری عمدتاً توصیفی از صحنه های فاجعه به روش های تجزیه و تحلیل کاملاً خودکار که بر اساس روش های پیشرفته، به ویژه در علوم رایانه استوار شده است، حرکت کرده است. دامنه. در عین حال، محدودیت‌ها در سخت‌افزار و نرم‌افزار، در روش‌های نقشه‌برداری آسیب عملیاتی، بلکه در مبنای مفهومی اینکه چگونه تصاویر می‌توانند به معنی و اهمیت واقعی آسیب مرتبط شوند، وجود دارند که در این بخش به آنها پرداخته می‌شود.

4.1. پیشرفت در یادگیری ماشینی

با وجود پیچیدگی روش‌های متمایل به ماشین برای تشخیص الگوها و ویژگی‌ها، برخی از سوالات باز باقی می‌مانند. ماهیت جعبه سیاه رویکردهای یادگیری عمیق به این معنی است که اثر خاص برخی از برچسب‌های آموزشی نامشخص است و تلاش‌ها برای بهینه‌سازی کارایی آموزش برای ویژگی‌های آسیب خاص را به چالش می‌کشد. بنابراین، آموزش برای ترسیم تنها شاخص‌های خاص مانند ترک‌ها یا جابجایی اشیا، چالش برانگیز است، که با کمبود نمونه‌های آموزشی بزرگ برای ویژگی‌های آسیب فردی ترکیب شده است. همچنین، راه‌حل‌هایی که تا به امروز توسعه یافته‌اند، همچنان مبتنی بر وصله/شبکه هستند و آسیب‌ها را به طور کلی برجسته می‌کنند، اما ویژگی‌های خاص را ندارند. با این حال، این بسیار به مقیاس وابسته است، به عنوان مثال، داده های تصویر با وضوح بالا، همچنین سوپرپیکسل های کوچکی را ایجاد می کند که امکان شناسایی دقیق آسیب را فراهم می کند [ 50 ]].

کارهایی مانند [ 56 ، 57 ] به جای ایجاد نقشه های آسیب واقعی، بر روی لایه های فعال سازی تمرکز دارند که حضور و موقعیت تقریبی آسیب را نشان می دهند ( شکل 6 ). از دیدگاه کاربر، وضوح بیشتر در مورد نوع آسیب خاص، اما همچنین مکان، شکل و اندازه دقیق تر، ترجیح داده می شود. علاوه بر این، ماهیت مطالعات مبتنی بر CNN مانع از بینش در مورد چگونگی عملکرد یک شبکه با دقت کلی برتر از نظر کاهش مثبت یا منفی کاذب می شود.

برای غلبه بر مشکل تعداد زیادی از نمونه های آموزشی مورد نیاز در تجزیه و تحلیل CNN، کار اخیر نشان داده است که چگونه شبکه های متخاصم مولد (GAN) می توانند به طور موثر پایگاه های داده نمونه را بزرگ کنند، که قبلاً نشان داده شده است که برای شناسایی آسیب های مبلمان جاده مفید است [ 60 ] . به نظر می رسد GAN به ویژه در تشخیص ناهنجاری مفید باشد [ 80]، که در آن آموزش روی تعداد بالقوه زیادی از ویژگی‌ها یا شاخص‌های آسیب خاص تمرکز نمی‌کند، بلکه درک جامعی از صحنه‌های عادی و بدون آسیب ایجاد می‌شود که بر اساس آن ناهنجاری‌هایی مانند آسیب شناسایی می‌شوند. GAN عمدتاً در برنامه‌های کاربردی با تغییرات کوچک‌تر نسبت به صحنه‌های شهری (یعنی محیط‌های داخلی با دوربین‌های ثابت) استفاده می‌شود. بنابراین، استفاده از آنها در صحنه های شهری یک چالش اضافی است که می تواند تنها با استفاده از مجموعه داده های بسیار بزرگ و جامع از صحنه های سالم جبران شود تا از تولید بسیاری از موارد مثبت کاذب جلوگیری شود.

4.2. خودمختاری نقشه برداری

بررسی‌های پهپاد سنتی بر اساس برنامه‌های پروازی از پیش تعریف‌شده یا خلبانی دستی با پشتیبانی از جریان‌های ویدئویی از ابزار، با پردازش داده‌ها پس از فرود هواپیما، یا از طریق خطوط لوله مانند شرح داده شده در [ 59 ] بود. یک سناریوی ایده آل تر این است که پهپاد یک بررسی اولیه، به عنوان مثال عمودی، را در یک منطقه از پیش تعریف شده انجام دهد، نقاط حساس را شناسایی کند و به مناطق کاندید آسیب برساند بر اساس پردازش زمان واقعی محدود، و به دنبال آن یک بررسی دقیق تر و چند منظره انجام دهد. بررسی آن مناطق مشخص شده کار در [ 51] نشان داد که چگونه می توان از داده های یک بررسی عمودی درشت اولیه برای هدایت ارزیابی محلی تر استفاده کرد. چنین رویه‌ای را می‌توان بر اساس داده‌های جریانی که در زمان تقریباً واقعی پردازش می‌شوند، و دستورالعمل‌های مسیر پرواز تنظیم‌شده آپلود شده، پیاده‌سازی کرد. از طرف دیگر، داده ها را می توان در خود پهپاد پردازش کرد. کار شرح داده شده در [ 81 ، 82 ] نشان داد که چگونه حتی میکروپهپادها می توانند تجزیه و تحلیل بر اساس شبکه های عصبی عمیق را برای تسهیل ناوبری مستقل انجام دهند. پهپادهای با بار بیشتر به واحدهای محاسباتی قدرتمندتری مانند NVIDIA Jetson TX2 مجهز شده‌اند که می‌توانند ردیابی شی در زمان واقعی پیشرفته [ 83 ] یا تقسیم‌بندی تصویر [ 84 ] را تسهیل کنند.

در ادامه کار INACHUS، پروژه H2020 PANOPTIS (توسعه سیستم پشتیبانی تصمیم برای افزایش انعطاف‌پذیری زیرساخت‌های حمل‌ونقل؛ www.panoptis.eu ) بر ارزیابی آسیب‌های سطح جاده و راهرو جاده تمرکز دارد تا نشانه‌هایی از سایش و پوسیدگی تدریجی را تشخیص دهد. و همچنین توانایی واکنش سریع به یک وضعیت فاجعه. این کار با یک پلت فرم پهپاد هیبریدی (DeltaQuad از Vertical Solutions) انجام می شود که هم نقشه راهروی یک پلت فرم بال ثابت و هم شناور شدن برای نقشه برداری دقیق را امکان پذیر می کند. همچنین، در اینجا از Jetson TX2 برای پیشبرد پردازش داده ها در خود پهپاد، هم برای ناوبری و هم برای تشخیص آسیب استفاده می شود.

4.3. نقشه برداری داخلی

پهپادها نقشه آسیب های سازه ای را در فاصله نزدیک ساختمان ها آورده اند. با این وجود، شواهد آسیب حیاتی اغلب از دید پنهان می‌ماند، به عنوان مثال، در جایی که سازه‌های حامل بار داخلی در معرض خطر قرار می‌گیرند. علاوه بر این، ارزیابی آسیب، مانند تعریف شده در INACHUS، همچنین شامل پشتیبانی از اولین پاسخ دهندگان در جستجوی قربانیان یا بازماندگانی است که در داخل به دام افتاده اند، اگرچه استراتژی های مختلف نقشه برداری حفره موفقیت محدودی داشتند. حتی با یک TLS، حفره های داخلی با اتصالات به بیرون فقط تا حد محدودی قابل تشخیص هستند ( شکل 7 ).

کار اخیر نشان داده است که پهپادها به طور فزاینده ای مستقل و مؤثر در فضاهای داخلی و عمدتاً فاقد GPS عمل می کنند [ 85 ]. تحقیقات در مورد نقشه برداری داخلی مبتنی بر پهپاد، هم با پلتفرم های منفرد و هم ازدحام، افزایش یافته است. اکثراً از SLAM بصری برای نقشه‌برداری محیط محروم از GPS خود استفاده می‌کنند (به عنوان مثال، [ 86 ، 87 ])، یا تمرکز بر نقشه‌برداری پیوستگی هنگام عبور از مکان‌های بیرونی و داخلی [ 88 ]. دیگران بومی سازی را از طریق حسگرهایی مانند اولتراسوند آزمایش کرده اند [ 89]، و آثار ذکر شده در 4.2 در مورد ناوبری و نقشه برداری مستقل نیز در اینجا مرتبط هستند. یکی از عناصر بازسازی 3 بعدی داخلی و نقشه برداری آسیب، استفاده مؤثرتر از نور مصنوعی خواهد بود که به عنوان مثال، تشخیص ترک های کوچک را در [ 44 ] بهبود بخشید. خط دیگری از تحقیقات بر مهندسی سکوهای پهپاد متمرکز شده است که می توانند شکل خود را تغییر دهند تا ورود و کار در فضاهای تنگ را تسهیل کنند [ 90 ].

کار تشخیص آسیب INACHUS همچنین در محیط های داخلی با پروژه H2020 INGENIOUS (اولین پاسخ دهنده آینده: مجموعه ابزار یکپارچه نسل بعدی برای واکنش مشارکتی، افزایش حفاظت و افزایش ظرفیت عملیاتی، www.ingenious-firstresponders.eu ) در محیط های داخلی پیشرفت خواهد کرد. تمرکز بر روی استفاده از ازدحام پهپادها برای نقشه برداری فضای داخلی برای پشتیبانی از اولین پاسخ دهندگان در محیط های داخلی ناشناخته و بالقوه تاریک، پر از دود و خطرناک، با استفاده از پلت فرم های پهپاد با اندازه های مختلف و با بار و توانایی حسگر متفاوت، با تمرکز بر همکاری خواهد بود. و بهینه سازی

4.4. عصر هواپیماهای بدون سرنشین با توانایی های رباتیک

پهپادها شکننده هستند، در برابر باد حساس هستند و به لطف قطعات ارزان قیمت GPS و IMU در معرض عدم دقت موقعیت قرار دارند، بهتر است دور از سازه ها کار کنند. با این حال، کنترل پلت فرم بهتر، استفاده از جلوگیری از برخورد از طریق استفاده از حسگرها یا سنجش عمق، و همچنین پیشرفت در رباتیک و مکاترونیک منجر به جهت گیری های جدید تحقیقاتی شده است. برای مثال، در عصر پیری، تلاش‌های زیرساختی به سمت تعمیر و نگهداری با پشتیبانی پهپاد گسترش یافته است. این نشان دهنده تعدادی چالش است. زیرساخت ها متنوع است و شامل فضاهای داخلی پیچیده مانند دودکش ها [ 91 ]، اما همچنین جاده ها، تونل ها و پل ها می شود. راه حل هایی برای انجام نظارت روزانه برای تشخیص عیوب یا نشانه های پوسیدگی و همچنین آسیب پس از یک رویداد فاجعه یا حادثه (به عنوان مثال، [92 ]). چنین کارهایی به طور فزاینده ای به خط توسعه در حال ظهور دیگری گسترش می یابد و توانایی های مبتنی بر پهپاد را با راه حل های رباتیک و مکاترونیک ترکیب می کند. در اینجا، پهپادها نه تنها برای نقشه‌برداری و مدل‌سازی فضاهای زیرساخت استفاده می‌شوند، بلکه برای حمل بازوهای محرک برای قرار دادن حسگرها برای اندازه‌گیری‌های درجا [ 93 ، 94 ]، تعامل با اشیاء [ 95 ، 96 ]، انجام آزمایش‌های فیزیکی [ 97 ]، استفاده می‌شوند. یا برای انجام تعمیرات محدود.

5. نتیجه گیری ها

نقشه‌برداری آسیب‌های سازه‌ای با سنجش از دور یک مشکل تحقیقاتی مستمر برای دهه‌ها بوده است، و برای واکنش سریع عملیاتی به بلایا، مانند منشور یا EMS کوپرنیک، روش‌های خودکار قابل اعتماد همچنان وجود ندارد. با این حال، پیشرفت قابل توجهی در دهه گذشته حاصل شده است که عمدتاً منجر به پیشرفت‌های سریع در فناوری پهپاد، بینایی رایانه و پردازش پیشرفته داده‌های تصویر با یادگیری ماشینی، به‌ویژه یادگیری عمیق با CNN شده است، که همه آنها در این بررسی مورد ارزیابی قرار گرفتند. این شامل تجزیه و تحلیل دقیق پیشرفت در نقشه برداری آسیب مبتنی بر تصویر است که از ارائه تصاویر نمای کلی عمدتاً توصیفی به نقشه برداری خودکار صحنه با یادگیری ماشینی پیشرفته تغییر کرده است.

این مقاله نشان داده است که چگونه ابرهای نقطه سه بعدی مشتق شده از تصویر، امکان بازسازی صحنه بسیار دقیق و دقیق را فراهم می کنند و چگونه جفت شدن اطلاعات هندسی با اطلاعات تصویر اصلی امکان تشخیص ویژگی های بسیار پیشرفته را فراهم می کند. آموزش طبقه‌بندی‌کننده همچنین شروع به غلبه بر چالش، به‌ویژه، روش‌های مبتنی بر CNN کرده است که به میلیون‌ها نمونه آموزشی نیاز دارد. توسعه رویکردهای CNN بدون نظارت (مانند رمزگذارهای خودکار) یا شبکه های متخاصم مولد (GAN) می تواند گامی رو به جلو در این مسیر باشد. رویکردهای جدیدتر باعث بهبود کارایی، اما همچنین قابلیت انتقال طبقه‌بندی‌کننده‌ها می‌شوند که برای پاسخگویی سریع به یک رویداد فاجعه‌آمیز ضروری است. آزمایشات جامع با اولین پاسخ دهندگان و پرسنل جستجو و نجات شهری نشان داد که به ویژه،

پیشرفت‌ها با سرعت زیادی ادامه می‌یابد، با تلاش‌های تحقیقاتی قابل توجهی که اکنون بر روی نقشه‌برداری مبتنی بر پهپاد در محیط‌های داخلی متمرکز شده‌اند، همچنین پهپادها به توانایی‌های مکاترونیک مجهز شده‌اند تا امکان استقرار حسگرهای اضافی یا انجام تعمیرات را فراهم کنند، اگرچه شبکه‌های جدیدتر نیز امکان بیشتری را فراهم می‌کنند. راه حل های پیچیده و قوی یادگیری عمیق. با این وجود، تلاش بیشتری برای درک بهتر معنا و اهمیت واقعی شواهد آسیب خاص مورد نیاز است. علاوه بر این، پهپادها باید برای افزایش کارایی عملیات نقشه برداری آسیب، خودمختارتر شوند. در نهایت، پیشرفت در پردازش تصاویر مبتنی بر پهپاد، به ویژه از طریق یادگیری ماشینی پیشرفته، در نهایت باید به نقشه برداری آسیب کاملاً خودکار و دقیق با تصاویر ماهواره ای نوری منجر شود.

منابع

بیکر، اس. سانفرانسیسکو در خرابه‌ها: عکس‌های هوایی ۱۹۰۶ جورج آر. لارنس منظره 1989 ، 30 ، 9-14. [ Google Scholar ]
Kerle, N. Disasters: ارزیابی ریسک، مدیریت و مطالعات پس از فاجعه با استفاده از سنجش از دور. در سنجش از دور منابع آب، بلایا و مطالعات شهری (راهنمای سنجش از دور، 3) ; سپسکبیل، PS، ویرایش. CRC Press: Boca Raton، FL، USA، 2015; ص 455-481. [ Google Scholar ]
دونگ، ال جی؛ Shan, J. بررسی جامع تشخیص آسیب ساختمان ناشی از زلزله با تکنیک‌های سنجش از دور. ISPRS-J. فتوگرام Remote Sens. 2013 ، 84 ، 85-99. [ Google Scholar ] [ CrossRef ]
بلابید، ن. ژائو، اف. بروکا، ال. هوانگ، YB; Tan, YM پیش‌بینی سیل در زمان واقعی بر اساس محصولات بارش ماهواره‌ای. Remote Sens. 2019 , 11 , 252. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
نوویکوف، جی. ترکین، ا. پوتاپوف، جی. ایگناتیف، وی. Burnaev، E. تجزیه و تحلیل تصاویر ماهواره ای برای ارزیابی آسیب عملیاتی در شرایط اضطراری. در کنفرانس بین المللی سیستم های اطلاعات کسب و کار، برلین، آلمان، 2018 ; انتشارات بین المللی Springer: برلین، آلمان، 2008; صص 347-358. [ Google Scholar ]
کرل، ن. هافمن، RR نقشه برداری آسیب مشارکتی برای پاسخ اضطراری: نقش مهندسی سیستم های شناختی. نات. سیستم خطرات زمین. علمی 2013 ، 13 ، 97-113. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
غفاریان، س. کرل، ن. Filatova، T. پروکسی های مبتنی بر سنجش از دور برای مدیریت ریسک بلایای شهری و تاب آوری: یک بررسی. Remote Sens. 2018 ، 10 ، 1760. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
لو، CH; Ni، CF; چانگ، CP; ین، JY; تجزیه و تحلیل تفاوت انسجام Chuang، RY تداخل‌نگار نگهبان-1 sar برای شناسایی بلایای ناشی از زلزله در مناطق شهری. Remote Sens. 2018 , 10 , 1318. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
لی، LL; لیو، XG; چن، QH; یانگ، اس. ارزیابی آسیب ساختمان از داده های پولسار با استفاده از پارامترهای بافت مدل آماری. محاسبه کنید. Geosci. 2018 ، 113 ، 115-126. [ Google Scholar ] [ CrossRef ]
گوکون، اچ. پست، ج. استاین، ای. مارتینیس، اس. توله، ا. ماک، م. گیس، سی. کوشیمورا، اس. Matsuoka, M. روشی برای تشخیص ساختمان‌های ویران‌شده توسط زلزله و سونامی توهوکو در سال ۲۰۱۱ با استفاده از داده‌های چندزمانی terrasar-x. IEEE Geosci. سنسور از راه دور Lett. 2015 ، 12 ، 1277-1281. [ Google Scholar ] [ CrossRef ]
بای، YB; گائو، سی. سینگ، اس. کخ، م. آدریانو، بی. ماس، ای. کوشیمورا، S. چارچوبی از تشخیص سریع آسیب سونامی منطقه ای از تصاویر terrasar-x پس از رویداد با استفاده از شبکه های عصبی عمیق. IEEE Geosci. سنسور از راه دور Lett. 2018 ، 15 ، 43-47. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
کونر، ای جی; شائو، ی. کمپبل، JB تشخیص آسیب شهری با استفاده از سنجش از دور و الگوریتم‌های یادگیری ماشین: بازبینی زلزله هائیتی در سال 2010. Remote Sens. 2016 , 8 , 868. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
جی، م. لیو، ال. Buchroithner, M. شناسایی ساختمان های فروریخته با استفاده از تصاویر ماهواره ای پس از زلزله و شبکه های عصبی کانولوشن: مطالعه موردی زلزله هائیتی در سال 2010. Remote Sens. 2018 ، 10 ، 1689. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
Xu، JZ; لو، دبلیو. لی، ز. خیتان، پ. Zaytseva, V. تشخیص آسیب ساختمان در تصاویر ماهواره ای با استفاده از شبکه های عصبی کانولوشن. arXiv 2019 ، arXiv:1910.06444. [ Google Scholar ]
سبلایم، ج. Kalinicheva، E. نقشه برداری خودکار آسیب پس از فاجعه با استفاده از تکنیک های یادگیری عمیق برای تشخیص تغییر: مطالعه موردی سونامی توهوکو. Remote Sens. 2019 , 11 , 1123. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
جی، م. لیو، ال. دو، آر. Buchroithner, MF مطالعه مقایسه ای بافت و ویژگی های شبکه عصبی کانولوشن برای تشخیص ساختمان های فروریخته پس از زلزله با استفاده از تصاویر ماهواره ای قبل و بعد از رویداد. Remote Sens. 2019 , 11 , 1202. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
گوپتا، آر. گودمن، بی. پاتل، ن. هاسفلت، آر. ساجیف، اس. هیم، ای. دوشی، ج. لوکاس، ک. چوست، اچ. گاستون، ME ایجاد xbd: مجموعه داده ای برای ارزیابی آسیب ساختمان از تصاویر ماهواره ای. در مجموعه مقالات کارگاه های آموزشی CVPR، لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، 16 تا 20 ژوئن 2019. [ Google Scholar ]
ناکانیشی، ح. Inoue, K. مطالعه بر روی ربات هوانوردی هوشمند برای واکنش به بلایا . Science Press پکن: پکن، چین، 2005; جلد 5، ص 1730–1734. [ Google Scholar ]
میانو، ک. شینکوما، آر. مندایام، NB; ساتو، تی. Oki، E. برنامه‌ریزی مبتنی بر ابزار برای سیستم‌های جست‌وجوی چند UAV در مناطق آسیب‌دیده. دسترسی IEEE 2019 ، 7 ، 26810–26820. [ Google Scholar ] [ CrossRef ]
ایجاز، دبلیو. اعظم، م. سعادت، س. اقبال، ف. Hanan، A. وسایل نقلیه هوایی بدون سرنشین پلت فرم iot را برای مدیریت بلایا فعال کردند. Energies 2019 ، 12 ، 2706. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
کرل، ن. نکس، اف. دوارته، دی. نقشه‌برداری آسیب ساختاری مبتنی بر Vetrivel، A. Uav – نتایج حاصل از 6 سال تحقیق در دو پروژه اروپایی. بین المللی قوس. فتوگرام Remote Sens. Spatial Inf. علمی 2019 ، XLII-3/W8 ، 187–194. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
وانگ، SH; کیم، دی اچ. کانگ، ام اس؛ چو، ک. پارک، اس. پسر، WH توسعه یک سیستم ربات پرنده برای بازرسی بصری پل ها . زیرساخت هوشمند نظارت بر سلامت ساختاری Ishmii-Int Soc: Winnipeg، MB، کانادا، 2007. [ Google Scholar ]
پولفیس، ام. ون گول، ال. ورگاوون، ام. Verbiest، F. کورنلیس، ک. تاپس، ج. Koch, R. مدلسازی بصری با دوربین دستی. بین المللی جی. کامپیوتر. چشم انداز 2004 ، 59 ، 207-232. [ Google Scholar ] [ CrossRef ]
سوزوکی، تی. میوشی، دی. مگورو، جی. آمانو، ی. هاشیزومه، تی. ساتو، ک. تاکیگوچی، جی. تولید نقشه خطر در زمان واقعی با استفاده از هواپیمای کوچک بدون سرنشین. در مجموعه مقالات کنفرانس سالانه Sice، توکیو، ژاپن، 20-22 اوت 2018؛ IEEE: نیویورک، نیویورک، ایالات متحده آمریکا، 2008; جلد 1-7، ص. 4. [ Google Scholar ]
Bendea، H.; بوکاردو، پی. دکوال، اس. جولیو تونلو، FM؛ مارنچینو، دی. Piras, M. UAV کم هزینه برای ارزیابی پس از فاجعه. در بیست و یکمین کنگره ISPRS، پکن، چین ؛ ISPRS: پکن، چین، 2008; صص 1373–1380. [ Google Scholar ]
لوئیس، جی. ارزیابی استفاده از یک پلت فرم هواپیمای بدون سرنشین کم هزینه در به دست آوردن تصاویر دیجیتال برای واکنش اضطراری. در راه حل های ژئوماتیک برای مدیریت بلایا ; Li, J., Zlatanova, S., Fabbri, AG, Eds. Springer: برلین/هایدلبرگ، آلمان، 2007; صص 117-133. [ Google Scholar ]
مورفی، RR; استیمل، ای. گریفین، سی. کولینز، سی. هال، م. پرات، ک. استفاده تعاونی از سطح دریا بدون سرنشین و وسایل نقلیه هوایی میکرو در طوفان ویلما. ربات صحرایی جی. 2008 ، 25 ، 164-180. [ Google Scholar ] [ CrossRef ]
کوچرزبرگر، ک. کروگر، ک. Krawiec، B. بروور، ای. وبر، تی. سنجش از دور پس از فاجعه و نمونه برداری از طریق یک هلیکوپتر خودمختار. ربات صحرایی جی. 2014 ، 31 ، 510-521. [ Google Scholar ] [ CrossRef ]
آدامز، اس ام. لویتان، ام ال. مجموعه تصاویر فریدلند، CJ با وضوح بالا برای مطالعات پس از فاجعه با استفاده از سیستم‌های هواپیمای بدون سرنشین (UAS). فتوگرام مهندس Remote Sens. 2014 , 80 , 1161–1168. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
دومینیسی، دی. بایوچی، وی. زاوینو، ا. آلیکاندرو، م. Elaiopoulos، M. Micro uav برای بررسی خطرات پس از زلزله در مرکز شهر قدیمی l’aquila. در هفته کاری FIG ; شکل: رم، ایتالیا، 2012; پ. 15. [ Google Scholar ]
ماورولیس، س. آندریاداکیس، ای. اسپیرو، NI; آنتونیو، وی. اسکورتسوس، ای. پاپادیمیتریو، پ. کاساراس، آی. کویریس، جی. Tselentis، GA; ولگاریس، ن. و همکاران ارزیابی آسیب ساختمان ناشی از زلزله سریع مبتنی بر UA و GIS برای ترسیم نقشه ایزو لرزه ems-98: زلزله 12 ژوئن 2017 mw 6.3 lesvos (شمال شرقی دریای اژه، یونان). بین المللی J. کاهش خطر بلایا. 2019 ، 37 ، 20. [ Google Scholar ] [ CrossRef ]
دومینیسی، دی. آلیکاندرو، م. Massimi، V. Uav فتوگرامتری در سناریوی پس از زلزله: مطالعات موردی در l’aquila. Geomat. نات. خطر خطرات 2017 ، 8 ، 87-103. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
هاین، دی. کرافت، تی. براوکل، جی. Berger, R. نقشه برداری بلادرنگ مبتنی بر uav برای برنامه های امنیتی یکپارچه. ISPRS Int. Geo-Inf. 2019 ، 8 ، 219. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
خو، ZQ; یانگ، جی اس. پنگ، سی. وو، ی. جیانگ، XD; لی، آر. ژنگ، ی. گائو، ی. لیو، اس. Tian، BF توسعه UAS برای بررسی بلایای پس از زلزله و کاربرد آن در زلزله ms7.0 لوشان، سیچوان، چین. محاسبه کنید. Geosci. 2014 ، 68 ، 22-30. [ Google Scholar ] [ CrossRef ]
گووروارام، س. تیان، پی.زی. فلانگان، اچ. گویر، جی. سنجش از دور چند طیفی مبتنی بر Chao، HY Uas و محاسبه ndvi برای ارزیابی پس از فاجعه. در مجموعه مقالات کنفرانس بین المللی 2018 در مورد سیستم های هواپیمای بدون سرنشین، دالاس، TX، ایالات متحده، 12-15 ژوئن 2018؛ IEEE: نیویورک، نیویورک، ایالات متحده آمریکا، 2018؛ صص 684-691. [ Google Scholar ]
فرناندز گالارتا، جی. کرل، ن. ارزیابی آسیب ساختاری شهری مبتنی بر Gerke، M. Uav با استفاده از تحلیل تصویر مبتنی بر شی و استدلال معنایی. نات. سیستم خطرات زمین. علمی 2015 ، 15 ، 1087-1101. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
Grenzdorffer، GJ; گورتزکی، م. Friedlander, I. اکتساب تصویر فتوگرامتری و تجزیه و تحلیل تصویر از تصاویر مایل. فتوگرام رکورد 2008 ، 23 ، 372-386. [ Google Scholar ] [ CrossRef ]
گرکه، ام. Kerle, N. ارزیابی آسیب لرزه ای سازه ای خودکار با پیکتومتری مورب هوابرد © imagery. فتوگرام مهندس Remote Sens. 2011 ، 77 ، 885-898. [ Google Scholar ] [ CrossRef ]
گرکه، ام. Kerle، N. تطبیق نمودار در فضای سه بعدی برای ارزیابی آسیب لرزه ای سازه. در مجموعه مقالات کنفرانس بین المللی IEEE 2011 در کارگاه های بینایی کامپیوتری (کارگاه های آموزشی ICCV)، بارسلون، اسپانیا، 6 تا 13 نوامبر 2011. [ Google Scholar ]
زنگ، تی. یانگ، WN; Li, XD میزان اطلاعات آسیب لرزه ای در مورد ساختمان ها بر اساس تصاویر سنجش از دور در ارتفاع پایین از مناطق زلزله زده میانزو. Appl. مکانیک. ماتر 2012 ، 105-107 ، 1889-1893. [ Google Scholar ] [ CrossRef ]
وتریول، ا. گرکه، ام. کرل، ن. Vosselman, G. شناسایی آسیب در ساختمان ها بر اساس شکاف در ابرهای نقطه سه بعدی از تصاویر مورب هوابرد با وضوح بسیار بالا. ISPRS-J. فتوگرام Remote Sens. 2015 ، 105 ، 61-78. [ Google Scholar ] [ CrossRef ]
لی، اس. تانگ، اچ. او هست.؛ شو، ی. مائو، تی. لی، جی. Xu, Z. تشخیص بدون نظارت سوراخ‌های سقف ناشی از زلزله از تصاویر UAV با استفاده از ویژگی‌های رنگ و شکل مشترک. IEEE Geosci. سنسور از راه دور Lett. 2015 ، 12 ، 1823-1827. [ Google Scholar ]
وتریول، ا. گرکه، ام. کرل، ن. ووسلمن، جی. تقسیم بندی تصاویر مبتنی بر uav که اطلاعات ابر نقطه سه بعدی را در خود جای داده است. بین المللی قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2015 ، II-3/W4 ، 261-268. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
درافشان، س. توماس، RJ; مگوایر، ام. تشخیص ترک خستگی با استفاده از سیستم های هوایی بدون سرنشین در بازرسی بحرانی شکستگی پل های فولادی. J. Bridge Eng. 2018 ، 23 ، 15. [ Google Scholar ] [ CrossRef ]
چن، سی. Laefer، DF; مانگینا، ای. ذوالانواری، SMI; بازرسی پل Byrne، J. Uav از طریق بازسازی های سه بعدی ارزیابی شده. J. Bridge Eng. 2019 ، 24 ، 15. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
اکبر، م. قیدوای، یو. جهانشاهی، MR ارزیابی پایش سلامت ساختاری مبتنی بر تصویر با استفاده از پلت فرم یکپارچه هواپیمای بدون سرنشین. ساختار. کنترل. مانیتور سلامت. 2019 ، 26 ، 20. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
کاکویی، م. بالقی، ی. تلفیق داده‌های ماهواره، هواپیما و پهپاد برای ارزیابی خودکار خسارت بلایا. بین المللی J. Remote Sens. 2017 , 38 , 2511–2534. [ Google Scholar ] [ CrossRef ]
وتریول، ا. دوارته، دی. نکس، اف. گرکه، ام. کرل، ن. Vosselman، G. پتانسیل تصاویر هوایی مورب چند زمانی برای ارزیابی آسیب ساختاری. در مجموعه مقالات کنگره XXIII ISPRS، کمیسیون III، آرشیو بین المللی فتوگرامتری سنجش از دور و علوم اطلاعات فضایی، پراگ، جمهوری چک، 12 تا 19 ژوئیه 2016. هالونووا، ال.، شیندلر، ک.، لیمپوچ، ا.، پژدلا، تی.، صفر، وی.، مایر، اچ.، البرینک، SO، مالت، سی.، روتنشتاینر، اف.، بردیف، ام.، و غیره al., Eds. انجمن بین المللی فتوگرامتری و سنجش از دور: پراگ، جمهوری چک، 2016; جلد 3، صص 355–362. [ Google Scholar ]
تو، جی اچ. سوئی، اچ جی; فنگ، WQ; Jia, Q. تشخیص آسیب نما در نوع آسیب دیده متوسط از تصاویر هوایی مورب با وضوح بالا. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2017 , 10 , 5598–5607. [ Google Scholar ] [ CrossRef ]
لوکس، ال. بولاتوف، دی. تونسن، یو. Böge, M. ارزیابی سوپرپیکسلی آسیب ساختمان از تصاویر هوایی. در مجموعه مقالات چهاردهمین کنفرانس بین المللی مشترک بینایی کامپیوتری، تصویربرداری و نظریه و کاربردهای گرافیک کامپیوتری، VISIGRAPP 2019، پراگ، جمهوری چک، 25 تا 27 فوریه 2019؛ ص 211-220. [ Google Scholar ]
دوارته، دی. نکس، اف. کرل، ن. Vosselman, G. به سمت تشخیص کارآمدتر آسیب های نما ناشی از زلزله با استفاده از تصاویر مورب UAV. بین المللی قوس. فتوگرام Remote Sens. Spatial Inf. علمی 2017 ، XLII-2/W6 ، 93–100. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
درافشان، س. مگوایر، ام. بازرسی پل: عملکرد انسانی، سیستم های هوایی بدون سرنشین و اتوماسیون. J. Civ. ساختار. مانیتور سلامت. 2018 ، 8 ، 443-476. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
درافشان، س. کوپمنز، سی. توماس، RJ; مگوایر، ام. شبکه های عصبی یادگیری عمیق برای بازرسی های ساختاری به کمک suas: امکان سنجی و کاربرد. در مجموعه مقالات کنفرانس بین المللی 2018 در مورد سیستم های هواپیمای بدون سرنشین، دالاس، TX، ایالات متحده، 12-15 ژوئن 2018؛ IEEE: نیویورک، نیویورک، ایالات متحده آمریکا، 2018؛ صص 874-882. [ Google Scholar ]
خو، ژ. وو، ال ایکس؛ Zhang، ZX استفاده از یادگیری فعال برای نقشه برداری آسیب زلزله از ابرهای نقطه فتوگرامتری UAV. بین المللی J. Remote Sens. 2018 , 39 , 5568–5595. [ Google Scholar ] [ CrossRef ]
وتریول، ا. گرکه، ام. کرل، ن. نکس، اف. Vosselman, G. تشخیص آسیب فاجعه از طریق استفاده هم افزایی از یادگیری عمیق و ویژگی‌های ابر نقطه سه بعدی که از تصاویر هوایی مورب با وضوح بسیار بالا و یادگیری چند هسته‌ای به دست می‌آیند. ISPRS-J. فتوگرام Remote Sens. 2018 ، 140 ، 45–59. [ Google Scholar ] [ CrossRef ]
دوارته، دی. نکس، اف. کرل، ن. Vosselman, G. طبقه‌بندی تصاویر ماهواره‌ای آسیب‌های ساختمان با استفاده از نمونه‌های تصویری هوابرد و ماهواره‌ای در رویکرد یادگیری عمیق. ISPRS Ann. فتوگرام Remote Sens. Spatial Inf. علمی 2018 ، IV-2 ، 89-96. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
دوارته، دی. نکس، اف. کرل، ن. Vosselman, G. ترکیب ویژگی های چند رزولوشن برای طبقه بندی تصویر آسیب های ساختمان با شبکه های عصبی کانولوشن. Remote Sens. 2018 ، 10 ، 1636. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
کرل، ن. غفاریان، س. ناوروتزکی، آر. لپرت، جی. لچ، ام. ارزیابی مداخلات توسعه تاب آوری محور با سنجش از دور. Remote Sens. 2019 , 11 , 2511. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
نکس، اف. دوارته، دی. استین بیک، ا. Kerle، N. به سمت نقشه برداری آسیب ساختمان در زمان واقعی با راه حل های uav کم هزینه. Remote Sens. 2019 , 11 , 287. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
Tsai، YC; شناسایی سریع فاجعه Wei، CC با استفاده از تشخیص خودکار علائم ترافیکی با پهپاد و هوش مصنوعی . مهندسین عمران Amer Soc: نیویورک، نیویورک، ایالات متحده آمریکا، 2019؛ صص 405-411. [ Google Scholar ]
دوارته، دی. نکس، اف. کرل، ن. Vosselman, G. تشخیص آسیب های نما لرزه ای با تصاویر هوایی مورب چند زمانی. GISci. سنسور از راه دور در حال چاپ است.
Li، YD; آره.؛ بارتولی، I. طبقه بندی نیمه نظارت شده آسیب طوفان از تصاویر هوایی پس از رویداد با استفاده از یادگیری عمیق. J. Appl. Remote Sens. 2018 , 12 , 045008. [ Google Scholar ] [ CrossRef ]
Li، YD; هو، دبلیو. دونگ، اچ. تشخیص آسیب ساختمان Zhang، XY از تصاویر هوایی پس از رویداد با استفاده از انتخابگر چند جعبه تک شات. Appl. علمی 2019 ، 9 ، 1128. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
لیانگ، X. بازرسی پس از فاجعه مبتنی بر تصویر از سیستم‌های پل بتن مسلح با استفاده از یادگیری عمیق با بهینه‌سازی بیزی. Comput.-Aided Civ. زیرساخت. مهندس 2019 ، 34 ، 415-430. [ Google Scholar ] [ CrossRef ]
نکس، اف. دوارته، دی. Tonolo، FG; Kerle، N. تشخیص آسیب ساختمان سازه با یادگیری عمیق: ارزیابی یک cnn پیشرفته در شرایط عملیاتی. Remote Sens. 2019 , 11 , 2765. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
آهنگ، DM; تان، ایکس. وانگ، بی. ژانگ، ال. شان، XJ; Cui، JY ادغام روش‌های تقسیم‌بندی سوپرپیکسل و یادگیری عمیق برای ارزیابی ساختمان‌های آسیب‌دیده در اثر زلزله با استفاده از تصاویر سنجش از دور تک فاز. بین المللی J. Remote Sens. 2019 ، 41 ، 1040–1066. [ Google Scholar ] [ CrossRef ]
هوانگ، اچ. Sun، GY; ژانگ، XM؛ هائو، ی.ال. ژانگ، AZ رن، جی سی. Ma, HZ شبکه عصبی کانولوشنال تقسیم بندی چند مقیاسی ترکیبی برای نقشه برداری سریع آسیب از تصاویر با وضوح بسیار بالا پس از زلزله. J. Appl. Remote Sens. 2019 , 13 , 022007. [ Google Scholar ] [ CrossRef ]
وتریول، ا. گرکه، ام. کرل، ن. ووسلمن، جی. شناسایی نواحی آسیب‌دیده ساختاری در تصاویر مورب موجود در هوا با استفاده از رویکرد بصری-کیسه کلمات. Remote Sens. 2016 , 8 , 231. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
گونگ، LX؛ وانگ، سی. وو، اف. ژانگ، جی اف. ژانگ، اچ. لی، کیو. تشخیص آسیب ساختمان ناشی از زلزله با تصاویر نورافکن خیره شده در زیر متر vhr terrasar-x پس از رویداد. Remote Sens. 2016 , 8 , 887. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
سگدی، سی. لیو، دبلیو. جیا، YQ; سرمانت، پ. رید، اس. آنگلوف، دی. ایرهان، د. ونهوک، وی. رابینوویچ، الف. با پیچیدگی ها عمیق تر می رویم. در مجموعه مقالات کنفرانس IEEE 2015 در مورد دید رایانه و تشخیص الگو، بوستون، MA، ایالات متحده آمریکا، 7 تا 12 ژوئن 2015. IEEE: نیویورک، نیویورک، ایالات متحده آمریکا، 2015؛ صفحات 1-9. [ Google Scholar ]
کوزیکانکی، جی. کرل، ن. Nex، F. قابلیت استفاده از فیلم های ویدئویی هوایی برای بازسازی صحنه سه بعدی و ارزیابی آسیب ساختاری. نات. سیستم خطرات زمین. علمی 2018 ، 18 ، 1583-1598. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
میتومی، اچ. یامزاکی، ف. Matsuoka, M. تشخیص خودکار آسیب ساختمان در اثر زلزله های اخیر با استفاده از تصویر تلویزیون هوایی. در بیست و یکمین کنفرانس آسیایی سنجش از دور، تایپه، تایوان، 2000 ; توسعه GIS: تایپه، تایوان، 2000; ص 401-406. [ Google Scholar ]
Grünthal, G. European Macroseismic Scale 1998 (ems-98) ; Cahiers du Centre Européen de Géodynamique et de Séismologie, Centre Européen de Géodynamique et de Séismologie: Walferdange, Luxembourg, 1998; جلد 15، ص. 99. [ Google Scholar ]
یامازاکی، اف. یانو، ی. Matsuoka, M. تفسیر آسیب بصری ساختمانهای شهر بم با استفاده از تصاویر پرنده سریع پس از زلزله 2003 بم، ایران. زمین Spectra 2005 ، 21 ، S328–S336. [ Google Scholar ] [ CrossRef ]
کوربن، سی. سایتو، ک. دل اورو، ال. گیل، SPD; Piard، BE; Huyck، CK; کمپر، تی. لموئین، جی. اسپنس، RJS؛ شانکار، آر. و همکاران تجزیه و تحلیل جامع آسیب ساختمان در زلزله 12 ژانویه 2010 mw7 هائیتی با استفاده از تصاویر ماهواره ای و هوایی با وضوح بالا. فتوگرام مهندس Remote Sens. 2011 , 77 , 997–1009. [ Google Scholar ] [ CrossRef ]
دوبوا، دی. Lepage, R. ارزیابی سریع و کارآمد آسیب ساختمان از تصاویر ماهواره ای نوری با وضوح بسیار بالا. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2014 , 7 , 4167–4176. [ Google Scholar ] [ CrossRef ]
لی، دبلیو. Shuai، X. لیو، کیو. تجزیه و تحلیل ویژگی های آسیب ساختمان بر اساس تصویر سه بعدی از عکاسی مایل. جی. نات. بلایا 2016 ، 25 ، 152-158. [ Google Scholar ]
لاتنزی، دی. بازسازی صحنه سه بعدی Miller, GR برای بازرسی پل روباتیک. J. زیرساخت. سیستم 2015 ، 21 ، 12. [ Google Scholar ] [ CrossRef ]
زو، ی. گونزالس، وی. لیم، جی. آمور، ر. گوو، بی. باباییان جلودار، م. چارچوب سیستماتیک برای بازرسی پل پس از زلزله از طریق بازسازی uav و 3d bim. در مجموعه مقالات کنگره جهانی ساختمان CIB، هنگ کنگ، چین، 17 تا 21 ژوئن 2019؛ پ. 9. [ Google Scholar ]
آکچای، اس. عطاپور ابرقویی، ع. Breckon، T. Skip-ganomaly: از تشخیص ناهنجاری رمزگذار-رمزگشای متصل و آموزش دیده خصمانه صرفنظر کنید. در مجموعه مقالات کنفرانس مشترک بین المللی شبکه های عصبی (IJCNN)، بوداپست، مجارستان، 14 تا 19 ژوئیه 2019؛ صص 1-8. [ Google Scholar ]
لوکورسیو، آ. کافمن، ای. رانفتل، آر. دوسوویتسکی، آ. کلتون، وی. Scaramuzza، D. مسابقه هواپیماهای بدون سرنشین عمیق: از شبیه سازی تا واقعیت با تصادفی سازی دامنه. IEEE Trans. ربات. 2019 ، 1-14. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
پالوسی، دی. لوکورسیو، آ. کونتی، اف. فلامند، ای. اسکاراموزا، دی. Benini، L. یک موتور ناوبری بصری مبتنی بر dnn 64 مگاواتی برای پهپادهای نانویی مستقل. IEEE Internet Things J. 2019 ، 6 ، 8357–8371. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
وو، اچ. ژو، ز. فنگ، ام. یان، ی. خو، اچ. Qian, L. تشخیص تک شی در زمان واقعی در uav. در مجموعه مقالات کنفرانس بین المللی 2019 در مورد سیستم های هواپیمای بدون سرنشین، ICUAS 2019، آتلانتا، GA، ایالات متحده آمریکا، 11-14 ژوئن 2019؛ ص 1013-1022. [ Google Scholar ]
سیام، م. ایکرداوی، اس. جمال، م. عبدالرازک، م. جاگرسند، م. ژانگ، اچ. تقسیم‌بندی بلادرنگ با ظاهر، حرکت و هندسه. در مجموعه مقالات کنفرانس بین المللی IEEE در مورد ربات ها و سیستم های هوشمند، مادرید، اسپانیا، 1 تا 5 اکتبر 2018؛ صص 5793–5800. [ Google Scholar ]
دلمریکو، جی. مینتچف، اس. گیوستی، ع. گروموف، بی. ملو، ک. هوروات، تی. کادنا، سی. هاتر، م. Ijspeert، A. فلورانو، دی. و همکاران وضعیت فعلی و چشم انداز آینده رباتیک نجات. ربات صحرایی جی. 2019 ، 36 ، 1171-1191. [ Google Scholar ] [ CrossRef ]
Trujillo, JC; مونگویا، آر. گوئرا، ای. Grau، A. پیکربندی‌های slam مبتنی بر بصری برای سیستم‌های چند UAV مشترک با یک عامل اصلی: یک رویکرد مبتنی بر مشاهده‌پذیری. Sensors 2018 , 18 , 4243. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
باوله، اچ. سانچز-لوپز، جی ال. د لا پوئنته، پ. رودریگز راموس، آ. سمپدرو، سی. Campoy، P. تخمین ارتفاع پرواز سریع و مستحکم UAVهای چند روتوری در محیط‌های بدون ساختار پویا با استفاده از حسگرهای ابر نقطه سه بعدی. Aerospace 2018 , 5 , 94. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
ژانگ، ایکس. شیان، بی. ژائو، بی. Zhang، Y. کنترل پرواز خودکار هلیکوپتر کوادروتور نانو در یک محیط فاقد GPS با استفاده از دید داخل هواپیما. IEEE Trans. الکترون صنعتی 2015 ، 62 ، 6392-6403. [ Google Scholar ] [ CrossRef ]
پاردس، ج.ا. آلوارز، اف جی. آگیلرا، تی. Villadangos، JM 3D موقعیت یابی داخلی هواپیماهای uav با امواج فراصوت طیف گسترده و دوربین های زمان پرواز. Sensors 2018 , 18 , 89. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
فالانگا، دی. کلبر، ک. مینتچف، اس. فلورانو، دی. Scaramuzza، D. پهپاد تاشو: یک کوادروتور شکل‌گیری که می‌تواند فشرده شود و پرواز کند. ربات IEEE. خودکار Lett. 2018 ، 4 ، 209-216. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
کوئنزل، جی. نیوونهویسن، م. دروشل، دی. بیول، ام. هوبن، اس. Benke، S. بازرسی دودکش داخلی مبتنی بر mav خودمختار با مکان‌سازی لیزر سه بعدی و بازسازی سطح بافت. جی. اینتل. ربات. سیستم 2019 ، 93 ، 317-335. [ Google Scholar ] [ CrossRef ]
شوایزر، EA; استو، دی. Coulter, LL اتوماسیون تقریباً بلادرنگ، تشخیص پس از خطر آسیب ترک به زیرساخت های حیاتی. فتوگرام مهندس Remote Sens. 2018 , 84 , 76–87. [ Google Scholar ] [ CrossRef ]
سانچز-کوواس، پی جی. رامون سوریا، پ. آرو، بی. اولرو، آ. Heredia, G. سیستم رباتیک برای بازرسی با تماس تیرهای پل با استفاده از uavs. Sensors 2019 , 19 , 305. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
Jimenez-Cano، AE; هردیا، جی. Ollero، A. دستکاری کننده هوایی با بازوی سازگار برای بازرسی پل. در مجموعه مقالات کنفرانس بین المللی 2017 در مورد سیستم های هواپیمای بدون سرنشین (ICUAS)، میامی، FL، ایالات متحده آمریکا، 13 تا 16 ژوئن 2017؛ ص 1217-1222. [ Google Scholar ]
لین، ال. یانگ، ی. چنگ، اچ. Chen, X. کنترل هوایی مبتنی بر دید خودمختار برای وسایل نقلیه هوایی بدون سرنشین روتورکرافت. Sensors 2019 , 19 , 3410. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
روجیرو، اف. لیپیلو، وی. اولرو، A. مقدمه ای بر موضوع ویژه در دستکاری هوایی. ربات IEEE. خودکار Lett. 2018 ، 3 ، 2734-2737. [ Google Scholar ] [ CrossRef ]
سالان، سی جی; تاداکوما، ک. اوکادا، ی. اوهنو، ک. Tadokoro، S. Uav با دو پوسته نیمکره ای دوار غیرفعال و روتور افقی برای بازرسی چکشی زیرساخت. در مجموعه مقالات سمپوزیوم بین المللی IEEE/SICE 2017 در مورد یکپارچه سازی سیستم، تایپه، تایوان، 11 تا 14 دسامبر 2017؛ صص 769-774. [ Google Scholar ]

شکل 1. آسیب های شناسایی شده از ابرهای نقطه ای ناشی از وسیله نقلیه هوایی بدون سرنشین (UAV) و از پردازش تجزیه و تحلیل تصویر مبتنی بر شی (OBIA). ( الف ) شیب در دیوارها، ( ب ) دهانه‌ها (فیروزه‌ای)، ترک‌ها (ارغوانی)، و آسیب‌دیدگی تیرهای عبوری، ( ج ، د ) زوایای جهت‌گیری ابر نقطه و بخش [اقتباس از 36].

شکل 2. مشکلات معمولی برای پردازش تصویر ناشی از سایه و انسداد [ 51 ].

شکل 3. ابرهای نقطه ای مشتق از پهپاد از سازه بتن مسلح با دیوارهای آجری که در معرض انفجارهای بیرونی و داخلی قرار دارند. دهانه ها، ترک ها و انباشته های زباله و همچنین تغییر شکل ظریف در نماها به طور خودکار شناسایی شدند.

شکل 4. نمایش ابر نقطه ای یک ساختار خلبان INACHUS در لیون، فرانسه، محاسبه شده از تصاویر نوری به دست آمده با یک هواپیمای بدون سرنشین تجاری ارزان قیمت (فانتوم 4، DJI)، که آسیب شناسایی شده از طریق یادگیری ماشین (قرمز) را نشان می دهد.

شکل 5. گردش کار برنامه برای نگاشت آسیب نزدیک به زمان واقعی توسعه یافته است. تصاویر به رایانه لپ تاپ پخش می شوند و بلافاصله پس از دریافت پردازش می شوند. یک الگوریتم تشخیص آسیب مبتنی بر شبکه عصبی کانولوشن (CNN) اعمال می‌شود، و یک مدل سه‌بعدی پراکنده به تدریج برای اصلاح آنها استفاده می‌شود. در زمان فرود پهپاد، ارتوموزائیکی که آسیب را نشان می دهد به پایان می رسد (اقتباس از [ 59 ]).

شکل 6. نمونه هایی از تشخیص آسیب ساختمان از طریق لایه های فعال سازی CNN، با استفاده از تصاویر نماهای هوایی قبل و بعد از زلزله. رنگ‌های فعال‌سازی روشن نقاط آسیب را نشان می‌دهند (اقتباس از [ 61 ]).

شکل 7. حفره های موجود در مدل فتوگرامتری نشان داده شده در شکل 4 ، به دست آمده با یک سیستم اسکن لیزری زمینی. ( الف ) اندازه تخمینی فضاهای باز مشاهده شده از طریق بازشوها، ( ب ) فاصله فضاهای خالی تا لبه ساختمان.

مقالات داخلی و بین المللی

بدون دیدگاه

دیدگاهتان را بنویسید لغو پاسخ

برای نوشتن دیدگاه باید وارد بشوید.

مشاورین هوش پیروزی

نقشه برداری آسیب ساختاری مبتنی بر پهپاد: یک بررسی