تأثیر دقت ابر نقطه ای از تطبیق تصویر بر آماده سازی خودکار مجموعه داده های آموزشی برای تشخیص اشیا در تصاویر پهپاد

توسعه پویا روش‌های یادگیری عمیق در سال‌های اخیر باعث استفاده گسترده از این الگوریتم‌ها در زمینه فتوگرامتری و سنجش از دور، به‌ویژه در زمینه‌های تشخیص تصویر، طبقه‌بندی و تشخیص اشیا شده است. با این حال، یکی از بزرگ‌ترین چالش‌ها در این زمینه، در دسترس بودن کم مجموعه داده‌های آموزشی، به‌ویژه در مورد کاربردهای تصاویر هوایی مورب و داده‌های پهپاد است. فرآیند دستیابی به چنین پایگاه های اطلاعاتی کار فشرده ای است. راه حل مشکل در دسترس نبودن مجموعه داده ها و نیاز به حاشیه نویسی دستی، خودکار کردن فرآیند تولید حاشیه نویسی برای تصاویر است. یکی از این رویکردها در کار زیر استفاده شده است. روش پیشنهادی برای نیمه خودکار کردن ایجاد مجموعه داده های آموزشی برای شناسایی اشیاء بر روی تصاویر نادر و مایل به دست آمده از پهپاد استفاده شد. این روش شامل مراحل زیر است: (1) تولید یک ابر نقطه 3 بعدی متراکم با دو روش مختلف: فتوگرامتری UAV و TLS (اسکن لیزری زمینی). (2) پردازش داده ها، از جمله برش دادن به اشیا و فیلتر کردن ابرهای نقطه. (3) نمایش نقاط ابری بر روی تصاویر هوایی. و (4) تولید جعبه های محدود کننده که اشیاء مورد علاقه را محدود می کنند. علاوه بر این، آزمایش‌های انجام‌شده برای آزمایش دقت و کیفیت مجموعه داده‌های آموزشی به‌دست‌آمده به روش پیشنهادی طراحی شده‌اند. اثر دقت ابر نقطه استخراج شده از تطبیق تصویر پهپاد متراکم بر روی جعبه‌های مرزی استخراج‌شده با روش پیشنهادی مورد ارزیابی قرار گرفت.

کلید واژه ها:

مجموعه داده های آموزشی ; تشخیص شی ؛ یادگیری عمیق ؛ ابرهای نقطه ای ; تصویرسازی اریب ; پهپاد

1. مقدمه

با توسعه یادگیری عمیق و افزایش مداوم عملکرد GPU، شبکه های عصبی کانولوشن (CNN) کاربردهای گسترده ای در تشخیص تصویر و تشخیص اشیا پیدا کرده اند [ 1 ، 2 ، 3 ، 4]. این الگوریتم ها هنوز در حال توسعه هستند و مدل های یادگیری عمیق جدید در حال ایجاد هستند. با این حال، یکی از مشکلاتی که در این زمینه مطرح می شود، نیاز به تعداد زیادی حاشیه نویسی حقیقت زمین برای آموزش شبکه های عصبی کانولوشنال عمیق است. علاوه بر این، فرآیند دستیابی به چنین مجموعه داده ها زمان بر است. کسب مجموعه داده های آموزشی سنتی شامل جمع آوری داده ها و حاشیه نویسی است. اگرچه داده‌ها همیشه به دست می‌آیند و داده‌های تصویری جدید هر روز ارائه می‌شوند، چه توسط هواپیما، هواپیماهای بدون سرنشین، سکوهای موبایل یا حسگرهای نصب‌شده بر روی ماهواره‌ها، دلایل زیادی وجود دارد که این داده‌ها ممکن است برای آموزش مدل‌های یادگیری عمیق کافی یا مفید نباشند. با این حال، یکی از بزرگترین چالش ها، پیش پردازش و آماده سازی داده های به دست آمده است تا بتوان بر اساس آن مدل را آموزش داد.

بزرگترین پایگاه های آموزشی برای CNN از صحنه های طبیعی تشکیل شده است. اینها مجموعه داده های بزرگی هستند که برای استفاده عمومی در دسترس هستند. ImageNet [ 5 ]، PASCAL VOC 2012 [ 6 ]، و MSCOCO [ 7 ] چند نمونه از مجموعه داده های یادگیری هستند [ 8 ]]. با این حال، محدودیت این است که آنها را فقط می توان برای صحنه های خاص یا به عنوان ورودی برای مدل های پیش آموزش اعمال کرد. چالش همچنین این است که اشیاء در عکس‌های هوایی در مقایسه با عکس‌های موجود در صحنه‌های طبیعی زمین به طور متفاوتی نقشه‌برداری می‌شوند. تنوع کم کلاس‌های اشیا، تنوع مقیاس، جهت‌گیری و شکل اجسام روی سطح زمین نیز محدودیت‌هایی هستند که استفاده از این مجموعه داده‌های موجود و بایگانی‌شده را در کارهای خاص غیرممکن می‌کنند. در مورد کاربردهای فتوگرامتری و سنجش از دور، حاشیه نویسی دستی معمولاً اجتناب ناپذیر است که به زمان و کار زیادی نیاز دارد.

با این حال، با ظهور روش‌های یادگیری عمیق مبتنی بر داده، تعداد راه‌حل‌ها و استراتژی‌های موثر برای تولید داده‌های واقعی در حال افزایش است. یکی از روش‌شناسی که در اینجا نیز شایان ذکر است روشی است که توسط Laupheimer و Haala، 2021 [ 9 ] ارائه شده است. این شامل انتقال برچسب ها از ابرهای نقطه ای مشروح دستی به مش و از آن مکان به فضای تصویر برای کار تجزیه و تحلیل صحنه معنایی است. این یکی از نمونه هایی از روش ها و رویکردهایی است که تا حدی مشکل عدم دسترسی به مجموعه داده ها و کار دستی را حل می کند. چندین مثال دیگر به طور خلاصه در بخش 2 با بررسی آثار مرتبط توضیح داده شده است.

کار زیر همچنین از فرآیندی برای نیمه خودکار ساخت مجموعه داده های آموزشی برای تشخیص در تصاویر هوایی نادر و مایل استفاده می کند. برای این منظور، نقشه‌های ارتوفتوتوم و ابرهای نقطه‌ای به عنوان نقطه شروعی برای تولید جعبه‌های مرزی حقیقت زمین بر روی تصاویر استفاده می‌شوند. شرح مفصل تری از روش شناسی در بخش 4 توضیح داده شده است .

اگرچه چنین رویکردی کار دستی را حذف نمی کند، اما تلاش را کاهش می دهد. ایجاد یک لایه شکل فایل نقطه ای و علامت گذاری اشیاء با استفاده از نقشه ارتوفوتومپ نسبت به برچسب زدن همه عکس ها در یک پروژه و علامت گذاری تمام جعبه های محدود کننده اشیاء اطراف، زمان کمتری را صرف می کند.

از سوی دیگر، سهم اصلی در کار زیر، جنبه دقت و کیفیت مجموعه داده های آموزشی است که از این طریق به دست آمده است. هدف این تحقیق ارزیابی تأثیر دقت ابر نقطه استخراج شده از تطبیق تصاویر پهپاد متراکم بر روی جعبه‌های مرزی استخراج‌شده با استفاده از روش پیشنهادی است.

بقیه این مقاله شامل بخش های زیر است. بخش 2 در دسترس بودن مجموعه داده های آموزشی را بررسی می کند و روش هایی را برای خودکارسازی فرآیند تولید حاشیه نویسی برای تصاویر شرح می دهد. بخش 3 داده های مورد استفاده را شرح می دهد. بخش 4 ارائه روش شناسی اتخاذ شده در این کار است. بخش 5 شامل نتایج و ارزیابی دقت است. در نهایت، بخش 6 خلاصه ای از کار است و شامل نتیجه گیری است.

2. آثار مرتبط

گسترش روش های یادگیری عمیق در رصد زمین منجر به ایجاد و در دسترس بودن برخی از مجموعه داده ها برای مدل های آموزشی بر روی تصاویر هوایی و ماهواره ای شده است. با این حال، در مورد مجموعه داده های آموزشی متشکل از عکس های هوایی یا صحنه های ماهواره ای، فراوانی آنها بسیار کمتر از ImageNet است. علاوه بر این، این مجموعه ها با تنوع کم دسته بندی اشیا مشخص می شوند. متداول‌ترین مجموعه داده‌ها شامل اشیایی مانند اتومبیل‌ها هستند: مجموعه TAS [ 10 ]، VEDAI [ 11 ]، UCAS-AOD [ 12 ]، 3K-DLR-Munich [ 13 ]. کشتی‌ها: RSOD [ 14 ]، HRSC2016 [ 15 ]؛ و ساختمان ها: مجموعه داده SZTAKI-INRIA [ 16]. دو بزرگترین مجموعه داده برای تشخیص اشیا در حوزه رصد زمین، DOTA [ 17 ] است که شامل 15 دسته از اشیا و 2806 تصویر هوایی است و DIOR [ 18 ] که شامل 23463 تصویر و 192472 نمونه است که 20 کلاس شی را پوشش می دهد. با این وجود، حتی مجموعه داده‌های چند طبقه‌ای ذکر شده در میان این ده‌ها کلاس/دسته از اشیاء ممکن است شامل موارد مورد نظر در یک مورد خاص نباشد. گاهی اوقات اتفاق می افتد که این اشیاء برای کاربردهای خاص خاص هستند.

با این حال، در دسترس بودن آنها از تصاویر هوایی مورب هنوز در مورد مجموعه داده های آموزشی برای تشخیص اشیا کم است. پتانسیلی که فتوگرامتری مایل به همراه دارد بسیار قابل توجه است. اولاً، یک منبع داده با مزایای متمایز ارائه می‌کند: نماهای متعدد از دیدگاه‌های مختلف و مقیاس‌های تصویری بسیار متفاوت [ 19 ]. علاوه بر این، فتوگرامتری مایل امکان به دست آوردن اطلاعات در مورد مکان یک شی در یک سیستم زمین و استفاده از ویژگی چند زمانی را دارد [ 20 ].

علاقه جامعه علمی به استفاده از عکس های هوایی مایل، مزایای این تکنیک را آشکار کرده است. این امر با ظهور انتشارات و مطالعات علمی در مورد تشخیص اشیا [ 1 ، 21 ] مشهود است.

فتوگرامتری پهپاد یک رویکرد جمع‌آوری داده‌های مقرون‌به‌صرفه و انعطاف‌پذیر است که منبع داده‌ای از تصاویر نادر و مایل را فراهم می‌کند [ 22 ]. فتوگرامتری هوایی و هواپیماهای بدون سرنشین نیز تصاویری با دقت بالا از یک شیء را چندین بار در عکس‌های مختلف به دلیل همپوشانی کنار و جلو در یک بلوک از تصاویر به ارمغان می‌آورد. علاوه بر این، استفاده از تصاویر مایل این مزیت اضافی را به ارمغان می آورد که یک شی معین از چندین جهت در زوایای مختلف تصویر می شود، که باعث افزایش بیشتر اندازه و تنوع مجموعه داده می شود. استفاده از داده‌های به‌دست‌آمده از پهپادها و محصولات فتوگرامتری مانند ابرهای نقطه‌ای یا نقشه‌های ارتوفوتومتری، تشخیص اشیاء را با استفاده از الگوریتم‌های مبتنی بر چارچوب‌های یادگیری عمیق امکان‌پذیر می‌سازد [ 23 ]]. با توجه به توانایی جمع آوری سریع داده ها با وضوح بالا، یک سیستم مبتنی بر پهپاد می تواند در بسیاری از زمینه ها استفاده شود. چنین راه حل هایی را می توان در موجودی و مدل سازی اشیاء زیرساخت فنی و حمل و نقل به کار برد. علاقه به استفاده از الگوریتم های یادگیری عمیق برای تشخیص اشیا در صنایعی مانند راه آهن، تولید برق و ساخت و ساز جاده افزایش یافته است [ 24 ، 25 ، 26 ، 27 ، 28 ]. راه حل های مبتنی بر هواپیماهای بدون سرنشین نیز برای بازرسی پانل های خورشیدی استفاده می شوند [ 29 ].

مثال‌های ارائه‌شده پتانسیل استفاده از داده‌های اکتسابی پهپاد را برای شناسایی اشیاء مورد علاقه با استفاده از روش‌های یادگیری عمیق نشان می‌دهند. مقالات مروری [ 30 ، 31 ] موارد قبلی را در مورد اصول یادگیری عمیق به کار رفته در تصاویر مبتنی بر پهپاد خلاصه می کند. Ramachandran و Sangaiah مشکل ذکر شده در دسترس بودن مجموعه داده ها را در کار خود برجسته کردند [ 30 ]، و اشاره کردند که برای پیشرفت تحقیقات در این زمینه ضروری است که یک مجموعه داده معیار بزرگ اختصاص داده شده به مشکل تشخیص اشیا را ایجاد کند. توسط پهپادها

مشابه تصاویر هوایی و ماهواره‌ای، مجموعه داده‌های آموزشی در دسترس عموم برای کاربردهای پهپاد اغلب شامل کلاس‌هایی مانند اتومبیل‌ها می‌شوند [ 21 ، 32 ، 33 ، 34 ]. مجموعه داده‌های آموزشی برای زیرساخت‌های مهندسی [ 35 ] یا تشخیص درخت [ 36 ] نیز شروع به ظاهر شدن می‌کنند، اما اندازه و تنوع کلاس هنوز ناامیدکننده است.

بنابراین، تیم های تحقیقاتی زمان زیادی را صرف ایجاد چنین مجموعه های داده یا استفاده از راه حل های دیگر مانند رویکردهای مبتنی بر تنظیم دقیق یا سایر روش های یادگیری انتقال می کنند. همچنین می‌توان از روش‌های جایگزین برای سرعت بخشیدن به فرآیند دستی استفاده کرد – نظارت ضعیف یا یادگیری نیمه نظارتی (SSL) [ 37 ، 38 ].

روش دیگر برای مقابله با کمبود داده های آموزشی، خودکار کردن فرآیند تولید حاشیه نویسی برای تصاویر است. چنین راه حل هایی هم در تقسیم بندی تصویر و هم در تشخیص اشیا استفاده می شود. راس و همکاران، 2016 [ 39 ] در کار خود پیشنهاد کردند تصاویر مصنوعی با حاشیه نویسی در سطح پیکسل تولید کنند. پیشنهاد دیگری برای حل این مشکل استفاده از یک ابر نقطه LiDAR یا بازسازی سه بعدی صحنه برای ارتقاء وظیفه برچسب‌گذاری نمونه معنایی از دو بعدی به سه بعدی است [ 40 ]. نویسندگان در [ 41] تولید خودکار حاشیه نویسی روی تصاویر را پیشنهاد کرد. این روش شامل سه مرحله است: (1) برچسب زدن دستی یک یا دو تصویر هوایی. (2) انتقال برچسب های پیکسل به چندین تصویر پهپاد از طریق ابر نقطه پهپاد. (3) پالایش حاشیه نویسی های تولید شده با استفاده از یک مدل CRF با جفت متراکم و طبقه بندی کننده ساده و بی تکلف بیز. در مطالعه خود، Zachar و همکاران، 2022 [ 20 ] به کمبود داده های آموزشی برای مدل پرداختند و روشی را پیشنهاد کردند که در آن کار دستی با استفاده از منابع موجود برای انتقال مراجع به پایگاه های داده جدید برای مدل های آموزشی برای تشخیص اشیا جایگزین می شود. روی تصاویر هوایی مورب راه حل های مشابهی با انتقال مراجع و اتخاذ الگوریتم های مبتنی بر یادگیری عمیق در تصاویر صحنه های طبیعی برای تشخیص اشیاء در تصاویر پهپاد قبلاً ارائه شده است [ 42 ], 43 , 44 , 45 ].

3. توضیحات مجموعه داده

برای آزمایش‌های کار زیر، داده‌های فتوگرامتری (تصاویر نادر هوایی و مایل) با پهپاد DJI Phantom 4 RTK با دوربین FC6310R (رزولوشن: 5472 × 3648، فاصله کانونی: 8.8 میلی‌متر، اندازه پیکسل: 2.41 میکرومتر) به‌دست آمد. و محصولات (ابر نقاط و نقشه های ارتوفتوتوم) استفاده شد. منطقه مورد مطالعه که داده های فتوگرامتری در آن به دست آمد، یک بخش راه آهن در نزدیکی Czestochowa، لهستان (Herby) بود. داده‌ها در مارس 2021 به‌دست آمدند. تصاویر هوایی مورب و نادر در مأموریت‌های فتوگرامتری چند متغیره به‌دست آمدند. ارتفاع پروازهای مختلف و همپوشانی های جلو و جانبی عکس ها مورد آزمایش قرار گرفت. داده ها در نرم افزار Pix4D Mapper برای بخشی از زیرساخت راه آهن در منطقه آزمایش پردازش شد.

داده‌های به‌دست‌آمده در تغییرات چندگانه برای تولید ابرهای نقطه‌ای مورد استفاده قرار گرفتند. انتخاب پارامترهای ماموریت فتوگرامتری مربوط به آزمایش‌های روش‌شناسی اکتساب داده‌های پهپاد با الزامات داده‌های ورودی برای شبکه‌های عصبی بود. آزمایش های مربوط به این موضوع در نشریات فوق مورد مطالعه قرار نگرفت. تصاویر نادر در دو ارتفاع (54 متر و 90 متر) به دست آمد، در حالی که تصاویر اریب در 40 متر با شیب زاویه دوربین به میزان 45 درجه به دست آمد. علاوه بر این، انواع در همپوشانی رو به جلو و جانبی متفاوت بودند، که نه تنها بر ابر نقطه حاصل بلکه بر زمان پردازش و جنبه اقتصادی نیز تأثیر می‌گذارد.

با توجه به پارامترهای مختلف پرواز ماموریت (ارتفاع، پوشش ها) و تنظیمات پارامتر متفاوت در نرم افزار، محصولاتی با ویژگی های دیگر به دست آمد. چهارده سناریو برای اکتساب و پردازش تصویر برای منطقه مورد مطالعه تهیه شد. انواع نیز در استفاده از عکس های عمودی و مایل و ترکیب آنها متفاوت بود. همه انواع از همه عکس‌های به‌دست‌آمده استفاده نمی‌کردند، و این با حذف، برای مثال، هر ردیف دوم یا هر عکس دوم اصلاح شد. جدول 1 تمام خلاصه ها و پارامترهای اساسی را نشان می دهد. در نتیجه، 14 نوع ابر نقطه مختلف به دست آمد.

دقت تراز حاصل در جداول زیر نشان داده شده است ( جدول 2 و جدول 3 ). میانگین خطای RMS برای نقاط کنترل از 0.2 سانتی متر تا 3.6 سانتی متر متغیر است، در حالی که برای نقاط چک از 1.3 سانتی متر تا 3.6 سانتی متر متغیر است. بهترین دقت برای نوع شماره به دست آمد. 3 (ارتفاع پرواز: 54 متر؛ OF: 90٪؛ سیستم عامل: 80٪؛ GSD: 1.50 سانتی متر) مقایسه دقت در نقاط کنترل. نوع شماره 1 (ارتفاع پرواز: 54 متر؛ OF: 90٪؛ سیستم عامل: 90٪؛ GSD: 1.50 سانتی متر) بهترین دقت را در نقاط بازرسی نشان داد. جزئیات تنظیم Bundle Block نیز با میانگین خطای بازپرداخت در پیکسل نشان داده شده است ( جدول 4 ).

برای عملکرد آزمایش، ابرهای نقطه ای اسکن لیزری زمینی (TLS) به عنوان حقیقت زمین (داده های مرجع که نتایج با آن مقایسه می شود) استفاده شد.

یک جنبه مهم از دیدگاه تحقیقاتی این بود که داده ها در همان روز به دست آمدند زیرا یک سایت بازسازی ایستگاه راه آهن بود. تغییرات دینامیکی که می تواند روز به روز در چنین محیطی رخ دهد می تواند مقایسه نتایج حاصل از داده های گرفته شده در زمان های مختلف را غیرممکن کند. سپس، تغییرات در پوشش زمین – مانند قرار دادن یک ساختمان جدید – علاوه بر این باید تأیید شود. در مورد آزمایش‌های بالا، داده‌ها در این رابطه تأیید شدند، اما نکته بسیار مهمی است که باید در نظر داشت.

منطقه ای که داده های TLS برای آن به دست آمد، کوچکتر از منطقه تحت پوشش داده های پهپاد بود. بنابراین، منطقه برای داده های پهپاد نیز محدود به سایتی بود که داده های TLS برای آن به دست آمد. در نتیجه این منطقه دارای 20 تیر کششی و 15 دروازه راه آهن بود. این اشیاء مورد تجزیه و تحلیل قرار گرفتند.

جمع آوری داده های اسکن لیزری زمینی (TLS) با استفاده از اسکنر لایکا RTC360 انجام شد. برای منطقه مورد مطالعه، 115 اسکن با استفاده از تنظیمات متوسط، مربوط به وضوح نقطه 6 میلی متر در فاصله 10 متر گرفته شد. داده ها با استفاده از نقاط کنترل زمینی به سیستم مختصات زمین PL-1992 ارجاع داده شدند. برای این منظور 13 نقطه به روش RTK با استفاده از شبکه مرجع ملی (ASG-EUPOS) با دقت اندازه گیری 0.03 متر (افقی) و 0.05 متر (عمودی) اندازه گیری شد. ثبت اسکن ها به روش Cloud-to-Cloud در نرم افزار Leica Cyclone REGISTER 360 انجام شد. دقت مناسب C2C برای باندل ها 1 سانتی متر بود. میانگین خطای تطبیق ابرهای نقطه ای به دست آمده از مکان های مختلف اسکنر با نقاط کنترل زمینی کمتر از 10 سانتی متر بود.جدول 5 .

یک جنبه مهم بررسی شده در آزمایش های حاضر، دقت ابرهای نقطه ای تولید شده از DIM (تطبیق تصویر متراکم) است. دقت تراز در بالا ارائه شده است. با این حال، علاوه بر تجزیه و تحلیل گزارش‌های هم‌ترازی تصاویر هر یک از انواع، تراکم ابرهای نقطه‌ای و تحلیل بصری برای ارزیابی نویز ابرهای نقطه‌ای نیز با هم مقایسه می‌شوند. خلاصه ای از میانگین چگالی نقطه در هر متر مکعب ^در جدول 6 نشان داده شده است . بالاترین چگالی با انواعی که ابر نقطه در تنظیمات بالا برای آنها ایجاد شده است نشان داده می شود.

با قرار دادن همه انواع به تجزیه و تحلیل بصری، می توان دریافت که تعداد قابل توجهی از عناصر در ابر نقطه برای انواع ایجاد شده در تنظیمات بالا نگاشت شده است. با این حال، ابرهای نقطه ای از این گونه ها پر سر و صداتر هستند. این امر به ویژه برای قطب های کششی مشهود است. شکل های زیر نمونه هایی از یک دروازه ( شکل 1 ) و یک قطب کششی ( شکل 2 ) را برای همه انواع ابر نقطه ای نشان می دهد.

هنگام مقایسه حتی دقیق ترین انواع ابر نقطه از تطبیق تصویر متراکم با داده های اسکن لیزری زمینی، آشکار است که برخی از عناصر در ابر نقطه متراکم نگاشت نشده اند. علاوه بر این، با ترسیم جزئیات بیشتر و افزایش چگالی ابر نقطه، نویز افزایش می یابد. چنین جلوه ای مطلوب نیست، به خصوص زمانی که مرحله بعدی نمایش نقاط در مختصات پیکسلی تصویر برای تعیین مکان دقیق هر جسم (جعبه مرزی) باشد.

با در نظر گرفتن تمام جنبه های نشان داده شده، آزمایش ها انجام شد. هدف این بود که بررسی کنیم که چگونه دقت ابر نقطه‌ای بر جعبه‌های مرزی حاصله تأثیر می‌گذارد. در نتیجه تحقیقات، توصیه هایی ارائه شده است که بر اساس آن پارامترهای یک پرواز ماموریت فتوگرامتری باید برای ایجاد خودکار مجموعه داده های آموزشی با دقت بالا استفاده شود. علاوه بر پارامترهای پرواز ماموریت، عناصر ضروری تنظیمات و پارامترهای پردازش داده هستند که با آن ابرهای نقطه ای باید به گونه ای تولید شوند که برای هدف مشخص شده کافی باشند.

در بخش بعدی مقاله، مراحل خاص تحقیق، روش شناسی اتخاذ شده و نتایج را به تفصیل شرح می دهیم.

4. روش شناسی و راه اندازی آزمایشی

پردازش تصاویر بدست‌آمده از پهپاد، محصولات فتوگرامتری مختلفی مانند ابرهای نقطه‌ای و نقشه‌های ارتوفوتومتری تولید می‌کند. این محصولات به عنوان داده های منبع به عنوان بخشی از روش برای پشتیبانی از آماده سازی مجموعه داده های آموزشی استفاده شد.

اولین مرحله ضروری پردازش بلوک های تصویر بود. یعنی جهت دادن به داده ها. نتایج حاصل از این مرحله در بخش قبلی توضیح داده شد، جایی که دقت تراز برای هر نوع نیز ارائه شد. به عنوان بخشی از پردازش داده‌ها، ابرهای نقطه‌ای و نقشه‌های اورتوفوتومپ برای همه انواع در Pix4D ایجاد شدند.

قسمت بعدی تهیه فایل های حاوی اطلاعات مکان اشیاء مورد علاقه بود. این مرحله به دلیل نیاز به داشتن مختصات زمین هر شی ضروری بود تا بر اساس آنها، ابرهای نقطه ای از تطابق تصویر متراکم به قطعات ابری که شیء را در بر می گیرند، بریده شوند. دو رویکرد مختلف برای دروازه ها و قطب های کششی استفاده شد. بر اساس نقشه ارتوفوتومپ گرفته شده از یکی از انواع تصویر، یک لایه نقطه در ArcGIS Pro ایجاد شد. قطب های کششی با نقاطی روی نقشه ارتوفوتومپ مشخص شده بودند که امکان گرفتن اطلاعات مختصات زمین X، Y و Z قطب را فراهم می کرد ( شکل 3).آ). در مورد دروازه‌ها، تصمیم گرفته شد که یک لایه چندضلعی به دلیل ویژگی‌های متفاوت جسم ایجاد شود. نمونه ای از یک دروازه برداری را می توان در شکل 3 ب مشاهده کرد.

مختصات زمین حاصل از تمام اشیاء به عنوان اطلاعات ورودی برای برش بخش‌هایی از ابر نقطه‌ای که حاوی نقاط متعلق به جسم بود، استفاده می‌شد ( شکل 4 ). در مورد دروازه‌ها، ابرهای نقطه‌ای با یک چند ضلعی بریده می‌شوند، در حالی که برای قطب‌های کششی، از یک بافر از نقطه‌ای با شعاع 5 متر استفاده می‌شود، بنابراین این اطمینان وجود داشت که تمام عناصر قطب کششی از جمله بوم‌ها نقشه‌برداری می‌شوند.

همانطور که در شکل 4 مشاهده می شود . ، ابرهای نقطه برش هنوز حاوی عناصری هستند که به اشیاء مورد نظر (از جمله نقاط متعلق به کلاس زمین) تعلق ندارند. بنابراین، فیلتر کردن زمین برای اینکه جعبه‌های مرزی اطراف جسم به خوبی نمایش داده شوند ضروری است. روش فیلتر شبیه سازی پارچه (CSF) که برای استخراج نقاط زمین در ابرها و پردازش داده های LiDAR استفاده می شود، تصمیم گیری شد. با این حال، پس از آزمایش (در ابتدا در نرم‌افزار CloudCompare) و تأیید نتایج، مشخص شد که برای اهداف آزمایش‌های فوق، این روش برای ابرهای نقطه‌ای ناشی از تطبیق تصویر متراکم، همانطور که در شکل 5 نشان داده شده است، مرتبط است . بنابراین، پیاده سازی فیلتر CSF [ 46 ] در GitHub (https://github.com/jianboqi/CSF ، قابل دسترسی در 1 نوامبر 2022) به عنوان جزئی از الگوریتم ما استفاده و اضافه شد.

علاوه بر فیلتر کردن نقاط زمین، همچنین لازم بود نقاطی که نویز بودند و به موضوع مورد نظر تعلق نداشتند نیز فیلتر شوند. ابتدا، فیلتر نویز “نقاط ایزوله” با استفاده از توابع کتابخانه Open3D اعمال شد. این روش ها همسایگی را در ابر نقطه بررسی می کنند و بر این اساس نقاط پرت را رد می کنند. دو روش استفاده شد:

حذف آماری پرت – نقاطی را که در مقایسه با میانگین ابر نقطه از همسایگان خود دورتر هستند حذف می کند.
حذف شعاع بیرونی – نقاطی را که همسایه های کمی در یک فضای اطراف معین دارند حذف می کند.

نمونه‌ای از فیلتر بیرونی برای دروازه‌ها در شکل 6 نشان داده شده است ، که در آن نقاط قرمز رنگ نویز را نشان می‌دهند.

در حالی که فیلترهای فوق برای دروازه‌ها که عموماً نویز کمتری داشتند به خوبی کار می‌کردند، فیلتر دستی برای قطب‌های کششی ضروری بود، که معلوم شد اجسام پیچیده‌تری هستند. نمونه ای از چنین موردی در شکل 4 نشان داده شده استج، جایی که اشیایی که به شی مورد نظر تعلق ندارند (نقاط ابر در سمت راست) نیز در قطعه بریده شده ابر نقطه (در بافر 5 متری از نقطه موقعیت قطب) نگاشت شده اند. تصمیم گرفته شد که علیرغم فیلتر اولیه با استفاده از توابع کتابخانه Open3D، تمام اشیاء برای هر گونه تأیید شوند و اشیاء غیر ضروری حذف شوند زیرا هیچ ابزار بهینه ای یافت نشد که به طور خودکار چنین قطعاتی از ابر را حذف کند. تأیید و ویرایش دستی (فیلتر کردن) برای ابرهای نقطه TLS و ابرهای نقطه از تطبیق تصویر پهپاد اعمال شد. پس از اطمینان از اینکه تمام ابرهای نقطه اجسام به درستی آماده شده اند، مرحله نهایی رخ داد. این شامل نمایش نقاط ابری بر روی تصویر بود که اساساً مختصات زمین را به مختصات پیکسلی تصاویر تبدیل می کرد.

بر اساس پارامترهای جهت گیری داخلی و خارجی دوربین و همچنین اطلاعات مربوط به مدل اعوجاج دوربین، امکان انتقال دقیق بین مختصات در سیستم مرجع میدان (XYZ) و مختصات پیکسلی تصویر (uv) وجود داشت. ). استفاده از این اطلاعات و انجام محاسبات با استفاده از فایل های ایجاد شده در نتیجه تراز در Pix4D، بر اساس مدل ریاضی توضیح داده شده در وب سایت توسعه دهنده ( https://support.pix4d.com/hc/en-us/articles/202559089- How-are-the-Internal-and-External-Camera-Parameters-defined ؛ در 1 نوامبر 2022 قابل دسترسی است https://support.pix4d.com/hc/en-us/articles/202977149-What-does-the-Output -Params-Folder-contain ، قابل دسترسی در 1 نوامبر 2022)، نتیجه نشان داده شده درشکل 7 به دست آمد.

با تبدیل نقاط ابری به مختصات پیکسلی عکس، می‌توان قسمت آخر را انجام داد. یعنی برای محاسبه مختصات جعبه مرزی. این مقادیر بر اساس مقادیر حداکثر و حداقل نقاط پیش بینی شده (umax، vmax، umin و vmin) برآورد شد. به این ترتیب نتیجه نهایی ایجاد شد. جعبه مرزی اطراف جسم با انتقال ابر نقطه به تصاویر به دست آمد ( شکل 8 ).

روش ( شکل 9 ) به این ترتیب توسعه یافته شامل استفاده از داده های فتوگرامتری و محصولات به عنوان داده منبع برای حاشیه نویسی شی است. سپس تمام مراحل توضیح داده شده در این بخش انجام می شود. نتیجه نهایی، مجموعه داده‌های آموزشی متعددی است که شامل تصاویر و اطلاعات مربوط به موقعیت شی در تصویر با استفاده از یک کادر محدودکننده ذخیره شده در یک فایل متنی مطابق با الزامات زیر آشکارسازها و مدل‌های ML است.

به عنوان مثال، پایگاه داده های آموزشی حاصل می تواند برای آموزش آشکارسازهایی مانند YOLO یا Fast R-CNN استفاده شود. از سوی دیگر، یک موضوع مهم، ارزیابی دقت جعبه های محدود کننده حاصل است. این قسمت مربوط به ارزیابی نتایج در قسمت بعدی مورد بررسی قرار می گیرد که همپوشانی بین مرجع (حقیقت زمین) و جعبه مرزی که نتیجه حاصل از انتقال ابر نقطه به تصاویر است بررسی می شود.

همانطور که قبلا ذکر شد، آزمایش ها بر روی دو شی از زیرساخت های راه آهن انجام شد – دروازه ها و قطب های کششی. بخش زیر نتایج نمونه‌ای را نشان می‌دهد – جعبه‌های مرزی رسم شده روی تصاویر و محدود کردن اشیاء مورد علاقه. بازرسی بصری نتایج نیز بخشی از تجزیه و تحلیل ها را تشکیل می داد.

شکل 10 نمونه هایی از نتایج را برای قطب های کششی نشان می دهد. سمت راست نتایج را برای ابرهای نقطه از TLS نشان می‌دهد و سمت چپ جعبه‌های مرزی را نشان می‌دهد که از ابرهای نقطه‌ای از تطبیق تصویر متراکم ایجاد شده‌اند. مقایسه بصری مشابهی برای دومین شی مورد تجزیه و تحلیل – دروازه ها ( شکل 11 ) انجام شد.

جعبه‌های مرزبندی به‌دست‌آمده از این طریق می‌توانند یک مجموعه داده آموزشی را تشکیل دهند. بنابراین، ورودی شبکه یک تصویر یا قطعه ای از یک عکس حاوی شی مورد نظر و یک فایل، به عنوان مثال، یک فایل متنی حاوی اطلاعاتی در مورد موقعیت شی در سیستم مختصات پیکسل خواهد بود. اگر یک عکس شامل بیش از یک شی باشد، تمام اشیاء باید در فایل حاوی اطلاعات جعبه مرزی گنجانده شوند تا مجموعه کامل شود. نکته مهمی که در اینجا باید بر آن تاکید شود این است که با علامت گذاری یک شی در یک نقشه ارتوفوتومپ، می توان مجموعه داده های آموزشی متعددی را به دست آورد زیرا یک شی معین ممکن است در ده ها تصویر قابل مشاهده باشد. این به پارامترهای ماموریت پرواز بستگی دارد. این موضوع در بخش بعدی به طور گسترده توضیح داده شده است، از جمله تعداد کادرهای محدود کننده به دست آمده در تمام تصاویر یک نوع. روش ارائه شده برای انجام آزمایشات مورد استفاده قرار گرفت که نتایج آن در بخش بعدی توضیح داده شده است.

5. نتایج

یک موضوع مهم در ارزیابی دقت مدل های یادگیری عمیق، کیفیت و دقت مجموعه داده های آموزشی است. همانطور که مشخص است، دقت یک مدل تشخیص شی به کیفیت و تعداد نمونه های آموزشی، تصاویر ورودی، پارامترهای مدل و آستانه دقت مورد نیاز بستگی دارد. بنابراین، دقت، صحت و کامل بودن جعبه‌های مرزی برای آموزش مدل هنگام خودکارسازی فرآیند تولید مجموعه داده آموزشی بسیار مهم است.

هنگام تفسیر نتایج مدل یادگیری عمیق برای تشخیص شی، دقت با استفاده از معیارهای مختلف ارزیابی می شود. یکی از آنها فاکتور Intersection over Union (IoU) است. این معیاری است که به عنوان آستانه ای برای تعیین اینکه آیا یک نتیجه پیش بینی شده مثبت واقعی یا مثبت کاذب است استفاده می شود. این ضریب همپوشانی بین جعبه مرزی پیش بینی شده در اطراف جسم و جعبه مرزی حقیقت زمین را تعیین می کند. به این ترتیب، IoU می تواند به عنوان یک متریک برای ارزیابی دقت آشکارساز شی در یک مجموعه داده خاص با مقایسه نتایج حاصل از مدل با داده های مرجع استفاده شود.

همانطور که قبلاً ذکر شد، سهم اصلی این مقاله تجزیه و تحلیل تأثیر دقت ابرهای نقطه ای استخراج شده از تطبیق تصویر نادر و مایل بر روی جعبه های مرزی حاصله است که به طور خودکار استخراج می شوند. بنابراین، برای اینکه بتوانیم تأثیر دقت ابرهای نقطه ای استخراج شده از تطبیق تصویر بر روی جعبه های مرزی حاصل را ارزیابی کنیم، علاوه بر ارزیابی بصری، از تقاطع متریک بر روی اتحاد استفاده شد ( شکل 12 ).

این متریک برای ارزیابی دقت آشکارسازهای شی در مجموعه ای از داده ها استفاده می شود. هر آشکارساز، که جعبه‌های محدودکننده را به عنوان خروجی از مدل ارائه می‌کند، می‌تواند با متریک IoU ارزیابی شود. برای اعمال این معیار، لازم است:

جعبه‌های محدودکننده حقیقت زمین (جعبه‌های مرزی برچسب‌گذاری شده از مجموعه داده آزمایشی، که مکان شی را در یک سیستم مختصات پیکسلی تصویر مشخص می‌کند).
جعبه های مرزی پیش بینی شده (جعبه های مرزی خروجی از مدل).

بر اساس این مقادیر، می توان همپوشانی بین مرجع (حقیقت زمین) و جعبه مرزی را ارزیابی کرد که نتیجه حاصل از نمایش نقاط ابری بر روی تصاویر است. بنابراین IoU به عنوان مساحت تقاطع جعبه مرزی حقیقت زمین با جعبه مرزی خروجی تقسیم بر مساحت ترکیب این دو اندازه گیری می شود.

در صورت‌حساب، مساحت تقاطع جعبه مرزی پیش‌بینی‌شده و جعبه مرزی حقیقت-زمینی وجود دارد، و مخرج، مساحت کل جعبه مرزی پیش‌بینی‌شده و جعبه مرزی حقیقت-زمینی است. تقسیم ناحیه همپوشانی بر ناحیه اتحاد نتیجه نهایی را به دست می دهد – تقاطع روی اتحاد. مقدار IoU از 0 (بدون همپوشانی) تا 1 است (جعبه ها یکسان هستند).

با توجه به اینکه هیچ آشکارساز شی در آزمایش‌های فوق استفاده نشده است، جعبه‌های مرزی حقیقت زمین به عنوان یک مرجع (به‌دست‌آمده بر اساس ابرهای نقطه‌ای از اسکن لیزری زمینی) در نظر گرفته شدند، در حالی که جعبه‌های مرزی حاصل (بر اساس ابرهای نقطه‌ای به دست آمدند). از تطابق تصویر متراکم) به عنوان “پیش بینی شده” در نظر گرفته شدند. همانطور که در بخش بالا توضیح داده شد، هر دو حقیقت پایه و جعبه های محدود کننده با استفاده از یک اسکریپت نیمه اتوماسیون به دست آمدند.

در نتیجه، تمام 14 نوع با جعبه‌های مرزی حقیقت زمین تولید شده از TLS مقایسه شدند.

5.1. دروازه ها

اولین اشیاء ارزیابی شده دروازه های کششی بودند. نتایج آزمایش در جدول 7 ارائه شده است ، که در آن دقت برای همه انواع خلاصه شده است. بهترین نتایج برای واریته‌ای با علامت شماره به دست آمد. 5، که مقدار IoU برای آن 92.42٪ بود. نتایج به دست آمده برای بقیه انواع نیز دقت نسبتا بالایی را نشان داد.

کمترین مقدار IoU برای واریانت با علامت شماره به دست آمد. 14-77.06٪. نظمی که می توان از نتایج مشاهده کرد این است که برای انواعی که برای آنها ابر نقطه با تنظیمات “بالا” تولید شده است، مقادیر کمتری نسبت به انواع با تنظیمات پیش فرض به دست آمده است. پس از تجزیه و تحلیل نتایج آزمایش، می توان نتیجه گرفت که نویز بالاتر، که برای ابرهای نقطه متراکم تولید شده با تنظیمات “چگالی نقطه بالا” به دست آمد، به طور قابل توجهی بر نتایج تأثیر گذاشت.

بر اساس نتایج، امکان نشان دادن یک نوع پرواز ماموریت وجود دارد، که برای آن جعبه‌های مرزبندی بالاترین دقت را نسبت به مراجع نشان می‌دهند. علاوه بر این، آستانه ای که برای متمایز کردن یک نتیجه معتبر استفاده می شود را می توان تعریف کرد (به طور دقیق تر، اینکه چه چیزی یک تطابق “خوب” است (یا نیست). در این حالت، متریک آستانه مقدار IoU است. تغییر آستانه امتیاز باعث می شود که نرخ های مثبت کاذب و مثبت واقعی تشخیص داده شوند تا یک مجموعه داده آموزشی با کیفیت بالا ایجاد شود. با انجام این کار، می‌توان نتایج اشتباه را کنار گذاشت و آن‌هایی را که احتمالاً نیاز به تصحیح دستی دارند، قبل از انتقال به مدل برجسته کرد. اطلاعات بیشتر در مورد مقدار آستانه در بخش 5.3 توضیح داده شده است .

بنابراین، می توان بیان کرد که تنظیمات تراکم ابر در نقطه بالا نتایج کمی بدتر ارائه می دهد. علاوه بر این، چنین ابر نقطه ای تا چهار برابر زمان پردازش و رم بیشتر از چگالی مطلوب نیاز دارد.

در زیر نمونه‌هایی از نتایج به‌دست‌آمده در نتیجه آزمایش‌های انجام‌شده – اعمال شده بر روی جعبه‌های مرزی تصاویر که اجسام را احاطه کرده‌اند، نشان می‌دهد. نمونه هایی از نتایج صحیح با مقادیر IoU بالا ( شکل 13 ) و نتایج بدتر ( شکل 14 ) که نیاز به بهبود دستی احتمالی قبل از گنجاندن در آموزش مدل دارند، نشان داده شده است.

5.2. تیرهای کششی

در مورد نتایج برای شی دوم، آنها با نتایج به دست آمده برای دروازه ها متفاوت هستند. معلوم شد که قطب‌های کششی اجرام پیچیده‌تری هستند که نسبت به دروازه‌ها، نقشه‌برداری کمتری با ابرهای نقطه‌ای دارند. در مورد دروازه ها، دقت برای قطب های کششی در جدول 8 خلاصه شده است.

بهترین نتایج برای واریانت با علامت شماره به دست آمد. 9، که مقدار IoU برای آن 87.54٪ بود. برای بقیه انواع، نتایج دقت 0.75 را نشان داد. کمترین مقدار IoU برای واریته با علامت شماره به دست آمد. 6-68.64٪. قاعده‌ای که در آزمایش‌های دروازه‌ها مورد توجه قرار گرفت، که برای ابرهای نقطه‌ای ایجاد شده در تنظیمات بالا، مقادیر بدتری به‌دست آمد، در مورد قطب‌های کششی رخ نداد. در اینجا، دقت بالاتری برای سه مورد از چهار نوع در تنظیمات بالا به دست آمد.

با تجزیه و تحلیل نتایج دقت برای قطب‌های کششی، همچنین می‌توان متوجه شد که برای انواعی که علاوه بر عکس‌های نادر، از تصاویر مایل استفاده شده است، نتایج بسیار بهتری به دست آمد. بنابراین، بر اساس این نتایج، می‌توان نتیجه گرفت که برای اجرام پیچیده‌تر که در بالای زمین امتداد می‌یابند، مانند قطب‌های کششی، مناسب است عکس‌های مایل را هنگام تولید ابرهای نقطه‌ای در نظر بگیریم.

خلاصه ای مشابه برای دروازه ها برای قطب های کششی ارائه شد. نتیجه صحیح دارای IoU 0.94 بود، که در آن تفاوت در جعبه های محدود تقریباً برای چشم نامرئی است ( شکل 15 ). مثالی که در آن بخشی از قطب کشش احتمالاً از تطبیق تصویر متراکم به ابر نقطه نگاشت نشده است، منجر به IoU تنها 0.48 شد ( شکل 16 ).

5.3. ملاحظات عمومی

برای هر دو نوع شی مورد تجزیه و تحلیل، هیچ ارتباط یا اثر قابل توجهی از همپوشانی های رو به جلو و جانبی و سایر پارامترهای پرواز ماموریت (مانند ارتفاع پرواز) مشاهده نشد.

همانطور که قبلاً گفته شد، مقادیر IoU معمولاً در درصد بیان می شوند. بیشترین استفاده از مقادیر آستانه 50٪ و 75٪ [ 47 ] است. با این حال، چنین مقادیری به عنوان معیارهای ارزیابی تشخیص برای تعیین کمیت عملکرد الگوریتم‌های تشخیص در مناطق و زمینه‌های مختلف استفاده می‌شوند. بنابراین، این سوال مطرح می شود که چه آستانه ای برای روش شناسی فوق اعمال شود. بدیهی است که مجموعه داده آموزشی به دست آمده باید به طور خودکار تا حد امکان دقیق باشد. بنابراین، برای تعریف آستانه IoU برای اشیاء منفرد، باید ارزیابی دقیق تری انجام شود تا مشخص شود که نتیجه از کدام مقدار باید همچنان به صورت دستی بررسی و تصحیح شود. چنین مطالعه ای می تواند بسط آزمایش های فوق باشد.

نتیجه گیری کلی این است که می توان مشاهده کرد که تأثیر نوع پرواز ماموریت، از جمله پارامترهای اکتساب تصویر و پارامترهای پردازش، بر کیفیت ابرهای نقطه ای قابل توجه است.

یک دستاورد مهم اندازه مجموعه داده آموزشی است. خلاصه ای از نمونه های اشیاء در تصاویر برای همه انواع را می توان در جداول بالا مشاهده کرد ( جدول 7 ، جدول 8 ). در مجموع 35 جسم (20 قطب کششی و 15 دروازه) بردار شدند و تعداد نهایی مجموعه نمونه‌های موجود در عکس‌ها برای برخی از انواع آن حتی حدود سه هزار بود. بنابراین، به طور کلی، می توان از روش برای ایجاد خودکار مجموعه داده های آموزشی تا حد امکان استفاده کرد.

شکل 17 و شکل 18 مواردی را برای کل تصاویر با وضوح بالا با حاشیه نویسی های واقعی و کادرهای محدود کننده حاصل از فرآیند نشان می دهد.

6. نتیجه گیری

حاشیه‌نویسی داده‌های حقیقت پایه و جمع‌آوری مجموعه داده‌های آموزشی برای مدل‌های آموزشی، آشکارسازهای اشیا تحت نظارت و رویکردهای یادگیری عمیق ارتباط بسیار مهمی دارد. این کار خسته کننده، وقت گیر و کار فشرده است که منجر به کمبود مجموعه داده های واقعی می شود. لزوم آموزش مدل‌ها با حجم وسیعی از داده‌های حاشیه‌نویسی مستقل (معمولاً در حد ده‌ها هزار) هنوز یک مشکل باز است که استفاده از CNN بالقوه را محدود می‌کند. این در بسیاری از برنامه‌ها و همچنین برای مجموعه داده‌ها برای آموزش مدل‌ها برای تشخیص اشیاء در تصاویر پهپاد قابل توجه است.

بهره‌برداری از پتانسیل روش‌های یادگیری عمیق موجود برای تشخیص اشیا دلیلی برای توسعه موضوع خودکارسازی اکتساب مجموعه داده‌های آموزشی است. بنابراین، نیاز به اعمال رویکرد پیشنهادی آشکار است، و کار بالا سودمندی خودکار کردن این فرآیند را تا حد امکان برجسته می‌کند.

اتخاذ استراتژی پیشنهادی در این مقاله برچسب‌گذاری داده‌ها را آسان‌تر می‌کند. این روش امکان ایجاد جعبه‌های مرزی را بر اساس نقاطی که فقط مکان جسم را نشان می‌دهند، می‌سازد، و به لطف این واقعیت که در فتوگرامتری استفاده از همپوشانی در یک بلوک از تصاویر رایج است، انتقال شی بر روی چند یا چند تصویر انجام می‌شود. ده ها تصویر نشان دهنده شی. اگرچه رویکرد توصیف شده حاشیه نویسی دستی در ابتدای فرآیند را حذف نمی کند، اما زمان را به میزان قابل توجهی کاهش می دهد. علاوه بر این، هیچ چیز مانع از استفاده مکان‌های اشیاء موجود از پایگاه‌های داده از قبل ایجاد شده نیست، که بر کار دستی غلبه می‌کند. ابزارهای باز برای حاشیه نویسی دستی وجود دارند و کاملاً گسترده هستند (مثلاً LabelMe)، اما تهیه مجموعه داده های آموزشی به این روش بسیار زمان بر است.

روش فوق، یا روش دیگری که در فصل 1 با استفاده از فرآیندهای نیمه اتوماسیون توضیح داده شده است، می تواند به غلبه بر مشکل دستیابی به مجموعه داده های آموزشی کمک کند. این فرآیند تلاش دستی مربوط به تولید حقیقت پایه را به حداقل می رساند و به طور قابل توجهی از آموزش الگوریتم های یادگیری عمیق پشتیبانی و ترویج می کند.

نکته مهمی که باید برجسته شود، تعداد مجموعه داده های آموزشی است که با استفاده از روش فوق ایجاد شده است. با استفاده از تصاویر عمودی و مورب، مجموعه داده ای به دست می آوریم که همان ناحیه و اشیاء مشابه را اما از منظرهای متفاوت ترسیم می کند. بنابراین، با بردار کردن شی یک بار بر روی نقشه ارتوفوتومپ، مجموعه ای متشکل از تعداد بیشتری از تصاویر را با استفاده از روش مهم تری که در بالا توضیح داده شد، به دست می آوریم. به عنوان مثال، برای بیست قطب کشش برای واریانت شماره 9، که برای آنها بالاترین دقت به دست آمد، در مجموع 3930 نمونه در تصاویر به دست آمد.

این رویکرد، البته، می‌تواند با استفاده از یک نقشه ارتوفوتومپ به جای تصاویر، به کاشی‌های کوچک‌تر بریده شود. با این حال، اندازه چنین مجموعه ای بسیار کوچکتر از زمانی است که تمام تصاویر موجود در بلوک گرفته شوند زیرا هر شی فقط یک بار تصویر می شود. البته شایان ذکر است که با تغییرات اندک در کد، این روش پس از انجام برخی انطباق ها می تواند برای نقشه های ارتوفوتومی نیز اعمال شود که استفاده از آن مزایای بسیاری دارد.

یک مسئله به خصوص مهم در زمینه ایجاد خودکار مجموعه داده های آموزشی، دقت داده های ورودی است. این رویکرد باید به دقت ابرهای نقطه‌ای که در فرآیند گنجانده شده‌اند توجه کند، زیرا روی جعبه‌های مرزی حاصل، یعنی اساساً مجموعه داده آموزشی آماده‌شده، تأثیر می‌گذارد.

با این حال، نشان داده شده است که حتی با استفاده از ابرهای نقطه ای کمی پر سر و صدا، می توان به مجموعه ای دقیق و معقول دست یافت که احتمالاً به اصلاحات دستی کمی نیاز دارد. بنابراین، می توان نتیجه گرفت که این روش می تواند مشابه روش های برچسب گذاری ذکر شده در بالا استفاده شود، که در آن ابتدا حاشیه نویسی خودکار داده ها انجام می شود و سپس تأیید و بهبود احتمالی بعداً انجام می شود. کمترین دقت به دست آمده در مجموعه داده آزمایشی حدود 70% و برای برخی از انواع، بیش از 90% بود.

بر اساس آزمایشات انجام شده می توان گفت که رویکرد پیشنهادی از نظر عملکرد و سرعت پردازش بهینه است. این یک روش نیمه خودکار برای دستیابی به برچسب های ثابت برای همه تصاویر در یک بلوک ارائه می دهد و تلاش برای برچسب زدن دستی هر شی در عکس ها را کاهش می دهد. این کار با شروع با برچسب زدن اشیاء یک بار روی عکس‌های ارتوفوتو و سپس با برش دادن ابر نقطه به تکه‌ای از شی مورد نظر و نمایش نقاط متعلق به شی بر روی مختصات پیکسلی عکس انجام می‌شود. نتیجه نهایی یک جعبه مرزی است که جسم را احاطه کرده است. شایان ذکر است که مرحله مربوط به علامت گذاری دستی محل اشیا با استفاده از نقشه ارتوفوتومپ یکی از گزینه ها می باشد. ما می توانیم از نقاط زمین شروع کنیم، اما برای مثال استخراج شده، از پایگاه داده اشیاء توپوگرافی یا استفاده از داده های BIM. برچسب‌گذاری دستی جعبه‌های مرزی روی هزاران یا صدها هزار تصویر زمان‌برتر است. علاوه بر این، ابرهای نقطه‌ای حاصل از تطبیق تصویر یا عکس‌های ارتو، محصولاتی هستند که اغلب در فرآیند تولید تولید می‌شوند که پتانسیل این استراتژی را نشان می‌دهد. به طور طبیعی، روش پیشنهادی می تواند با انواع دیگر داده ها (نه تنها از پهپاد) نیز سازگار شود. این رویکرد همچنین می‌تواند از ابرهای نقطه‌ای از تطابق متراکم تصاویر هوایی یا ابرهای نقطه‌ای که از اسکن لیزری از سقف‌های مختلف (هم هوایی و هم زمینی) به دست می‌آیند، استفاده کند. مسلماً روش‌های مورد استفاده یک کشف نیستند، بلکه محاسبات ساده هستند، اما ارزش افزوده در اینجا ترتیب آزمایش‌های تحلیل استراتژی و دقت است. برچسب‌گذاری دستی جعبه‌های مرزی روی هزاران یا صدها هزار تصویر زمان‌برتر است. علاوه بر این، ابرهای نقطه‌ای حاصل از تطبیق تصویر یا عکس‌های ارتو، محصولاتی هستند که اغلب در فرآیند تولید تولید می‌شوند که پتانسیل این استراتژی را نشان می‌دهد. به طور طبیعی، روش پیشنهادی می تواند با انواع دیگر داده ها (نه تنها از پهپاد) نیز سازگار شود. این رویکرد همچنین می‌تواند از ابرهای نقطه‌ای از تطابق متراکم تصاویر هوایی یا ابرهای نقطه‌ای که از اسکن لیزری از سقف‌های مختلف (هم هوایی و هم زمینی) به دست می‌آیند، استفاده کند. مسلماً روش‌های مورد استفاده یک کشف نیستند، بلکه محاسبات ساده هستند، اما ارزش افزوده در اینجا ترتیب آزمایش‌های تحلیل استراتژی و دقت است. برچسب‌گذاری دستی جعبه‌های مرزی روی هزاران یا صدها هزار تصویر زمان‌برتر است. علاوه بر این، ابرهای نقطه‌ای حاصل از تطبیق تصویر یا عکس‌های ارتو، محصولاتی هستند که اغلب در فرآیند تولید تولید می‌شوند که پتانسیل این استراتژی را نشان می‌دهد. به طور طبیعی، روش پیشنهادی می تواند با انواع دیگر داده ها (نه تنها از پهپاد) نیز سازگار شود. این رویکرد همچنین می‌تواند از ابرهای نقطه‌ای از تطابق متراکم تصاویر هوایی یا ابرهای نقطه‌ای که از اسکن لیزری از سقف‌های مختلف (هم هوایی و هم زمینی) به دست می‌آیند، استفاده کند. مسلماً روش‌های مورد استفاده یک کشف نیستند، بلکه محاسبات ساده هستند، اما ارزش افزوده در اینجا ترتیب آزمایش‌های تحلیل استراتژی و دقت است. ابرهای نقطه‌ای حاصل از تطبیق تصویر یا عکس‌های اورتوفوتو، محصولاتی هستند که اغلب در فرآیند تولید تولید می‌شوند، که نشان‌دهنده پتانسیل این استراتژی است. به طور طبیعی، روش پیشنهادی می تواند با انواع دیگر داده ها (نه تنها از پهپاد) نیز سازگار شود. این رویکرد همچنین می‌تواند از ابرهای نقطه‌ای از تطابق متراکم تصاویر هوایی یا ابرهای نقطه‌ای که از اسکن لیزری از سقف‌های مختلف (هم هوایی و هم زمینی) به دست می‌آیند، استفاده کند. مسلماً روش‌های مورد استفاده یک کشف نیستند، بلکه محاسبات ساده هستند، اما ارزش افزوده در اینجا ترتیب آزمایش‌های تحلیل استراتژی و دقت است. ابرهای نقطه‌ای حاصل از تطبیق تصویر یا عکس‌های اورتوفوتو، محصولاتی هستند که اغلب در فرآیند تولید تولید می‌شوند، که نشان‌دهنده پتانسیل این استراتژی است. به طور طبیعی، روش پیشنهادی می تواند با انواع دیگر داده ها (نه تنها از پهپاد) نیز سازگار شود. این رویکرد همچنین می‌تواند از ابرهای نقطه‌ای از تطابق متراکم تصاویر هوایی یا ابرهای نقطه‌ای که از اسکن لیزری از سقف‌های مختلف (هم هوایی و هم زمینی) به دست می‌آیند، استفاده کند. مسلماً روش‌های مورد استفاده یک کشف نیستند، بلکه محاسبات ساده هستند، اما ارزش افزوده در اینجا ترتیب آزمایش‌های تحلیل استراتژی و دقت است. یا ابرهای نقطه ای به دست آمده از اسکن لیزری از سقف های مختلف (هم هوایی و هم زمینی). مسلماً روش‌های مورد استفاده یک کشف نیستند، بلکه محاسبات ساده هستند، اما ارزش افزوده در اینجا ترتیب آزمایش‌های تحلیل استراتژی و دقت است. یا ابرهای نقطه ای به دست آمده از اسکن لیزری از سقف های مختلف (هم هوایی و هم زمینی). مسلماً روش‌های مورد استفاده یک کشف نیستند، بلکه محاسبات ساده هستند، اما ارزش افزوده در اینجا ترتیب آزمایش‌های تحلیل استراتژی و دقت است.

به طور خلاصه، بر اساس نتایج فوق، می توان نتیجه گرفت که استفاده از روش توسعه یافته برای نیمه خودکار کردن فرآیند ایجاد مجموعه داده برای آموزش مدل های یادگیری عمیق برای تشخیص اشیا در تصاویر نادر و مایل به دست آمده از پهپاد منطقی است.

منابع

یانگ، سی. ژانگ، اف. گائو، ی. مائو، ز. لی، ال. Huang, X. شناسایی و حذف ماشین متحرک برای مدلسازی شهری سه بعدی با استفاده از تصاویر مایل. Remote Sens. 2021 , 13 , 3458. [ Google Scholar ] [ CrossRef ]
چو، WT; چائو، YC; چانگ، YS جاروگر خیابان: شناسایی و حذف اتومبیل ها در تصاویر نمای خیابان. چندتایی. ابزارهای کاربردی 2015 ، 74 ، 10965-10988. [ Google Scholar ] [ CrossRef ]
Felzenszwalb، PF; Girshick، RB; مک آلستر، دی. رامانان، دی. تشخیص اشیاء با مدل‌های مبتنی بر جزئی آموزش دیده. IEEE Trans. الگوی مقعدی ماخ هوشمند 2010 ، 32 ، 1627-1645. [ Google Scholar ] [ CrossRef ] [ PubMed ]
سیمونیان، ک. Zisserman, A. شبکه های پیچیده بسیار عمیق برای تشخیص تصویر در مقیاس بزرگ. arXiv 2014 ، arXiv:1409.1556. [ Google Scholar ]
روساکوفسکی، او. دنگ، ج. سو، اچ. کراوز، جی. ستایش، س. ما، س. هوانگ، ز. کارپاتی، ا. خسلا، ع. برنشتاین، ام. و همکاران چالش تشخیص بصری در مقیاس بزرگ ImageNet. بین المللی جی. کامپیوتر. Vis. 2015 ، 115 ، 211-252. [ Google Scholar ] [ CrossRef ]
اورینگهام، ام. اسلامی، س. ون گول، ال. ویلیامز، CK; وین، جی. زیسرمن، آ. چالش کلاس‌های شی بصری پاسکال: یک گذشته‌نگر. بین المللی جی. کامپیوتر. Vis. 2015 ، 111 ، 98-136. [ Google Scholar ] [ CrossRef ]
لین، TY; مایر، م. بلنگی، اس. هیز، جی. پرونا، پی. رامانان، دی. دلار، پی. Zitnick، CL مایکروسافت COCO: اشیاء مشترک در زمینه. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر، زوریخ، سوئیس، 6 تا 12 سپتامبر 2014. Springer: Cham, Switzerland, 2014; صص 740-755. [ Google Scholar ]
وو، اچ. لیو، کیو. لیو، ایکس. مروری بر رویکردهای یادگیری عمیق برای طبقه بندی تصویر و تقسیم بندی اشیا. محاسبه کنید. ماتر ادامه 2019 ، 60 ، 575–597 . [ Google Scholar ] [ CrossRef ]
لاوفایمر، دی. Haala, N. شعبده بازی با بازنمایی: در مورد انتقال اطلاعات بین تصاویر، ابرهای نقطه، و مش برای معناشناسی چند وجهی. ISPRS J. Photogramm. Remote Sens. 2021 ، 176 ، 55-68. [ Google Scholar ] [ CrossRef ]
هایتس، جی. Koller, D. یادگیری زمینه فضایی: استفاده از چیزها برای یافتن چیزها. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر، مارسی، فرانسه، 12 تا 18 اکتبر 2008. Springer: برلین/هایدلبرگ، آلمان، 2008; صص 30-43. [ Google Scholar ]
رازاکاریونی، س. Jurie, F. تشخیص وسیله نقلیه در تصاویر هوایی: یک معیار کوچک تشخیص هدف. J. Vis. اشتراک. تصویر نشان می دهد. 2016 ، 34 ، 187-203. [ Google Scholar ] [ CrossRef ]
زو، اچ. چن، ایکس. دای، دبلیو. فو، ک. بله، س. Jiao, J. تشخیص شیء قوی جهت گیری در تصاویر هوایی با استفاده از شبکه عصبی کانولوشنال عمیق. در مجموعه مقالات کنفرانس بین المللی IEEE 2015 در مورد پردازش تصویر (ICIP)، شهر کبک، QC، کانادا، 27-30 سپتامبر 2015. صص 3735–3739. [ Google Scholar ]
لیو، ک. ماتیوس، جی. تشخیص سریع وسایل نقلیه چند کلاسه در تصاویر هوایی. IEEE Geosci. سنسور از راه دور Lett. 2015 ، 12 ، 1938-1942. [ Google Scholar ]
شیائو، ز. لیو، کیو. تانگ، جی. ژای، ایکس. هیستوگرام‌های مبتنی بر تبدیل فوریه بیضوی از گرادیان‌های جهت‌یافته برای تشخیص شیء ثابت چرخشی در تصاویر سنجش از دور. بین المللی J. Remote Sens. 2015 ، 36 ، 618-644. [ Google Scholar ] [ CrossRef ]
لیو، ز. یوان، ال. ونگ، ال. Yang, Y. مجموعه داده های تصویری ماهواره ای نوری با وضوح بالا برای تشخیص کشتی و برخی خطوط پایه جدید. در مجموعه مقالات کنفرانس بین المللی کاربردها و روش های تشخیص الگو، پورتو، پرتغال، 24 تا 26 فوریه 2017. جلد 2، ص 324-331. [ Google Scholar ]
بندیک، سی. دسکامبز، ایکس. Zerubia, J. نظارت بر توسعه ساختمان در جفت‌های تصویر سنجش از راه دور چند زمانی با دینامیک تولد-مرگ تصادفی. IEEE Trans. الگوی مقعدی ماخ هوشمند 2011 ، 34 ، 33-50. [ Google Scholar ] [ CrossRef ] [ PubMed ]
Xia، GS; بای، ایکس. دینگ، جی. زو، ز. بلنگی، اس. لو، جی. داتکو، ام. پلیلو، ام. Zhang, L. DOTA: مجموعه داده در مقیاس بزرگ برای تشخیص اشیا در تصاویر هوایی. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو، سالت لیک سیتی، UT، ایالات متحده آمریکا، 18 تا 22 ژوئن 2018؛ صص 3974–3983. [ Google Scholar ]
لی، ک. وان، جی. چنگ، جی. منگ، ال. Han, J. تشخیص شیء در تصاویر سنجش از دور نوری: یک بررسی و یک معیار جدید. ISPRS J. Photogramm. Remote Sens. 2020 , 159 , 296–307. [ Google Scholar ] [ CrossRef ]
مائو، ز. ژانگ، اف. هوانگ، ایکس. جیا، ایکس. گونگ، ی. Zou، Q. شبکه های عصبی عمیق برای تشخیص علائم جاده و مدل سازی تعبیه شده با استفاده از تصاویر هوایی مورب. Remote Sens. 2021 , 13 , 879. [ Google Scholar ] [ CrossRef ]
زاخار، پ. کورچینسکی، ز. Ostrowski، W. کاربرد یادگیری ماشین برای تشخیص اشیا در تصاویر هوایی مورب. بین المللی قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2022 ، 43 ، 657-663. [ Google Scholar ] [ CrossRef ]
هیو، وای؛ کیم، اس. یون، دی. جئونگ، جی. Sung، H. تشخیص شی متحرک مبتنی بر یادگیری عمیق برای تصاویر مایل بدون فریم آینده. در مجموعه مقالات شناسایی خودکار هدف XXX 2020، آنلاین، 27 آوریل تا 8 مه 202؛ جلد 11394، ص. 1139403.
جیانگ، اس. جیانگ، دبلیو. هوانگ، دبلیو. یانگ، L. فتوگرامتری مایل مبتنی بر پهپاد برای جمع آوری داده های فضای باز و بازرسی بصری خارج از محل خط انتقال. Remote Sens. 2017 , 9 , 278. [ Google Scholar ] [ CrossRef ]
سینگ، AK; دوویدی، AK; نهار، ن. سینگ، دی. تشخیص خواب‌آلود ریل راه‌آهن در تصاویر پهپاد در ارتفاع پایین با استفاده از شبکه عصبی پیچیده عمیق. در مجموعه مقالات سمپوزیوم بین المللی علوم زمین و سنجش از دور IEEE IGARSS، بروکسل، بلژیک، 11 تا 16 ژوئیه 2021؛ صص 355-358. [ Google Scholar ]
مامری، ع. صدیقی، ای جی; ژائو، Y. بخش بندی مسیر راه آهن به کمک پهپاد بر اساس شبکه های عصبی کانولوشنال. در مجموعه مقالات 2021 IEEE 93 کنفرانس فناوری خودرو (VTC2021-Spring)، هلسینکی، فنلاند، 25-28 آوریل 2021؛ صص 1-7. [ Google Scholar ]
سینگ، AK; سواراپ، ا. آگاروال، ا. استخراج و نظارت بر خط ریلی سینگ، دی. ویژن از طریق تصاویر هواپیماهای بدون سرنشین. Ict Express 2019 ، 5 ، 250–255. [ Google Scholar ] [ CrossRef ]
صاحبدیوانی، س. عارفی، ح. معبودی، م. شناسایی مسیر ریلی و مدل‌سازی سه‌بعدی مبتنی بر طرح ریزی از ابر نقطه‌ای پهپاد. Sensors 2020 , 20 , 5220. [ Google Scholar ] [ CrossRef ]
هو، کیو. یانگ، بی. خالد، س. شیائو، دبلیو. تریگونی، ن. مارکهام، A. به سوی تقسیم بندی معنایی ابرهای نقطه سه بعدی در مقیاس شهری: مجموعه داده ها، معیارها و چالش ها. در مجموعه مقالات کنفرانس IEEE/CVF در مورد دید رایانه و تشخیص الگو، نشویل، TN، ایالات متحده، 20-25 ژوئن 2021؛ صفحات 4977-4987. [ Google Scholar ]
بوجارچاک، پ. پهپادهای Lesiak، P. در تشخیص تصویر آسیب ریلی که توسط شبکه‌های یادگیری عمیق پشتیبانی می‌شوند. Eng را باز کنید 2021 ، 11 ، 339-348. [ Google Scholar ] [ CrossRef ]
هنری، سی. پودل، اس. لی، SW; Jeong, H. سیستم تشخیص خودکار ماژول‌های PV خراب با استفاده از پهپاد با دوربین حرارتی. Appl. علمی 2020 ، 10 ، 3802. [ Google Scholar ] [ CrossRef ]
راماچاندران، ا. Sangaiah, AK مروری بر تشخیص اشیا در نظارت وسایل نقلیه هوایی بدون سرنشین. بین المللی J. Cogn. محاسبه کنید. مهندس 2021 ، 2 ، 215-228. [ Google Scholar ] [ CrossRef ]
اسکو، ال پی. جونیور، جی.ام. راموس، APM؛ د کاسترو خورخه، لس آنجلس; فتح اللهی، س.ن. د آندراد سیلوا، جی. پیستوری، اچ. Gonçalves، WN; Li, J. مروری بر یادگیری عمیق در سنجش از راه دور پهپاد. بین المللی J. Appl. زمین Obs. Geoinf. 2021 ، 102 ، 102456. [ Google Scholar ] [ CrossRef ]
یانگ، اف. فن، اچ. چو، پی. بلاش، ای. Ling, H. تشخیص شی خوشه ای در تصاویر هوایی. در مجموعه مقالات کنفرانس بین المللی IEEE/CVF در بینایی کامپیوتر، سئول، کره، 27 اکتبر تا 2 نوامبر 2019؛ صص 8311–8320. [ Google Scholar ]
کیرکو، سی. پلاستیرس، جی. تئوکاریدس، تی. ونیریس، SI; بوگانیس، سی.- اس. DroNet: آشکارساز شبکه عصبی کانولوشنال کارآمد برای کاربردهای پهپاد بلادرنگ. در مجموعه مقالات طراحی 2018، آزمون اتوماسیون در نمایشگاه کنفرانس اروپا (DATE)، درسدن، آلمان، 19 تا 23 مارس 2018؛ ص 967-972. [ Google Scholar ]
لی، سی. یانگ، تی. زو، اس. چن، سی. Guan، S. تشخیص شی هدایت شده نقشه چگالی در تصاویر هوایی. arXiv 2020 ، arXiv:2004.05520. [ Google Scholar ]
ژانگ، اچ. یانگ، دبلیو. یو، اچ. ژانگ، اچ. Xia، G.-S. تشخیص خطوط برق در تصاویر پهپاد با ویژگی های کانولوشن و محدودیت های ساختاری. Remote Sens. 2019 ، 11 ، 1342. [ Google Scholar ] [ CrossRef ]
دوس سانتوس، AA; مارکاتو جونیور، جی. آراجو، ام اس؛ دی مارتینی، DR. تتیلا، EC; Siqueira، HL; آئوکی، سی. التنر، ا. ماتسوبارا، ای تی. پیستوری، اچ. و همکاران ارزیابی روش‌های مبتنی بر CNN برای تشخیص درخت فردی بر روی تصاویر گرفته شده توسط دوربین‌های RGB متصل به پهپاد. Sensors 2019 , 19 , 3595. [ Google Scholar ] [ CrossRef ] [ PubMed ]
راسموسن، CB; کرک، ک. Moeslund، TB چالش حاشیه نویسی داده ها در یادگیری عمیق-مطالعه موردی در مورد سیلو ذرت کامل گیاه. Sensors 2022 , 22 , 1596. [ Google Scholar ] [ CrossRef ]
ژانگ، دی. هان، جی. چنگ، جی. یانگ، MH محلی سازی و تشخیص شی تحت نظارت ضعیف: یک بررسی. IEEE Trans. الگوی مقعدی ماخ هوشمند 2021 . [ Google Scholar ] [ CrossRef ]
راس، جی. سلارت، ال. ماترزینسکا، جی. وازکز، دی. Lopez, AM مجموعه داده synthia: مجموعه بزرگی از تصاویر مصنوعی برای تقسیم بندی معنایی صحنه های شهری. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو، لاس وگاس، NV، ایالات متحده، 27-30 ژوئن 2016. صص 3234–3243. [ Google Scholar ]
زی، جی. کیفل، م. Sun، MT; گایگر، الف. حاشیه نویسی نمونه معنایی صحنه های خیابانی با انتقال برچسب سه بعدی به دوبعدی. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو، لاس وگاس، NV، ایالات متحده، 27-30 ژوئن 2016. صص 3688–3697. [ Google Scholar ]
ژو، ایکس. فراندرفر، اف. کورز، اف. Reinartz، P. تشخیص ساختمان و بخش‌بندی با استفاده از CNN با داده‌های آموزشی تولید شده به طور خودکار. در مجموعه مقالات IGARSS 2018-2018 IEEE بین المللی زمین شناسی و سمپوزیوم سنجش از دور، والنسیا، اسپانیا، 22 تا 27 ژوئیه 2018؛ صص 3461–3464. [ Google Scholar ]
کاپانیا، س. ساینی، د. گویال، اس. تاکور، ن. جین، آر. Nagrath، P. ردیابی چند شیء با پهپادها با استفاده از SORT عمیق و چارچوب شناسایی YOLOv3 RetinaNet. در مجموعه مقالات اولین کارگاه ACM در مورد سیستم های تلفن همراه خودمختار و هوشمند، بنگلور، هند، 11 ژانویه 2020؛ صص 1-6. [ Google Scholar ]
کلنبرگر، بی. ولپی، م. Tuia, D. تشخیص سریع حیوانات در تصاویر پهپاد با استفاده از شبکه های عصبی کانولوشن. در مجموعه مقالات سمپوزیوم بین المللی علوم زمین و سنجش از دور IEEE 2017 (IGARSS)، ورث، TX، ایالات متحده آمریکا، 23 تا 28 ژوئیه 2017؛ صص 866-869. [ Google Scholar ]
بازی، ی. ملگانی، F. شبکه های SVM کانولوشن برای تشخیص اشیا در تصاویر پهپاد. IEEE Trans. Geosci. Remote Sens. 2018 , 56 , 3107–3118. [ Google Scholar ] [ CrossRef ]
وانگ، ایکس. چنگ، پی. لیو، ایکس. Uzochukwu، B. سریع و دقیق، رویکرد مبتنی بر شبکه عصبی کانولوشن برای تشخیص اشیا از پهپاد. در مجموعه مقالات کنفرانس سالانه IECON 2018-44 انجمن الکترونیک صنعتی IEEE، واشنگتن دی سی، ایالات متحده آمریکا، 21 تا 23 اکتبر 2018؛ صص 3171–3175. [ Google Scholar ]
ژانگ، دبلیو. چی، جی. وان، پی. وانگ، اچ. زی، دی. وانگ، ایکس. Yan, G. روش فیلتر کردن داده‌های LiDAR با کاربری آسان بر اساس شبیه‌سازی پارچه. Remote Sens. 2016 , 8 , 501. [ Google Scholar ] [ CrossRef ]
پادیلا، آر. پاسوس، WL; دیاس، TL; Netto، SL; Da Silva، EA تجزیه و تحلیل مقایسه ای معیارهای تشخیص اشیا با یک جعبه ابزار منبع باز همراه. Electronics 2021 , 10 , 279. [ Google Scholar ] [ CrossRef ]

شکل 1. تکه‌های ابر نقطه‌ای که برای همه انواع تحلیل‌شده به شی دروازه بریده شده است.

شکل 2. تکه های ابر نقطه ای که برای همه انواع تحلیل شده به جسم قطب کششی بریده شده اند.

شکل 3. نمونه هایی از داده های حاشیه نویسی برای ( الف ) قطب های کششی که به عنوان نقاط حاشیه نویسی شده اند و ( ب ) دروازه هایی که به عنوان چند ضلعی بر اساس نقشه اورتوفتوتوم از تصاویر پهپاد برچسب گذاری شده اند.

شکل 4. نمونه هایی از اجسام بریده شده از یک ابر نقطه.

شکل 5. نمونه‌های فیلتر زمینی فیلتر شبیه‌سازی پارچه (CSF): ( الف ) نمونه‌ای از ابر منبع، ( ب ) همان شیء پس از فیلتراسیون زمینی رنگ‌شده با کلاس‌ها – زمینی و غیرزمینی، ( ج ) نمونه‌ای از فیلتراسیون زمینی برای یک ابر نقطه ای با TLS، ( d ) بخش نهایی ابر نقطه به مرحله بعدی الگوریتم منتقل می شود.

شکل 6. نمونه ای از فیلتر کردن نویز برای یک دروازه، که در آن نقاط قرمز نویز و نقاط خاکستری شی هستند.

شکل 7. نمونه ای از نمایش یک ابر نقطه به یک عکس.

شکل 8. نتیجه نهایی نمونه ای از مجموعه داده های آموزشی برای تشخیص قطب کششی است.

شکل 9. گردش کار برای نیمه خودکار کردن فرآیند آماده سازی مجموعه داده های آموزشی برای تشخیص اشیا.

شکل 10. نتایج مثال برای قطب‌های کششی: ( الف ) جعبه‌های مرزی به‌دست‌آمده از ابر نقطه‌ای از DIM، ( ب ) جعبه‌های مرزی حقیقت زمین به‌دست‌آمده از ابر نقطه‌ای از TLS.

شکل 11. نتایج مثال برای گیت ها: ( الف ) جعبه های مرزی به دست آمده از ابر نقطه ای از DIM، ( ب ) جعبه های مرزی حقیقت زمینی به دست آمده از ابر نقطه ای از TLS.

شکل 12. تقاطع روی اتحاد.

شکل 13. نمونه ای از مجموعه داده های آموزشی برای گیت ها با IoU = 0.90; ( الف ) جعبه مرزی تولید شده از ابرهای نقطه DIM. ( ب ) جعبه مرزی حقیقت زمین از ابر نقطه TLS.

شکل 14. نمونه ای از مجموعه داده های آموزشی برای گیت ها با IoU = 0.73; ( الف ) جعبه مرزی تولید شده از ابرهای نقطه DIM. ( ب ) جعبه مرزی حقیقت زمین از ابر نقطه TLS.

شکل 15. نمونه ای از مجموعه داده های آموزشی برای قطب های کششی با IoU = 0.94. ( الف ) جعبه مرزی تولید شده از ابرهای نقطه DIM. ( ب ) جعبه مرزی حقیقت زمین از ابر نقطه TLS.

شکل 16. نمونه ای از مجموعه داده های آموزشی برای قطب های کششی با IoU = 0.48; ( الف ) جعبه مرزی ایجاد شده از ابرهای نقطه DIM. ( ب ) جعبه مرزی حقیقت زمین از ابر نقطه TLS.

شکل 17. نمونه ای از مقایسه جعبه های مرزی برای دروازه ها که با استفاده از تولید خودکار از روی زمین حقیقت برای کل تصویر به دست آمده است. از بالا، مقادیر IoU: 0.9935، 0.9698، 0.9629.

شکل 18. نمونه ای از مقایسه جعبه های مرزی برای قطب های کششی به دست آمده با استفاده از تولید خودکار از حقیقت زمین برای کل تصویر. از بالا، مقادیر IoU: 0.9748، 0.9116، 0.9675، 0.7411، 0.8496.

مقالات داخلی و بین المللی

بدون دیدگاه

دیدگاهتان را بنویسید لغو پاسخ

برای نوشتن دیدگاه باید وارد بشوید.

مشاورین هوش پیروزی

تأثیر دقت ابر نقطه ای از تطبیق تصویر بر آماده سازی خودکار مجموعه داده های آموزشی برای تشخیص اشیا در تصاویر پهپاد