بخش‌بندی یادگیری عمیق و بازسازی سه‌بعدی علامت‌گذاری جاده‌ها با استفاده از تصاویر هوایی Multiview

خلاصه

اطلاعات سه بعدی زیرساخت‌های جاده‌ای با توسعه رانندگی خودکار اهمیت بیشتری پیدا می‌کند. در این زمینه، موقعیت دقیق دوبعدی خط‌کشی‌های جاده و همچنین اطلاعات ارتفاع نقش مهمی را ایفا می‌کند، به‌عنوان مثال، مکان‌یابی دقیق خودروهای خودمختار در خط. در این مقاله، کار کلی به یک تقسیم بندی خودکار و به دنبال آن یک بازسازی سه بعدی تصفیه شده تقسیم می شود. برای کار تقسیم‌بندی، ما یک شبکه کاملاً کانولوشنال تقویت‌شده موجک را روی تصاویر هوایی با وضوح بالا چند نمایه اعمال کردیم. بر اساس بخش‌های دوبعدی حاصل در تصاویر اصلی، ما یک گردش کار متوالی را برای بازسازی سه‌بعدی خط‌کشی‌های جاده‌ای بر اساس برازش خط حداقل مربعات در تصاویر چند نمایه پیشنهاد می‌کنیم. بازسازی سه‌بعدی از ویژگی خط‌های خط‌کشی جاده‌ها با هدف بهینه‌سازی بهترین مکان خط سه‌بعدی با به حداقل رساندن فاصله از پیش‌نمایش پشتی آن تا خط دو بعدی شناسایی‌شده در تمام تصاویر پوششی استفاده می‌کند. نتایج نشان داد IoU بهبود بخش‌بندی خودکار جاده‌ها با بهره‌برداری از ویژگی چند نمای تصاویر هوایی و بازسازی سه بعدی دقیق‌تر سطح جاده در مقایسه با الگوریتم تطبیق نیمه جهانی (SGM). علاوه بر این، این رویکرد از مشکل تطبیق در بخش‌های تصویر غیربافت‌دار جلوگیری می‌کند و به خطوط با طول محدود محدود نمی‌شود. در این مقاله، این رویکرد بر روی چندین مجموعه داده تصویر هوایی که سناریوهای مختلف مانند بزرگراه‌ها و مناطق شهری را پوشش می‌دهد، ارائه و تایید می‌شود. نتایج نشان داد IoU بهبود بخش‌بندی خودکار جاده‌ها با بهره‌برداری از ویژگی چند نمای تصاویر هوایی و بازسازی سه بعدی دقیق‌تر سطح جاده در مقایسه با الگوریتم تطبیق نیمه جهانی (SGM). علاوه بر این، این رویکرد از مشکل تطبیق در بخش‌های تصویر بدون بافت جلوگیری می‌کند و به خطوط با طول محدود محدود نمی‌شود. در این مقاله، این رویکرد بر روی چندین مجموعه داده تصویر هوایی که سناریوهای مختلف مانند بزرگراه‌ها و مناطق شهری را پوشش می‌دهند، ارائه و تایید می‌شود. نتایج نشان داد IoU بهبود بخش‌بندی خودکار جاده‌ها با بهره‌برداری از ویژگی چند نمای تصاویر هوایی و بازسازی سه بعدی دقیق‌تر سطح جاده در مقایسه با الگوریتم تطبیق نیمه جهانی (SGM). علاوه بر این، این رویکرد از مشکل تطبیق در بخش‌های تصویر غیربافت‌دار جلوگیری می‌کند و به خطوط با طول محدود محدود نمی‌شود. در این مقاله، این رویکرد بر روی چندین مجموعه داده تصویر هوایی که سناریوهای مختلف مانند بزرگراه‌ها و مناطق شهری را پوشش می‌دهد، ارائه و تایید می‌شود.

کلید واژه ها:

توالی تصاویر هوایی ; تشخیص خط کشی جاده ؛ بازسازی ویژگی های خط سه بعدی ; شبکه عصبی کاملا کانولوشنال

1. معرفی

در دسترس بودن اطلاعات سه بعدی با وضوح بالا در مقیاس بزرگ و دقیق از جاده ها با خط کشی و زیرساخت جاده نقش مهمی در رانندگی خودران دارد. تصاویر هوایی یک پایگاه داده ارزشمند برای استخراج اطلاعات سه بعدی از جاده ها حتی در مناطقی که دسترسی به آن دشوار است، مانند بزرگراه ها است. با توجه به توسعه رانندگی مستقل، اطلاعات سه بعدی با وضوح بالا در سطح جاده، از جمله خط کشی خطوط، و همچنین روش های جدید برای استخراج این اطلاعات از تصاویر هوایی، همانطور که در مرجع [1 نشان داده شده است، ضروری است .]. جریان کار استاندارد با استفاده از تصاویر هوایی، نمایش تصاویر بر روی یک مدل سطح دیجیتال (DSM) و استخراج اطلاعات در تصاویر پیش‌بینی‌شده است، اما تولید DSM از تصاویر استریو در مناطق با بافت کم چالش برانگیز است. به عنوان مثال، خط کشی ها، قابل مشاهده ترین بافت در جاده های آسفالتی هستند که برای بازسازی سه بعدی مفید هستند. بنابراین، بهبود کیفیت DSM در سطوح جاده با بهره‌برداری از ویژگی خط‌های خط‌کشی مطلوب است.

چندین رویکرد برای بازسازی سه‌بعدی ویژگی‌های خط از تصاویر نوری هوابرد چند نمایه پیشنهاد شده است. مطالعات در منابع [ 2 ، 3 ، 4 ] سعی کردند بخش های خط را بر اساس ظاهر آنها یا برخی محدودیت های هندسی اضافی مطابقت دهند. اشمید و زیسرمن [ 2 ] از هندسه اپی قطبی قطعات خط و خانواده یک پارامتری هموگرافیک ها برای ارائه مطابقت های نقطه ای استفاده کردند. با این حال، رویکردهای تطبیق مبتنی بر ظاهر استاندارد برای بازسازی سه بعدی به سختی در خط کشی ها به دلیل مشخصات رنگی مشابه همه خط کشی های جاده و فقدان بافت در مناطق مجاور آنها قابل اجرا هستند. در مرجع [ 1]، یک روش جدید برای بازسازی سه بعدی خط کشی جاده ها بدون نیاز به تطبیق خط صریح پیشنهاد شد. این روش از ویژگی خط خط‌کشی‌های جاده با هدف بهینه‌سازی بهترین مکان خط سه بعدی با به حداقل رساندن فاصله از طرح پشت آن تا خط دو بعدی شناسایی شده در تمام تصاویر پوششی استفاده می‌کند. خط کشی های جاده توسط یک آشکارساز خط هندسی شناسایی شدند که بسیاری از موارد مثبت کاذب را تولید می کند. ماسک‌های جاده تولید شده توسط پایگاه‌های اطلاعاتی جاده‌ای برای کاهش نرخ خطا اعمال می‌شوند.

بخش‌بندی خودکار علامت‌گذاری جاده‌ها توسط یک الگوریتم طراحی‌شده خاص برای این کار بر اساس یک شبکه عصبی کاملاً پیچیده اصلاح‌شده در مرجع [ 5 ] مورد بررسی قرار گرفت. شبکه بر روی مجموعه داده AerialLane18 [ 5 ] که شامل 20 تصویر هوایی از سیستم حسگر 3K [ 6 ] با GSD (فاصله نمونه برداری از زمین) 13 سانتی متر است، آموزش داده شد. دقت کلی با مشخص شده است 77.7%IoU بر اساس مجموعه داده های آزمون داده شده.

در این مقاله، دو رویکرد فوق‌الذکر در رویکرد پیشنهادی جدید برای تقسیم‌بندی خودکار و بازسازی سه‌بعدی خط‌کشی جاده‌ها با استفاده از تصاویر هوایی چند نمایه ادغام شدند. دقت بخش‌بندی علامت‌گذاری جاده با بهره‌برداری از ویژگی چند نمای تصاویر هوایی بیشتر بهبود می‌یابد و رویکرد بازسازی سه‌بعدی از نظر ادغام بخش‌های علامت‌گذاری جاده به جای خطوط شناسایی شده اندکی اصلاح شده است. پوشش جاده دیگر ضروری نیست و کل جریان کار به اطلاعات شخص ثالث نیاز ندارد. علاوه بر این، کل رویکرد بر روی چندین مجموعه داده که سناریوهای مختلف مانند بزرگراه‌ها، جاده‌های روستایی، مکان‌های پارکینگ و جاده‌های شهری را پوشش می‌دهند، آزمایش شد.یک 9 در شمال مونیخ و 10 کیلومتر جاده شهری در شمال مونیخ. GSD تصاویر هوایی بین 7 تا 12 سانتی متر است. برای آزمایش‌های ما، چهار ناحیه انتخاب شد که تمام سناریوهای ذکر شده را پوشش می‌داد.

2. ویژگی های علامت گذاری جاده

چالش‌های موجود در بخش‌بندی خودکار خط‌کشی جاده عبارتند از ساییدگی، تغییر شرایط نور، مانند روشنایی و سایه‌های قوی ناشی از درختان و ساختمان‌ها، و همچنین انسداد جزئی یا کامل توسط اشیاء دیگر، مانند پل‌ها یا شاخه‌های درخت. ظاهر خط کشی ها در جاده های آلمان از جمله نوع خط، رنگ و عرض کاملاً متنوع است و به نوع جاده بستگی دارد. انواع خطوط مختلف علامت گذاری خطوط با عرض خط آنها در جدول 1 فهرست شده است . به عنوان مثال، خطوط خط چین دارای طول 6 متر و طول شکاف در بزرگراه ها 12 متر است. در سایر انواع جاده ها، مسافت کمتر است. عرض نشانگرهای جاده نیز تعریف شده است، اما همانطور که در شکل 1 نشان داده شده استالف، در عمل تفاوت هایی با تعریف وجود دارد، به عنوان مثال، عرض خط است 0.8m به جای 0.3در برخی مناطق علاوه بر این، بسیاری از علامت‌گذاری‌های خاص مجاز هستند، به عنوان مثال، علامت‌های مانع مانند شکل 1 ب.

در شکل 1 ، چالش استخراج اطلاعات سه‌بعدی علامت‌گذاری جاده‌ها با استفاده از تصاویر هوایی نشان داده شده است، زیرا فرآیند استاندارد SGM (تطبیق نیمه‌جهانی) به طور قابل‌توجهی نویز بیشتری در سطوح جاده در مقایسه با مناطق با بافت بیشتر دارد. برای هر تصویر هوایی ( شکل 1 a-c)، بخش های مربوط به DSM ( شکل 1 d-f) تصویر شده است که ارتفاعات پر سر و صدا را برای سطح جاده نشان می دهد.

3. روش شناسی

در این بخش، روش شناسی مراحل پردازش انتخابی برای تقسیم بندی خودکار و بازسازی سه بعدی با استفاده از تصاویر هوایی چند نمای بر اساس جریان کار نشان داده شده در شکل 2 توضیح داده شده است. جریان کار را می توان به عملیات فضای تصویر و فضای شی تقسیم کرد. جریان کار با تصاویر هوایی شروع می شود که از آن DSM تولید شد و خط کشی های جاده تقسیم بندی شدند. بر اساس خط کشی های جاده ای و DSM، نقاط تقریبی را می توان در فضای شی به دست آورد. مرحله آخر با انتخاب نقاط در تصاویر هوایی برای هر نقطه تقریبی شروع می شود که با آن اصلاح سه بعدی تغذیه می شود.

در بخش‌های فرعی زیر، مهمترین عملیات به تصویر کشیده شده است: تقسیم‌بندی خط‌کشی جاده‌ای مبتنی بر یادگیری عمیق ( بخش 3.1 )، اصلاح حداقل مربعات نقاط سه‌بعدی ( بخش 3.2 )، و تولید تقریب‌ها و همچنین انتخاب موارد مربوطه نقاط خط ( بخش 3.3 ). سایر مراحل پردازش، مانند تولید DSM، در بخش تجربی توضیح داده شده است ( بخش 4 ).

3.1. DL (یادگیری عمیق) تقسیم بندی خط کشی جاده ها

به منظور بومی‌سازی نشانه‌های جاده (نشان‌گذاری خطوط)، یک الگوریتم یادگیری عمیق را بر اساس نسخه بهبودیافته الگوریتم پیشنهاد شده توسط نویسندگان [ 5 ] اعمال کردیم. برای بومی سازی علامت گذاری خطوط، روش های قبلی بیشتر از الگوریتم های دو مرحله ای استفاده می کردند. ابتدا یک روش تقسیم‌بندی جاده باینری برای ایجاد یک ماسک جاده اعمال شد، سپس از الگوریتم‌های غیر مبتنی بر یادگیری برای بومی‌سازی خط‌ها استفاده شد. پوشاندن بخش‌های جاده‌ای نرخ مثبت کاذب بالا را در مناطق غیر جاده‌ای کاهش می‌دهد. با این حال عظیمی و همکاران. [ 5 ] یک الگوریتم مبتنی بر یادگیری تک مرحله‌ای را برای اولین بار، تا جایی که می‌دانیم، پیشنهاد کرد تا با یادگیری ویژگی‌های آنها، علامت‌گذاری خطوط را مستقیماً بومی‌سازی کند.

برای استفاده از روش‌های یادگیری عمیق، یک مجموعه داده مشروح ضروری است. بنابراین، مجموعه داده‌های تقسیم‌بندی خط علامت‌گذاری پیکسلی با استفاده از تصاویر هوایی به نام مجموعه داده AerialLanes18 ایجاد شد. آنها از تصاویر به دست آمده توسط سیستم حسگر 3K استفاده کردند [ 6 ]. این تصاویر در 26 آوریل 2012 در شهر مونیخ با GSD 13 سانتی متر به دست آمد.

از آنجایی که علامت‌گذاری خطوط در تصاویر هوایی به‌عنوان الگوهای کوچک ظاهر می‌شود، استفاده مستقیم از الگوریتم‌های یادگیری عمیق منجر به عملکرد ضعیف می‌شود، به عنوان مثال، بر اساس الگوهای 1×1 پیکسل. دلیل این امر قابلیت تحلیل طیفی پایین در CNN ها (شبکه های عصبی کانولوشنال) است. بنابراین، روشی مبتنی بر یک CNN کاملاً اصلاح‌شده که امکان تجزیه و تحلیل طیفی کامل را فراهم می‌کند، عملکرد بهتری را ارائه می‌کند.

در این مقاله، الگوریتم DL پیشنهادی مجدداً با مجموعه داده AerialLanes18 آموزش داده شد، اما در اینجا از یک نسخه تمیز شده از مجموعه داده استفاده شد. معماری شبکه از دو بخش رمزگذار و رمزگشا تشکیل شده است. رمزگذار ویژگی های معنایی بالا، اما وضوح پایین تر را از داده های ورودی استخراج می کند و رمزگشا وضوح اصلی را از خروجی رمزگذار بازیابی می کند. تبدیل موجک در ترکیب با CNN استفاده می‌شود و امکان تجزیه و تحلیل تمام طیفی تصاویر ورودی را فراهم می‌کند، که در مورد تقسیم‌بندی اشیاء کوچک، مانند علامت‌گذاری خطوط، مهم است. در این کار، از بلوک های باقیمانده در معماری شبکه برای بهبود بیشتر عملکرد استفاده شده است.

برای اعمال شبکه عصبی اصلاح شده، ابتدا تصاویر به اندازه خرد شدند 512×512پیکسل پس از آن، هر پچ به عنوان ورودی به شبکه داده شد. به عنوان خروجی، یک ماسک باینری پیکسل به دست آمد که حاوی پیکسل های پیش بینی شده برای کلاس های علامت گذاری خط و غیر خط است. در مرحله آخر، با توجه به این واقعیت که CNN ها در مناطق مرزی عملکرد پایین تری دارند، یک الگوریتم دوخت سفارشی اعمال شد، که فرض می شود ناشی از میدان گیرنده شبکه است.

باید بار دیگر تاکید کرد که کل جریان کار مستقل از هر گونه اطلاعات شخص ثالث، مانند OpenStreetMaps یا Google Maps است و به ما امکان می‌دهد علامت‌گذاری جاده‌ها را با اطلاعات سه بعدی آنها بدون توجه به موقعیت مکانی آنها با دقت پیکسلی بومی‌سازی کنیم. همچنین می‌تواند انواع مختلف علامت‌گذاری جاده‌ای مانند خطوط طولانی، خط تیره، ممنوعیت پارک، و خطوط گورخری و نمادهای مختلف مانند علائم پیچ، محدودیت سرعت، اتوبوس، دوچرخه و علائم معلول را بومی‌سازی کند.

انتظار می رود دقت الگوریتم در سطوح جاده تاریک بیشتر باشد، زیرا مجموعه داده AerialLanes18 عمدتاً شامل جاده هایی با سطوح تاریک است. بنابراین، گسترش مجموعه داده‌ها به گونه‌ای که شامل جاده‌هایی با تضادهای کشیده بین خط‌ها و سطوح جاده باشد، عملکرد را بهبود می‌بخشد. برای اطلاعات بیشتر به عظیمی و همکاران مراجعه می کنیم. [ 5 ].

3.2. اصلاح حداقل مربعات نقاط سه بعدی

در این بخش، فرآیند اصلاح موقعیت سه بعدی یک نقطه در خط کشی جاده، همانطور که در شکل 3 نشان داده شده است، توضیح داده شده است . به دنبال ایده تیلور در مورد به حداقل رساندن یک تابع هدف [ 7 ]، ما یک تابع رگرسیون متعامد را برای بهینه سازی موقعیت سه بعدی هر نقطه در فضای جسم تعریف می کنیم به طوری که پیش بینی پشتی آن به بهترین وجه با خطوط شناسایی شده در تمام نماهای پوششی مطابقت داشته باشد (شکل را ببینید) . 3 الف، ب). بنابراین، موقعیت و ارتفاع هر بخش علامت گذاری خط سه بعدی در یک مرحله بهینه سازی اصلاح می شود. رویکرد پیشنهادی به ویژگی‌های چالش‌برانگیز (شبه) بی‌نهایت و منحنی علامت‌گذاری خطوط در بازسازی سه‌بعدی با اعمال تکرار طول پنجره کشویی می‌پردازد. 2·اسبا یک نقطه شروع تعریف شده است پس(ایکسس،Yس،زس)، نقطه پایانی په(ایکسه،Yه،زه)، و S به عنوان اندازه گام. مختصات سه بعدی نقطه شروع و پایان توسط فرآیند حداقل مربعات و نقطه هدف تخمین زده می شود پتی(ایکستی،Yتی،زتی)سپس مختصات در مرکز ثبت می شوند. پس از این، پنجره کشویی به نقطه بعدی منتقل می شود. با شروع از گره ثبت شده فرآیند قبلی، یک بخش خط دیگر بازسازی می شود، به عنوان مثال، پنجره کشویی اندازه گام به جلو حرکت کرده است. سپس نقطه مرکزی آن ثبت می شود و مرحله تکرار می شود.

رگرسیون متعامد در فضای تصویر به صورت زیر تعریف می شود. بگذارید مختصات تصویر نقطه شروع و پایان در خط رگرسیون باشد (ایکسس،yس)و (ایکسه،yه)جایی که yه≠yس، و نقاط تصویر مشاهده شده (در اینجا: نقاط اسکلت خط کشی های جاده ای) باشد {ایکسمن،yمن}برای من=1…نبا N به عنوان تعداد نقاط. نقاط تصویر مشاهده شده دارای خطا هستند هایکسمنو هyمن. سپس مدل رگرسیون متعامد به صورت دو نقطه ای به صورت زیر است:

ایکسمن-هایکسمن=ایکسس+(ایکسه-ایکسس)(yه-yس)·(yمن¯-yس)

(1)

yمن-هyمن=yمن¯.

(2)

برای بیان کوتاه ( 1 ) و ( 2 ) یک تابع افبه عنوان … تعریف شده است:

پمن^=اف(پس،په،y¯من)،

(3)

که مختصات تصویر نقطه شروع را می گیرد پس(ایکسس،yس)و نقطه پایان په(ایکسه،yه)در فضای تصویر و همچنین مختصات y پیش بینی شده yمن¯از یک نقطه تصویر پ(ایکس¯من،y¯من)و مختصات تصویر تخمین زده شده را برمی گرداند پ^(ایکس^،y^)بر پسپه¯.

برای تنظیم توابع حداقل مربعات، معادلات مشاهده و محدودیت باید تعریف شوند. آنها برازش خطوط مستقیم تعریف شده توسط نقطه شروع و پایان تقریبی را با خطوط استخراج شده در تمام تصاویر پوششی توصیف می کنند، جایی که خطوط برازش در تصاویر مختلف از طریق معادله همخطی توسعه یافته از یک قطعه خط در فضای شیء تبدیل می شوند. با توجه به اینکه همخطی یک شرط نقطه ای است، یک پاره خط با نقطه شروع و پایان نشان داده می شود. پس(ایکسس،Yس،زس)و په(ایکسه،Yه،زه)در فضای شی

با توجه به نقطه شروع پسو نقطه پایانی پهیک قطعه خط m در فضای جسم و پارامترهای داخلی و خارجی qjاز تصویر j ، جایی که j≤جی، با J به عنوان تعداد تصاویری که این بخش خط را پوشش می دهند، پس طرح این نقاط به تصویر j سپس مختصات تصویر را به دست می آورد. پسj(ایکسسj،yسj)و پهj(ایکسهj،yهj).

پسj=جی(qj،پس)پهj=جی(qj،په)

(4)

فرض کنید m پاره خط مربوطه در تصویر j باشد ، جایی که متر≤م، با M به عنوان تعداد خطوط استخراج شده (مشاهده). با توجه به مجموعه داده {ایکسمتر،منj،yمتر،منj}نقطه i روی پاره خط m در تصویر j ، مختصات تصویر تخمینی آنها پ^متر،منjروی خط بی نهایت پسj،پهj¯به دست آمده از مدل رگرسیون متعامد (معادله ( 3 )) عبارتند از:

پ^متر،منj=اف(پسj،پهj،yمتر،منj).

(5)

از ترکیب معادلات ( 4 ) با ( 5 ) تابعی به دست می آید اچ:

پ^متر،منj=اف(جی(qj،پس)،جی(qj،په)،yمتر،منj)=اچ(qj،پس،په،yمتر،منj)،

(6)

که پارامترهای داخلی و خارجی تصویر را می گیرد qj، مختصات شی از پسو په، که یک خط را تعریف می کنند پس،په¯، و مختصات y مشاهده شده نقطه پمتر،منjدر فضای تصویر، و مختصات تصویر تخمین زده شده را برمی گرداند پمتر،منjدر پشت خط پیش بینی شده از پس،په¯. با توجه به ساختار مدل گاوس-مارکف ، آنها به صورت زیر بیان می شوند:

ب+v^=f(ایکس^):پمتر،منj+v^متر،منj=اچ(qj،پ^س،پ^ه،y^متر،منj)،

(7)

با تعداد مشاهدات o=2·∑نjو با مقدار مجهولات تو=6+∑نj.

برای قوی ساختن سیستم حداقل مربعات و جلوگیری از تکینگی ها، سه معادله محدودیت تعریف شده است. دو معادله اول برای تثبیت مختصات X و Y نقطه شروع با استفاده از مقادیر تقریبی است. این بر اولین تخمین تأثیر می گذارد، زیرا نقطه شروع باید به مقادیر تقریبی ثابت شود. در مراحل زیر پنجره کشویی می توان از نقطه میانی تخمینی به عنوان نقطه شروع ثابت استفاده کرد. معادله سوم تثبیت طول پاره خط (یعنی محدود کردن مکان نسبی نقطه پایانی) است که از حرکات غیر ضروری نقطه انتهایی خط جلوگیری می کند. پیروی از ساختار مدل گاوس-مارکف با محدودیت‌ها ساعت(ایکس^)=0، تمام معادلات محدودیت را می توان به صورت زیر نوشت:

ایکس^س-ایکسس0Y^س-Yس0(ایکس^س-ایکس^ه)2+(Y^س-Y^ه)2+(ز^س-ز^ه)2-2∗اس=000،

(8)

با تعداد محدودیت ها ج=3. پس افزونگی مشکل به این صورت است:

r=o+ج-تو=∑نj-3.

(9)

دو نوع حالت مفرد ممکن است اتفاق بیفتد. ابتدا، یک نقص پیکربندی در فضای شی ظاهر می‌شود، اگر تقاطع حداقل دو پرتوی پیش‌بینی وجود نداشته باشد، زیرا رویکرد بازسازی سه‌بعدی همچنان بر تقاطع پرتوهای پیش‌بینی چندگانه از نماهای مختلف متکی است. این در صورتی اتفاق می‌افتد که فقط یک تصویر آن ناحیه را پوشش می‌دهد یا تمام بخش خط روی خطوط اپی قطبی قرار می‌گیرد. در این مواقع مشکل قابل حل نیست. دوم، یک نقص پیکربندی در فضای تصویر ممکن است اتفاق بیفتد، زمانی که تمام یا تقریباً تمام خطوط استخراج شده در جهت ردیف روی همه تصاویر پوششی قرار گیرند. در تمام موارد دیگر، به عنوان مثال، اگر بخش‌های خط هدف فقط روی برخی از صفحات اپی‌قطبی جفت‌های استریو قرار بگیرند، مشکل همچنان قابل حل است، زیرا آن جفت‌های استریو به حل کمک نمی‌کنند. اگر فقط در برخی از تصاویر، بخش های خط استخراج شده در جهت ردیف قرار می گیرند: مشکل قابل حل است، زیرا آن تصاویر به اندازه گیری در تخمین کمک نمی کنند. در عمل، هیچ نقصی در پیکربندی رخ نمی دهد، همانطور که پیکربندی پرواز ویژه توضیح داده شده استبخش 4.1 از وقوع جلوگیری می کند.

جزئیات بیشتر در مورد مدل گاوس-مارکوف پیاده سازی شده با محدودیت ها، از جمله برخی مطالعات حساسیت و شبیه سازی را می توان در مرجع [ 1 ] یافت . مختصات سه بعدی حاصل از نقطه هدف پتی(ایکستی،Yتی،زتی)به سادگی به عنوان مرکز هندسی نقطه شروع و پایان محاسبه می شوند.

3.3. تولید تقریب ها و انتخاب نقاط خط متناظر

وظیفه در اینجا انتخاب نقاط مشاهده شده است پمتر،منjدر خط m در تصویر j همانطور که در معادله ( 7 ) تعریف شده است، یک نقطه شروع و پایان داده شده است پسو پهدر فضای شی نقطه شروع، بخش‌های علامت‌گذاری جاده در تصاویر پوششی، و همچنین بخش‌های orthoprojected در فضای جسم است. با نمایش تمام تصاویر بر روی DSM، برچسب های قطعه بندی شده در فضای شی روی هم قرار می گیرند، به عنوان مثال، اگر یک نقطه از علامت گذاری جاده در یک تصویر نادیده گرفته شود، ممکن است در تصاویر دیگر شناسایی شود و در نتیجه اطمینان بیشتری ایجاد شود.

کل فرآیند انتخاب نقاط تصویر و ایجاد نقاط تقریبی در شکل 4 نشان داده شده است . با توجه به بخش های علامت گذاری جاده در تصاویر، یک اپراتور اسکلت انجام می شود که خطوط مرکزی بخش های علامت گذاری جاده را استخراج می کند ( شکل 4 a,b را ببینید). پس از هرس و صاف کردن خطوط مرکزی، نقاط مرکزی ثبت می شود. علاوه بر این، نقاط تقریب برای هر خط بر اساس فاصله اقلیدسی اندازه گام S با استفاده از برچسب‌های موجود در تصاویر orthoprojected تولید می‌شوند. مقادیر X و Y از پروجکشن عمودی تصویر اصلی بر روی DSM به دست می‌آیند، در حالی که Zمقدار مستقیماً از DSM گرفته می شود، که در نهایت تقریبی برای نقاط شروع، پایان و هدف همانطور که در شکل 4 ج نشان داده شده است، ارائه می دهد.

با بازتاب دادن نقطه شروع و پایان در هر تصویر، نقاط خط متناظر را می توان پیدا کرد، که یک مرحله بسیار مهم است، زیرا تخصیص ممکن است به دلیل مقادیر تقریبی نادرست یا تشخیص خط از دست رفته مبهم باشد. این مرحله در شکل 4 نشان داده شده استد یک فضای جستجو در اطراف نقاط شروع و پایان پیش بینی شده از عقب باید تعریف شود، که در آن همه نقاط متعلق به یک خط فرض شوند. بررسی های اضافی از نظر موازی، فواصل و صافی برای جلوگیری از انتساب اشتباه مورد نیاز است که در نهایت منجر به بسیاری از نقاط رد می شود. با این حال، پارامتری که اندازه فضای جستجو را تعیین می کند باید تعریف شود، که فاصله نقطه خط مشاهده شده تا خط بین نقطه شروع و پایان پیش بینی شده در پیکسل است. این پارامتر، از جمله، به GSD تصاویر و اندازه های علامت گذاری جاده بستگی دارد. در نهایت، تمام نقاط علامت گذاری جاده مشاهده شده برای هر تصویر، همانطور که در شکل 4 نشان داده شده است، جمع آوری می شوده. بر اساس این روش، نیازی به تطبیق نقطه یا خط مستقیم بین تصاویر نیست، زیرا نقاط هر خط به طور مستقل در هر تصویر جمع آوری می شوند.

4. نتایج تجربی و ارزیابی

این رویکرد بر روی چهار مجموعه از تصاویر هوایی که سناریوهای مختلف، جاده‌های شهری، بزرگراه‌ها، جاده‌های روستایی و فضاهای پارکینگ را پوشش می‌دهد، آزمایش و اعتبارسنجی شد. داده های ورودی و تنظیمات تست در بخش 4.1 توضیح داده شده است . تولید DSM و برخی مراحل پیش پردازش در بخش 4.2 ارائه شده است . فصل نتیجه به نتایج تقسیم بندی DL ( بخش 4.3 ) و نتایج پالایش سه بعدی ( بخش 4.4 ) تقسیم می شود.

4.1. داده های ورودی

تصاویر هوایی با سیستم حسگر DLR 4k [ 8 ] که بر روی هلیکوپتر BO105 کار می‌کرد، به دست آمد. به خلبانان هلیکوپتر دستور داده شد که در هر مسیر دو بار پرواز کنند، یک بار در یک طرف و یک بار در سمت دیگر بزرگراه. این پیکربندی ویژه پرواز همانطور که در جدول 2 نشان داده شده است برای پوشش مسافت های طولانی و در همان نوبت برای تضمین نمای استریو برای هر نقطه از بزرگراه با حداقل تصاویر مورد نیاز طراحی شده است. این در مقایسه با رویکرد فتوگرامتری کلاسیک در برنامه ریزی پرواز است، با چندین خط پرواز مستقیم که کل بزرگراه را در نمای استریو پوشش می دهد.

سیستم 4k توسعه‌یافته داخلی، تصاویر هوایی مورب به‌دست‌آمده با دو دوربین Canon EOS 1D-X ارائه می‌کند. زاویه دید مایل است ±15درجهدر سراسر مسیر پرواز اندازه پیکسل در اطراف است 6.9 μمتر، که منجر می شود، در ترکیب با فاصله کانونی 50 میلی متر و ارتفاع پرواز اچfلمنgساعتتیبین 500 تا 700 متر از سطح زمین، تا GSD بین 7 تا 9 سانتی متر در جهت نادر. تمام پارامترهای مهم با توجه به دوربین و پیکربندی پرواز در جدول 2 فهرست شده است . همپوشانی سراسری و امتدادی 50%پاسخ 75%منجر به پوشش تصویری هشت برابری از هر نقطه در بزرگراه می شود.

تصاویر هوایی توسط سیستم جهانی ناوبری ماهواره ای GNSS/سیستم اینرسی IGI AEROcontrol-IId ارجاع داده شدند و توسط سرویس موقعیت یابی ماهواره ای تصحیح بررسی ملی آلمان (SAPOS) بهبود یافتند. همراه با کالیبراسیون دوربین، پارامترهای داخلی و خارجی برای هر تصویر داده شد و با تنظیم بسته‌ای بیشتر بهبود یافته است. جزئیات در مراجع [ 1 ، 6 ] توضیح داده شده است.

در اصل، رویکرد پیشنهادی از اینجا بدون هیچ گونه اطلاعات اضافی کار می کند. در کاربرد، اطلاعات زمینی اضافی را می توان برای بهبود بیشتر دقت موقعیت جغرافیایی مطلق معرفی کرد. همانطور که در مرجع [ 9]، اگر نقاط ژئودتیک TerraSAR-X به عنوان نقاط مرجع گنجانده شود، می توان تصاویر هوایی را برای داشتن دقت موقعیت جغرافیایی مطلق بهتر از 30 سانتی متر بهبود بخشید. علاوه بر این، یک مدل زمین جهانی (مانند ماموریت توپوگرافی رادار شاتل X-Band (SRTM)) را می توان برای گره زدن ارتفاعات DSM مشتق شده به سطح مدل زمین جهانی معرفی کرد. در این مقاله دقت مطلق موقعیت جغرافیایی مورد تجزیه و تحلیل و تایید قرار نگرفت. در عوض، هدف مقایسه دقت نسبی حاصل از DSM تولید شده توسط SGM با نقاط پالایش شده سه بعدی این رویکرد بود. دقت مطلق موقعیت جغرافیایی هیچ نقشی در اعتبار سنجی ندارد، زیرا هر دو مورد به موقعیت جغرافیایی و سطح دقت یکسانی بستگی دارند.

پرواز ثبت تصویر در 29 مارس 2017 در امتداد بزرگراه A9 از مونیخ آلمان شروع شد و 100 کیلومتر به سمت شمال می رفت. برای تجزیه و تحلیل بیشتر، در مجموع 111 تصویر از حدود 4000 تصویر از این پرواز انتخاب شدند که (A) جاده های شهری، (B) بزرگراه ها، (C) جاده های روستایی، و (D) فضاهای پارکینگ را پوشش می دهند. منطقه A 1.1 × 1.2 کیلومتر را پوشش می دهد 2با 23 تصویر، منطقه B 1.0 × 2.2 کیلومتر 2با 42 تصویر، مساحت C 1.0 × 1.5 کیلومتر 2با 23 تصویر و مساحت D 1.0 × 1.4 کیلومتر 2با 23 تصویر در یک تصویر از هر سناریو، تمام خط کشی های جاده به صورت دستی برای اعتبار سنجی بعدی تقسیم بندی DL برچسب گذاری شدند. علامت‌گذاری‌های جاده‌ای که به صورت دستی برچسب‌گذاری شده‌اند، به صورت عمودی بر روی DSM قرار گرفتند، که به‌عنوان حقیقت پایه برای اعتباربخشی تقسیم‌بندی چند نمایه استفاده شد (به بخش 4.3 مراجعه کنید ).

4.2. نسل DSM

برای پردازش بیشتر، تمام موقعیت‌ها و نگرش‌های تصویر مشاهده‌شده با تنظیم بسته حداقل مربعات خود کالیبره‌شده بهبود یافتند. از آنجایی که هیچ نقطه کنترل زمینی در دسترس نبود، تنظیم بسته اطلاعات عبور لازم را از یک مدل سطح مرجع (X-Band SRTM) دریافت کرد، که ارتفاع تقریبی را برای هر نقطه اتصال ارائه می کرد. در مرحله تنظیم، پارامترهای دوربین داخلی، مانند فاصله کانونی، نقطه اصلی و پارامترهای اعوجاج لنز، نیز برآورد شد تا به دقت مورد نیاز برای پردازش DSM برسند. با این کار، سطح ارتفاع نهایی DSM به سطح ماموریت توپوگرافی رادار شاتل (SRTM) DEM گره خورده است. RMSE مختصات نقطه کراوات بین 0.1-0.3 متر برای همه مجموعه داده ها بود. متعاقبا، یک زنجیره فرآیند مبتنی بر SGM مانند مرجع [ 10] توسط محاسبات شبکه توزیع شده ایجاد نقاط سه بعدی متراکم که می توانند برای بازسازی سطح زمین مشاهده شده مورد استفاده قرار گیرند، انجام شد.

در مجموعه داده‌های A تا D، دقت تطبیق SGM حدود 0.5 پیکسل برآورد شد [ 11]]، که منجر به سطح دقت پایین تری نسبت به تطابق نقطه تساوی می شود. این را می توان تا حدی با میانگین ارتفاع در تعداد زیاد جفت استریو با هم همپوشانی بهبود بخشید، اما در مناطقی با بافت کم یا الگوهای تکراری مانند روی سطح جاده، بسیاری از نقاط پرت منطبق تولید شد. از آنجایی که سطوح جاده آسفالتی که خط کشی روی آنها قرار دارد بافت ضعیفی دارد، DSM تولید شده توسط SGM به ویژه در چنین مناطق با بافت ضعیف پر سر و صدا است. با این حال، چنین DSM با وضوح بالا نقطه شروع خوبی برای اصلاح خط خط می دهد. به عبارت دیگر، DSM تنها برای تنظیم مقادیر اولیه جریان کار مورد استفاده قرار می گیرد و اگر تقریب خیلی دور نباشد، تأثیری بر نتایج نهایی بازسازی خط سه بعدی نخواهد داشت.

در شکل 5 ، تأثیر منابع خطا مانند بافت کم و تعداد جفت های استریو بر انحراف استاندارد DSM نهایی نشان داده شده است. انحراف استاندارد DSM با قرار دادن لایه ارتفاعی همه جفت‌های استریو محاسبه شد. در نتیجه، انحراف معیار ارتفاع در سطوح جاده نسبتاً بیشتر از مناطق میدانی اطراف بود و در برخی نقاط به 1.0m، اگرچه تعداد جفت های استریو کمک کننده کم و بیش برابر است. این نقطه شروع برای اصلاح DSM است که در بخش های بعدی توضیح داده شده است.

4.3. نتایج بخش بندی علامت گذاری جاده DL

در این بخش، نتایج تقسیم بندی یادگیری عمیق از بخش 3.1 ارائه شده است. اعتبار سنجی دقت تقسیم بندی در دقت استفاده از تنها یک تصویر واحد و در دقت رویکرد چند نما از هم جدا شد (به بخش 3.3 مراجعه کنید ). با این حال، ابتدا تصاویر به GSD داده های آموزشی، در این مورد به 13 سانتی متر، مقیاس شدند، زیرا GSD داده های آزمون با داده های آموزشی متفاوت است. سپس شبکه از پیش آموزش داده شده برای هر تصویر اعمال شد. در نهایت، بخش‌های برچسب با استفاده از جهت‌گیری تصویر داخلی و خارجی روی DSM پروجکت داده شدند.

در شکل 6 ، ستون سمت چپ و مرکز دو تصویر نمای اصلی را با برچسب‌های تقسیم‌بندی شده (سرخابی) برای چهار سناریو شهری، پارکینگ، روستایی و بزرگراه‌ها (از بالا به پایین) نشان می‌دهد. ستون سمت راست، برچسب‌های orthoprojected و superimposed را در فضای شی با تعداد تصاویر مشارکت‌کننده (کد رنگی) نشان می‌دهد. حداکثر تعداد تصاویر کمک کننده به پیکربندی پرواز بستگی دارد و فقط در برخی قسمت ها به دست می آید، به عنوان مثال، در آزمایش ها، علامت گذاری جاده مربوطه در هشت تصویر کمک کننده تقسیم شد. حداقل تصاویر مشارکت‌کننده دو است، یعنی همه برچسب‌هایی که فقط یک تشخیص دارند در فرآیند بعدی پوشانده می‌شوند.

نتایج بر حسب IoU (تقاطع روی اتحاد)، که در تقسیم بندی تک و چند نمای جدا شده اند، در جدول 3 فهرست شده اند . بهترین نتایج با 92.7%در مجرد و 95.9%در چند نمای در بزرگراه ها (B) به دست آمد. در اینجا، رویکرد multiview کیفیت را با توجه به IoU در اطراف افزایش می‌دهد 3.2%; همین اثر در سناریوهای دیگر نیز قابل مشاهده است. دلایل افزایش کیفیت در رویکرد چند نمای، انسداد در نماهای منفرد ناشی از اجسام متحرک، مانند وسایل نقلیه، یا انسداد ناشی از هندسه مشاهده، مانند اطراف ساختمان ها یا درختان است. در این موارد می توان نرخ منفی کاذب را کاهش داد، زیرا در برخی از تصاویر ممکن است خط کشی جاده قابل مشاهده باشد. از سوی دیگر، نرخ مثبت کاذب را می توان کاهش داد، زیرا تشخیص های “ضعیف” که فقط در یک تصویر قابل مشاهده هستند، فیلتر می شوند.

این جلوه‌ها در شکل 7 نشان داده شده‌اند ، جایی که برخی از جزئیات تقسیم‌بندی جاده‌ها با یادگیری عمیق در تصاویر همپوشانی نشان داده شده‌اند. شکل 7 a,e حالتی را نشان می دهد که در تصویر اول بخشی از خط کشی جاده قطعه بندی نشده است. شکل 7 b,f پارکینگ‌هایی هستند که کیفیت تقسیم‌بندی آن‌ها است 68.9%بسیار پایین است و در بخش بندی چند نمای با فقط کمی بالاتر است 70.9%. در این مورد، شبکه از پیش آموزش دیده نقاط پرت زیادی تولید می کند، زیرا خطوط چمن بتنی نزدیک به پارکینگ ها مانند خط کشی های جاده به نظر می رسند. علاوه بر این، بسیاری از خط کشی های جاده از وسایل نقلیه پارکینگ مسدود شد و در نتیجه خط کشی در نمای دیگر نیز مسدود شد. مثال در شکل 7 c,g علائم مسدود شده جاده توسط یک کامیون در حال حرکت را نشان می دهد که در سایر نماها به وضوح قابل مشاهده است و مثال در شکل 7 d,h نشان می دهد که چگونه یک مثبت کاذب در اطراف وسیله نقلیه توسط نماهای دیگر حذف می شود. علاوه بر این، سناریوی شهری برای بخش‌بندی DL چالش‌برانگیزترین است، زیرا بسیاری از خط‌کشی‌های جاده به دلیل سایش، کوچکتر از بزرگراه‌ها و به‌ویژه در منیفولد گذرگاه‌ها به سختی قابل رویت هستند. 68.9%IoU برای تک نمای و IoU بالاتر قابل توجهی از 84.1%در چند نمای

4.4. نتایج اصلاح سه بعدی

در این بخش، نتایج فرآیند پالایش سه بعدی از بخش 3.2 اعمال شده بر روی مجموعه داده های آزمون ارائه شده است. همانطور که گفته شد، اصلاح سه بعدی نیاز به برخی تنظیمات پارامتر دارد که با مجموعه داده تنظیم شده است. تعیین کننده ترین پارامترها اندازه ناحیه جستجو و طول پنجره کشویی است، یعنی فاصله بین نقاط تقریبی در فضای شی به نام گام اندازه S.. آخرین مورد باید بر اساس انحنای مورد انتظار خط هدف و استحکام مدل بازسازی تعریف شود. به عنوان مصالحه بین استحکام بهینه‌سازی و خطاهای سیستماتیک به حداقل رسیده ناشی از انحنای تقریبی مستقیم، فاصله در آزمایش‌ها تا 2 متر تعیین شد. این همچنین تضمین می کند که خطوط خط چین با حداقل یک یا دو نقطه اصلاح می شوند. برای جاده‌های شهری و گذرگاه‌هایی با خط‌کشی کوتاه‌تر (در برخی موارد کوتاه‌تر از 1 متر)، این فاصله نقاط اصلاح‌شده بیشتری را ایجاد می‌کند، زیرا نقطه شروع و پایان برای اصلاح سه‌بعدی در خارج قرار دارد و بنابراین، اصلاح سه‌بعدی خواهد بود. نادیده گرفته شود.

اعتبار سنجی پالایش سه بعدی دارای دو بخش است: یکی ارزیابی کامل بودن و دیگری دقت نکات پالایش شده. برای ارزیابی کامل بودن، تعداد نقاط سه بعدی تخمین زده شده صحیح با تعداد کل نقاط تقریب مقایسه شد. درست در این زمینه به این معنی است که الزامات پالایش حداقل مربعات برآورده شده است، به عنوان مثال، هیچ اشتباهی در مشاهدات وجود ندارد، هیچ نقصی در پیکربندی وجود ندارد و به حداقل تعداد تصاویر پوششی و نقاط خط رسیده است.

نتایج ارزیابی کامل بودن در شکل 8 نشان داده شده و در جدول 3 فهرست شده است . در تجسم، نقاط پالایش شده با رنگ سبز و نقاط نادیده گرفته شده با رنگ قرمز مشخص شده اند. بدیهی است که کامل بودن فقط در بزرگراه ها و جاده های روستایی با خط کشی های طولانی و مستقیم رضایت بخش است، در حالی که کامل بودن در پارکینگ ها و گذرگاه های شهری به دلیل خطوط نزدیک و کوتاه تر بسیار کم است. برای تفسیر صحیح مقدار کامل بودن، به عنوان مثال، 55.1%در بزرگراه ها، در این مورد، کامل بودن تشخیص خط کشی جاده باید در نظر گرفته شود، 95.9%IoU، به عنوان مثال، نقاط تقریب تنظیم شده است 95.9%از منطقه، که از آن 55.1%در طی اصلاح سه بعدی تخمین زده می شوند. در بزرگراه ها، بهترین نتایج به دست آمد، در حالی که کمترین مقدار کامل بودن در جاده های شهری به دست آمد 11.3%. لازم به ذکر است، به عنوان مثال، در خط کشی خطوط با سه یا چهار نقطه تقریب (4 متر و 6 متر طول)، تنها یک پاسخ. دو نقطه را می توان اصلاح کرد، زیرا اولین و آخرین نقطه هر خط نادیده گرفته می شود و بنابراین، کامل بودن در اینجا بسیار کم است. 33.3%پاسخ 50%، صرفاً به دلیل پیکربندی اصلاح حداقل مربعات. یکی دیگر از دلایل کامل بودن کم این است که پیاده سازی هنوز از نظر نقاط پرت در مشاهده قوی نیست که عمدتاً ناشی از خطوط اختصاص داده شده اشتباه در فضای تصویر است.

یک نمای دقیق از نتایج در شکل 9 نشان می دهد که کامل بودن در بزرگراه ها کاملا رضایت بخش است، در حالی که در پارکینگ ها و جاده های شهری، کامل بودن بسیار کم است. با این وجود، در برخی از نقاط در مناطق پیچیده تر، اصلاح سه بعدی همگرا شد که اطلاعات سه بعدی دقیق تر و کم نویزتری را نسبت به DSM مشتق شده از SGM ارائه می دهد.

اعتبار دوم مربوط به دقت نقاط سه بعدی تصفیه شده است که با دقت ارتفاعات مشتق شده از SGM مقایسه شد. همانطور که قبلا ذکر شد، دقت مطلق ارزیابی نشد. در عوض، نویز نسبی در جهت Z ارزیابی شد. مطالعات در مرجع [ 1 ] نشان داد که انحراف استاندارد خلفی اندازه‌گیری‌ها وجود دارد 0.7پیکسل، که منجر به دقت نظری نقاط سه بعدی بازسازی شده می شود 2.5سانتی متر در جهت عمودی و 5 میلی متر در جهت افقی. نتایج، همانطور که در شکل 10c نشان داده شده است، از نتیجه مطالعه پشتیبانی می کند، زیرا دقت عمودی در صورتی حاصل می شود که حداقل هفت تصویر نقطه را پوشش دهد. با تعداد تصاویر کمتر، ریشه میانگین مربع (RMS) در جهات Z تا 15 سانتی متر افزایش می یابد اگر فقط از سه تصویر استفاده شود. در شکل 10 a,b، سطح دقت اصلاح سه بعدی مستقیماً با سطح نویز DSM مقایسه شده است. در شکل 10 الف، بخش کوچکی از DSM یک بزرگراه با شش خط به تصویر کشیده شده است و با خط کشی های سه بعدی تصفیه شده جاده (آبی) روی هم قرار گرفته است. همان قسمت در یک نمودار دو بعدی با مقادیر Z به سمت بالا پیش بینی شده است ( شکل 10ب). نقاط قرمز نشان دهنده موقعیت علامت گذاری خطوط هستند. هر دو شکل نشان می دهد که سطح نویز DSM بالاتر از سطح دقت نقاط سه بعدی پالایش شده است.

5. بحث

در این مقاله، کار کلی به یک تقسیم‌بندی مبتنی بر DL و به دنبال آن یک بازسازی سه‌بعدی حداقل مربعات تکراری خط‌کشی‌های جاده تقسیم شد. بر اساس بخش‌های دوبعدی برچسب‌گذاری شده خودکار در تصاویر اصلی، ما یک جریان کاری متوالی را برای بازسازی سه‌بعدی خط‌کشی‌های جاده‌ای بر اساس برازش خط حداقل مربعات در تصاویر چند نمایه پیشنهاد می‌کنیم. بازسازی سه‌بعدی از ویژگی خط‌های خط‌کشی جاده‌ها با هدف بهینه‌سازی بهترین مکان خط سه‌بعدی با به حداقل رساندن فاصله از پیش‌نمایش پشتی آن تا خط دو بعدی شناسایی‌شده در تمام تصاویر پوششی استفاده می‌کند.

این رویکرد از مشکل تطبیق نقطه به نقطه در قسمت‌های تصویر بدون بافت، مانند سطوح جاده جلوگیری می‌کند و به خطوط با طول محدود محدود نمی‌شود. علاوه بر این، این رویکرد از مشکل تطبیق خط جلوگیری می کند، زیرا فرض بر این است که تقریب به اندازه کافی خوب است که خطوط متناظر را در تصاویر به سادگی با جستجوی نزدیکترین همسایه پیدا کند، به عنوان مثال، یک DEM جهانی موجود، مانند X-Band SRTM، نمی تواند باشد. به عنوان نقطه شروع برای جریان کار به اندازه کافی دقیق باشد.

خط کشی های جاده مانند خط کشی های پیوسته در کنار جاده می تواند چندین کیلومتر طول داشته باشد که برای بازسازی سه بعدی نیاز به رویکرد پنجره کشویی دارد. فرض بر این است که در داخل پنجره کشویی، خط کشی های جاده مستقیم هستند. در برخی از کاربردها، این فرض در جاده هایی با پیچ های قوی برآورده نمی شود.

دقت نقاط سه بعدی با حداقل مربعات تخمین زده شده است 2.5ارتفاع سانتی متر در مواردی با حداقل هفت تصویر پوششی، با در نظر گرفتن دقت بردارسازی بخش های خط کشی جاده و کیفیت پارامترهای جهت گیری داخلی و خارجی تصویر. این سطح دقت حداقل یک ضریب 10 بهتر از سطح دقت DSM مشتق شده از SGM است، که همچنین می تواند بازسازی سه بعدی کل سطح جاده را به سادگی با مثلث بندی بین نقاط علامت گذاری جاده بهبود بخشد.

برای بهبود کامل بودن نقاط پالایش شده و تقسیم بندی DL هنوز باید مقداری کار انجام شود. اولین مورد را می توان با یک تشخیص قوی بیرونی در مشاهدات و با در نظر گرفتن پیاده سازی های ویژه برای موارد با پیکربندی ضعیف و برای نمادهای علامت گذاری جاده بسیار کوتاه و چندگانه بهبود بخشید. آخرین مورد را می توان با گسترش مجموعه داده های آموزشی AerialLanes18 با نمونه های تصویری بیشتر که نورهای مختلف، شرایط آب و هوایی، مقیاس های تصویر و انواع علامت گذاری جاده را پوشش می دهد، به دست آورد.

اختصارات

در این نسخه از اختصارات زیر استفاده شده است:

CNN	شبکه عصبی کانولوشنال
DL	یادگیری عمیق
DLR	مرکز هوافضای آلمان
DSM	مدل سطح دیجیتال
GSD	فاصله نمونه برداری از زمین
IoU	تقاطع روی اتحاد
RMS	ریشه به معنای مربع
SGM	تطبیق نیمه جهانی
SRTM	ماموریت توپوگرافی رادار شاتل

منابع

Sheu، CY; کورز، اف. Angelo, P. بازسازی خودکار خط سه بعدی با استفاده از تصاویر هوایی چند نمای. ISPRS Ann. فتوگرام از راه دور. حس اسپات. Inf. علمی 2018 ، IV-1 ، 147-154. [ Google Scholar ] [ CrossRef ]
اشمید، سی. زیسرمن، الف. تطبیق خودکار خطوط بین نماها. در مجموعه مقالات کنفرانس IEEE Computer Society on Computer Vision and Pattern, San Juan, Puerto Rico, USA, 17-19 ژوئن 1997; جلد 1، ص 666–671. [ Google Scholar ] [ CrossRef ]
بی، اچ. فراری، وی. Gool، LV تطبیق استریو با خط پایه گسترده با بخش‌های خط. در مجموعه مقالات کنفرانس IEEE Computer Society در سال 2005 در مورد دید رایانه و تشخیص الگو، سن دیگو، کالیفرنیا، ایالات متحده آمریکا، 20-25 ژوئن 2005. جلد 1، ص 329–336. [ Google Scholar ] [ CrossRef ]
وانگ، ز. وو، اف. Hu, Z. MSLD: یک توصیفگر قوی برای تطبیق خطوط. تشخیص الگو 2009 ، 42 ، 941-953. [ Google Scholar ] [ CrossRef ]
عظیمی، س.م. فیشر، پی. کورنر، ام. Reinartz، P. Aerial LaneNet: Lane Lane Semantic Segmentation in Aerial Images با استفاده از شبکه‌های عصبی کاملاً پیچیده متقارن متقارن به‌هزینه افزایش‌یافته. arXiv , 2018; arXiv:1803.06904. [ Google Scholar ] [ CrossRef ]
کورز، اف. تورمر، اس. مینبرگ، او. روزنباوم، دی. رانج، اچ. راینارتز، پی. Leitloff, J. سیستم‌های کم‌هزینه برای برنامه‌های نقشه‌برداری بلادرنگ. فتوگرام فرنرکوند. Geoinf. 2012 ، 159-176. [ Google Scholar ] [ CrossRef ]
تیلور، سی. کریگمن، دی. ساختار و حرکت از پاره خط در تصاویر متعدد. IEEE Trans. الگوی مقعدی ماخ هوشمند 1995 ، 17 ، 1021-1032. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
کورز، اف. روزنباوم، دی. مینبرگ، او. ماتیوس، جی. Reinartz، P. عملکرد یک سنسور و سیستم پردازش زمان واقعی در یک هلیکوپتر. ISPRS Int. قوس. فتوگرام از راه دور. حس اسپات. Inf. علمی 2014 ، XL-1 ، 189-193. [ Google Scholar ] [ CrossRef ]
فیشر، پی. پلاس، بی. کورز، اف. کراوس، تی. Runge, H. اعتبار سنجی نقشه های HD برای رانندگی خودمختار. در مجموعه مقالات کنفرانس بین المللی سیستم های حمل و نقل هوشمند در تئوری و عمل، مونیخ، آلمان، 4 تا 6 ژوئیه 2017. [ Google Scholar ]
d’Angelo، P. Reinartz، P. نتایج تطبیق نیمه جهانی در معیار تطبیق استریو ISPRS. ISPRS هان. کارگاه 2011 ، XXXVIII-4/W19 ، 1-6. [ Google Scholar ] [ CrossRef ]
چارشتاین، دی. هیرشمولر، اچ. کیتاجیما، ی. کراتوول، جی. نشیچ، ن. وانگ، ایکس. Westling، P. مجموعه داده‌های استریو با وضوح بالا با زیرپیکسل دقیق زمین حقیقت. در کنفرانس آلمان در مورد شناسایی الگوها ; Springer: Cham, Switzerland, 2014; جلد 8753، ص 31–42. [ Google Scholar ] [ CrossRef ]

شکل 1. ظاهر خط کشی های جاده در تصاویر هوایی ( a – c ) و قسمت های مربوطه از مدل سطح دیجیتال (DSM) ( d – f ).

شکل 2. مراحل پردازش ( ردیف بالا ) در فضای تصویر انجام شده است. ( ردیف پایین ) مراحل پردازش در فضای شی.

شکل 3. ایده اولیه اصلاح سه بعدی مبتنی بر خط ( a ) قبل از بهینه سازی و ( ب ) بعد از بهینه سازی و اصل یک پنجره کشویی برای ( c ) اول و ( d ) گره دوم یک خط.

شکل 4. ( الف ، ب ) نمونه هایی از خط کشی جاده به رنگ صورتی و خطوط مرکزی به رنگ زرد که توسط اپراتور اسکلت ایجاد شده است. ( ج ) نقاط تقریب در فضای جسم با اولین و آخرین نقطه تکرار به رنگ زرد و همچنین نقطه هدف به رنگ قرمز. ( د ) نقاط تقریب بازپخش شده در فضای تصویر با فضای جستجو برای جستجوی نقاط خط مربوطه (جعبه آبی). ( ه ) نقاط انتخاب شده با رنگ قرمز در یک تصویر.

شکل 5. ( الف ) DSM سطح بزرگراه. ( ب ) تعداد جفت‌های استریو که به هر پیکسل DSM کمک می‌کنند. ( ج ) انحراف استاندارد ارتفاع بر حسب متر برای هر پیکسل DSM.

شکل 6. نتایج بخش‌بندی علامت‌گذاری جاده DL (سرخابی) در دو تصویر همپوشانی انتخاب شده ( a ، d ، g ، j ) و ( b ، e ، h ، k ) یک دنباله تصویر. ( c , f , i , l ) خط کشی های جاده پیش بینی شده را در فضای شی با تعداد تصاویر کمک کننده (کد رنگی) نشان می دهد. هر چه تیره تر باشد، علامت گذاری جاده بیشتر در تصاویر کمک کننده تشخیص داده می شود.

شکل 7. جزئیات بخش بندی علامت گذاری جاده DL در جفت های تصویری همپوشانی. ( الف ، ه ) علامت گذاری جاده های شناسایی شده را در یک منطقه ساخت و ساز نشان می دهد. ( ب ، و ) علامت‌گذاری مکان‌های پارکینگ تا حدی در یک تصویر توسط یک وسیله نقلیه مسدود شده است، علائم مثبت کاذب در سمت راست پارکینگ قابل مشاهده است. ( ج ، ز ) کامیون در یک بزرگراه، علامت گذاری جاده را در یک تصویر مسدود می کند. ( d , h ) موارد مثبت کاذب ناشی از وسایل نقلیه در تصویر دیگر شناسایی نمی شوند.

شکل 8. نتایج اصلاح سه بعدی خط کشی جاده برای چهار سایت آزمایشی. تصاویر سمت چپ ( a , c , e , g ) کامل بودن اصلاح سه بعدی و تصاویر سمت راست ( b , d , f , h ) نمای سه بعدی از نقاط علامت گذاری جاده (نقاط آبی) که بر روی DSM قرار گرفته اند را نشان می دهد. در نقاط سبز همه الزامات برآورده می شود و اصلاح سه بعدی همگرا می شود. بقیه نقاط علامت گذاری جاده قرمز هستند.

شکل 9. جزئیات اصلاح سه بعدی: بسیاری از نقاط در فضاهای پارکینگ و گذرگاه های شهری پیچیده الزامات را برآورده نمی کنند، در نتیجه کامل بودن کم ( a , b ) است، تقریباً تمام نقاط خط کشی جاده در اصلاح سه بعدی حتی در خط کشی های دوتایی همگرا می شوند. یا در انسداد وسایل نقلیه. ج ) کامل بودن در بزرگراه ها.

شکل 10. ( الف ) نمای سه بعدی سطح جاده مسطح. نقاط سه بعدی تصفیه شده روی DSM پوشانده می شوند. ( ب ) مقطع سطح جاده مسطح، با شش خط که نقاط سه بعدی تصفیه شده را به رنگ قرمز و سطح DSM را به رنگ خاکستری نشان می دهد. ( ج ) ریشه میانگین مربع (RMS) در ارتفاع بسته به تعداد تصاویر استفاده شده برای اصلاح.

مقالات داخلی و بین المللی