بازسازی سه بعدی نمای ساختمان با استفاده از یادگیری عمیق

خلاصه

در سال‌های اخیر، پیشرفت‌ها در سخت‌افزار کامپیوتر، الگوریتم‌های رندر گرافیکی و بینایی کامپیوتری، امکان استفاده از بازسازی‌های سه بعدی ساختمان را در زمینه‌های مرمت سازه‌های باستان‌شناسی و برنامه‌ریزی شهری فراهم کرده است. این مقاله به بازسازی مدل های سه بعدی واقع گرایانه از نمای ساختمان ها در محیط شهری برای میراث فرهنگی می پردازد.

رویکرد پیشنهادی توسعه‌ای از کار قبلی ما در این موضوع تحقیقاتی است که با تعریف و بهره‌برداری از رابطه بین تصویر استریوسکوپی و داده‌های تاکئومتری، روشی را برای بازسازی دقیق نما سه بعدی واقعی معرفی می‌کند. در این کار، ما معماری‌های شبکه عصبی عمیق شناخته‌شده را در زمینه‌های تقسیم‌بندی تصویر و پیش‌بینی عمق تصویر تک، برای وظایف تشخیص عناصر ساختاری نما، مجدداً مورد استفاده قرار می‌دهیم.

کلید واژه ها:

بازسازی نما سه بعدی ; یادگیری عمیق ؛ بینایی کامپیوتری ؛ داده های جغرافیایی مرجع

1. معرفی

تمایز مداوم تعداد و ویژگی‌های معماری ساختمان‌ها در یک شهر، ضرورت مستندسازی ساختمان به منظور سازمان‌دهی، برنامه‌ریزی و کنترل بهتر مشخصات سازه‌ای هر شهر را برجسته کرده است. استفاده از بازسازی های سه بعدی (3 بعدی) فوتورالیستی ساختمان ها امکان مستندسازی ویژگی های معماری (ظاهر) هر ساختمان را فراهم می کند. هنگامی که با یک مرجع دقیق از مکان و ابعاد سازه همراه است، یک نمای کلی از تمام ویژگی های ساختمان ارائه می دهد. با این حال، تولید بازسازی‌های سه‌بعدی عکس‌واقعی سه‌بعدی ساختمان یک کار چالش‌برانگیز است زیرا طرح‌های نمای ساختمان از نظر تعداد و پیچیدگی معماری اجزای ساختاری آن‌ها متفاوت است. این ویژگی در شهرهای قدیمی‌تر که در آن طرح‌های ساختمان‌های تاریخی و مدرن با هم وجود دارند و دهه‌ها روند طراحی معماری را در بر می‌گیرد، به یک مسئله جدی تبدیل می‌شود. یک رویکرد بازسازی خودکار نمای ساختمان سه بعدی ایده آل که به منظور ارائه بازسازی های نما سه بعدی با عکس واقع گرایانه برای مستندسازی ساختمان طراحی شده است، باید استحکام و انعطاف پذیری را در برابر ویژگی های مختلف طراحی نشان دهد و تا حد امکان از نظر منابع و هزینه محاسباتی کارآمد باشد.

در طول دهه گذشته، رویکردهای بازسازی سه بعدی ساختمان های متعددی توسعه یافته اند که از فناوری های اسکن لیزری زمینی [ 1 ، 2 ] و فتوگرامتری برد نزدیک [ 3 ، 4 ] برای تولید نقشه های نمای ساختمان و ابرهای نقطه سه بعدی استفاده می کنند، که وقتی به طور مناسب با هم ترکیب شوند. قادر به ایجاد بازسازی های واقعی واقعی از سازه است. از بین دو جهت، بیشترین استفاده از فناوری اسکن لیزری [ 5 ] است.]، به دلیل چگالی ابرهای نقطه سه بعدی تولید شده و دقت در تخمین ابعاد نسبی و همچنین جزئیات اجزای نمای ساختاری ساختمان، به نام LIDAR (تشخیص و محدوده نور) شناخته می شود. با این وجود، استفاده از داده‌های اسکن لیزری به تنهایی برای تولید عکس‌های واقعی و با دقت بالا کافی نیست. این فناوری به شدت مستعد وجود شکاف در امتداد نقاط لیزری است که به اثرات اعوجاج لیزر ناشی از سطح یا مواد نسبت داده می شود. این شکاف ها منجر به اعوجاج های بازسازی در قالب جابجایی های موقعیتی بین موقعیت های لبه سازه نمایش داده شده و واقعی می شود. علاوه بر این، برای به دست آوردن نتایج واقعی عکس و زمین مرجع، بافت ها باید از تصاویر به مدل های هندسی نگاشت شوند [ 6 ، 7 ]] و در نقاط داده ارجاع داده شده مربوطه ثبت شود. ضرورت پس پردازش داده ها، پیچیدگی محاسباتی رویکردهای مبتنی بر لیزر را افزایش می دهد. این عامل در ارتباط با هزینه بالای تجهیزات اسکن لیزری، انعطاف پذیری و در دسترس بودن گسترده سیستم های بازسازی مبتنی بر لیزر را محدود می کند.

به عنوان یک راه حل، روش های اخیر سعی کرده اند تا حد امکان اطلاعات را از حسگرهای اضافی، مانند ایستگاه های ژئودتیک یا سنسورهای دوربین نوری استخراج کنند. از بین این دو، سنسورهای تصویر به دلیل حجم زیاد داده‌های موجود، تعداد زیادی از سنسورهای در دسترس با قابلیت‌های وضوح بالا و طیف وسیع هزینه، بیشترین استفاده را داشته‌اند. داده‌های تصویر، علاوه بر منبع بافت، برای تولید ابرهای نقطه‌ای با عمق متراکم، با استفاده از رویکردی به نام ساختار از حرکت (SFM) [ 8 ] مورد بهره‌برداری قرار گرفته‌اند. سپس ابرهای نقطه محور تصویر، یا با داده‌های اسکن لیزری [ 9 ، 10 ، 11 ] ترکیب می‌شوند یا تنها از [ 12 ، 13 ] استفاده می‌شوند.] برای ساخت بازسازی های متراکم و واقعی.

در مورد نمای ساختمان، داده های تصویری به عنوان منبع اصلی اطلاعات برای تشخیص اجزای سازه ای مانند پنجره ها، درها، تاقچه ها و غیره استفاده شده است. بافت‌ها، تخمین صریح موقعیت نسبی آنها، برآورد طراحی معماری، و غیره. برای شناسایی و جداسازی عناصر ساختاری، آثار موجود در ابتدا ویژگی‌های تصویر مرتبط را شناسایی می‌کنند، یا با استفاده از توصیف‌گرهای دست‌ساز [ 14 ، 15 ، 16 ] یا اخیراً یادگیری عمیق [ 17 ، 18 ، 19]، که نشان دهنده ویژگی های ذاتی عنصر است. تشخیص نهایی مناطقی که به احتمال زیاد حاوی هر عنصر ساختاری هستند یا با آموزش طبقه‌بندی‌کننده‌های قطعی، مانند ماشین‌های بردار پشتیبان (SVM) یا همراه با یادگیری ویژگی در خط لوله سرتاسر با استفاده از Convolutional انجام می‌شود. طراحی های شبکه عصبی (CNN)

در مقایسه با رویکردهای فوق‌الذکر، کارهای فعلی و قبلی ما در مورد بازسازی نمای ساختمان سه‌بعدی واقع‌گرایانه، از معدود مواردی هستند که سعی در کنار گذاشتن وابستگی به داده‌های اسکن لیزری دارند [ 12 ، 13 ].]. چارچوب ما با ترکیب تصویر و داده‌های جغرافیایی مرجع، ویژگی‌های معنی‌دار عناصر ساختاری نما (موقعیت، ظاهر و ویژگی‌های مرتبط با عمق) را استخراج می‌کند. تخمین‌های خام سه‌بعدی نقطه-ابر، در قالبی مناسب برای وارد کردن به پلتفرم‌های رندر گرافیکی و توسعه، مانند موتور بازی Unity 3D، امکان ایجاد یک مدل سه‌بعدی مبتنی بر جغرافیای عکس واقعی از ساختار مشاهده‌شده را فراهم می‌کند. نسخه فعلی کار ما از پیشرفت‌های اخیر در زمینه تقسیم‌بندی تصویر و پیش‌بینی عمق با استفاده از یادگیری عمیق، برای افزایش استحکام و عملکرد بخش‌های مربوط به تشخیص المان نما، تخمین ویژگی‌ها و تولید نقطه-ابر عمق نمای ساختمان مبتنی بر تصویر اولیه بهره می‌برد. .

بخش های مقاله به شرح زیر سازماندهی شده است. در بخش 2 رویکرد پیشنهادی با جزئیات بیشتری ارائه می‌شود، در ابتدا مروری بر نسخه قبلی چارچوب ما ارائه می‌کند، محدودیت‌ها و اشکالات را برجسته می‌کند، سپس راه‌حل‌ها و جنبه‌های نظری اضافات/تغییرات جدید را نشان می‌دهد. بخش 3 نتایج و نظرات مربوط به عملکرد رویکرد پیشنهادی را ارائه می‌کند. در نهایت، بخش 4 نتایجی را در مورد روش پیشنهادی و بهبودهای احتمالی آینده ارائه می دهد که می تواند استحکام و عملکرد کلی را بیشتر افزایش دهد.

2. روش پیشنهادی

کار حاضر با هدف اصلاح و تقویت طراحی چارچوب، بسط کار قبلی ما در نظر گرفته می شود. ما با مروری بر رویکرد کلی معرفی شده در [ 20 ] شروع می کنیم]، با ارائه مزایا، محدودیت‌های آن و برجسته کردن بخش‌هایی از روش‌شناسی که هدف کار حاضر بهبود آن است. سهم مقاله حاضر در حذف محدودیت های رویکرد قبلی ما نهفته است. (الف) با معرفی یک معماری شبکه عصبی رمزگذار خودکار برای تخمین عمق با استفاده از یک تصویر RGB به جای طراحی دکل حسگر تصویر استریوسکوپی، که به طور بالقوه می تواند انعطاف پذیری را افزایش دهد و هزینه کلی چارچوب ما را کاهش دهد. (ب) با ترکیب یک مرحله تقسیم‌بندی نمای مبتنی بر یادگیری عمیق بر اساس شبکه‌های متخاصم مولد، که امکان تشخیص عناصر نمای مقیاس‌پذیر و قوی‌تر را فراهم می‌کند. (ج) با ادغام تکنیک‌های هندسه محاسباتی و الگوریتم‌های پردازش ابر نقطه‌ای برای تولید یک سطح سه‌بعدی بازسازی‌شده دقیق،

2.1. ادغام داده‌های تصویر استریوسکوپی و جغرافیایی مرجع برای بازسازی نمای ساختمان سه بعدی

در [ 20 ] ما یک رویکرد بازسازی ساختمان سه بعدی چندوجهی را معرفی کردیم که اطلاعات حسگرهای تصویر و نقاط کنترل زمین را ترکیب می کرد. انگیزه پشت این رویکرد از این فرض ناشی می شود که خط لوله یک سیستم بازسازی مدل ساختمانی سه بعدی می تواند ساده شده و مستقل از حسگرهای عمق مبتنی بر لیزر، با جایگزینی آنها با سیستم های حسگر تصویر استریوسکوپی برای تولید بازسازی های خام باشد. بازسازی‌ها با ترکیب تقریب سه‌بعدی با استخراج ویژگی‌های مورفولوژیکی تخمینی از داده‌های زمین مرجع و تکنیک‌های پردازش تصویر مورفولوژیکی اعمال شده بر روی تصاویر RGB، پالایش می‌شوند.

با جزئیات بیشتر، مرحله اولیه رویکرد ما شامل تولید اسکلت بیرونی نمای ساختمان موزاییکی، با استفاده از روش‌های پردازش تصویر مورفولوژیکی بود. نمای موزاییکی با دوختن چندین تصویر روی هم از ساختمان به منظور سازگاری با سازه‌های بزرگ ایجاد شد. متعاقباً، در مرحله دوم خط لوله ما، با مرتبط کردن اسکلت دوبعدی (قطعات خط متصل تولید شده از نماهای نما) از مرحله قبل با داده‌های نقطه‌ای ژئورنفرانسی موجود ساختمان، یک نقطه-ابر سه بعدی ژئو ارجاع داده شد. نقطه-ابر سه بعدی به عنوان بازسازی اولیه ساختمان سه بعدی خام عمل کرد. در مرحله سوم، بازسازی سه بعدی با ترکیب عناصر ساختاری نما، مانند پنجره ها یا درها، بیشتر اصلاح شد. که محل و برآمدگی آن با استفاده از تکنیک های پردازش تصویر ایجاد شده است. این تکنیک‌ها تشخیص و تقسیم‌بندی عناصر ساختاری از داده‌های تصویر RGB-D ارائه شده توسط حسگرهای تصویر را ممکن می‌سازد. اطلاعات عمق با استفاده از دستگاه دوربین استریوسکوپی به دست آمد. در نهایت، بازسازی 3 بعدی تولید شده با افزودن بافت‌های به دست آمده از داده‌های تصویر، بیشتر اصلاح شد. خط لوله کلی رویکرد ما در به تصویر کشیده شده استشکل 1 . برای جزئیات بیشتر در مورد روش، لطفاً به [ 20 ] مراجعه کنید.

روش پیشنهادی مدولار، ساده و کم هزینه بود. با این حال، الزامات کلیدی و محدودیت‌های بالقوه وجود داشت که باعث کاهش استحکام و قابلیت‌های آن شد. به عنوان برجسته ترین ما می توانیم در نظر بگیریم، (الف) نیاز به یک دکل استریوسکوپی برای تخمین عمق، (ب) روش دست ساز برای تشخیص و تقسیم بندی عناصر ساختاری نما، و (ج) ادغام جداگانه و غیر خودکار داده‌های برآمدگی ویژگی را در مجموعه داده‌های سه بعدی در مرحله بعدی شناسایی کرد. در این مقاله سعی داریم راه‌حل‌هایی را برای این مسائل ارائه دهیم، با هدف افزایش بیشتر استحکام، اتوماسیون و اثربخشی هزینه چارچوب خود.

2.2. تخمین عمق با استفاده از یک تصویر RGB واحد

پیشرفت‌های اخیر در یادگیری عمیق منجر به ظهور روش‌هایی شده است که راه‌حل‌هایی برای مشکلاتی ارائه می‌کردند که تا کنون بد و غیرقابل حل تلقی می‌شدند. یکی از این مشکلات تخمین عمق تصویر منفرد (SIDE) است که به عنوان یک مشکل بد در نظر گرفته می شود زیرا تعداد نامحدودی از صحنه های سه بعدی متمایز می تواند منبع یک تصویر دو بعدی باشد. با این حال، با بهره‌برداری از قابلیت‌های شبکه عصبی عمیق (DNN) روش‌های مختلفی پیشنهاد شده است که سعی در حل این مشکل، با دقت و کارایی قابل‌توجه دارد ([ 21 ، 22 ]).

به دنبال این پیشرفت ها، ما استفاده از کار لاینا و همکاران را انتخاب کردیم. [ 21 ] برای استخراج نقشه های عمق و فرموله کردن ابرهای نقطه سه بعدی مربوطه. انتخاب این رویکرد بر اساس ویژگی های زیر بود. طراحی معماری عمیق سبک وزن است، امکان آموزش انتها به انتها را فراهم می‌کند، در مجموعه داده‌های تخمین نقشه عمق هم در داخل و هم در فضای باز به امتیازات برتر دست می‌یابد. این مدل برای آن آموزش داده شد و در نهایت، به گفته نویسندگان، این مدل می تواند به عملکرد زمان واقعی دست یابد.

معماری ارائه شده توسط لاینا و همکاران. [ 21 ] بر اساس شبکه باقیمانده کاملاً کانولوشن (FCRN)، که از این پس به عنوان FCRN-Depth نامیده می شود، اساساً یک DNN رمزگذار خودکار است که از شبکه باقیمانده (ResNet-50) [ 23 ] به عنوان شبکه رمزگذار استفاده می کند، و یک معماری DNN سفارشی برای شبکه رمزگشا. با توجه به شبکه رمزگشا، نویسندگان طرح معماری را با مجموعه ای از پروجکشن بالا معرفی و ساختاربندی کردند.بلوک ها هر بلوک متشکل از دنباله‌ای از لایه‌های غیر ادغام‌شده و کانولوشن است که با اتصالات باقی‌مانده غنی شده‌اند که با افزایش اندازه نقشه‌های ویژگی، جریان اطلاعات سطح بالا را ممکن می‌سازد. این ویژگی عامل کلیدی است که معماری خاص را از طرح های رمزگشای استاندارد متمایز می کند. این تنها به لایه‌های نمونه‌برداری استاندارد متکی است تا وضوح خروجی را افزایش دهد و امکان پیش‌بینی دقیق‌تر عمق را فراهم می‌کند.

فرآیند یادگیری در FCRN-Depth شامل به حداقل رساندن اختلاف نقشه بین نقشه عمق برآورد شده و حقیقت زمین است که در مقاله با استفاده از تلفات هوبر معکوس بیان شد [ 24 ]. نویسندگان این تابع از دست دادن را به جای یک هنجار اقلیدسی کلاسیک به دلیل مشاهده توزیع سنگین مقادیر عمق در مجموعه داده‌های بررسی‌شده انتخاب کردند، که نشان داد تأثیر مقادیر مرزی یا پرت باید در نظر گرفته شود.

در نهایت، در مقایسه با استفاده از یک رویکرد استریوسکوپی، FCRN-Depth دارای مزایا و محدودیت‌های زیر است. در مورد هزینه تجهیزات ساده است که نیاز به تجهیزات به یک سنسور تصویر با وضوح بالا کاهش می یابد و هزینه کل را کاهش می دهد. علاوه بر این، از نظر کیفیت پیش‌بینی عمق، یک رویکرد استریوسکوپی منجر به برآوردهای بهتر و حتی دقیق‌تر از صحنه کلی می‌شود. با این حال، همانطور که در بخش 3 نشان خواهیم داد ، زمانی که برآوردها برای تعیین عمق نسبی عناصر ساختمانی خاص در مقایسه با ساختمان کلی استفاده می‌شوند، تفاوت تاثیر کمی برای بازسازی‌های سه بعدی ساده و در عین حال واقعی دارد.

2.3. تشخیص المان ساختاری نما

کار قبلی ما محدود به تشخیص پنجره‌ها و درها در نمای ساختمان‌ها بر اساس ویژگی‌های شکل و استفاده از پیشنهادات سایت نامزد تولید شده توسط یک روش کانتور فعال بود. به طور خاص، مشروط بر اینکه این مولفه‌های ساختاری معمولاً مستطیلی هستند، این رویکرد یک رویکرد مستطیل را با معیار جمعیت نقطه غیر صفر ترکیب کرد تا نامزدهای اجزای ساختاری مربوطه را شناسایی کند. با این حال، این رویکرد توسط فرض شکل محدود شد و برای طرح‌های نمای ساختمان خاص و تنها برای دو کلاس اجزای ساختاری خاص، پنجره‌ها و درها، بدون تبعیض صریح بین آنها اعمال شد. علاوه بر این، موفقیت تشخیص به طور گسترده تحت تأثیر خروجی مرحله پیشنهاد منطقه قرار گرفت که مبتنی بر رویکرد کانتور فعال بود [ 25 ]]. عملکرد رویکرد کانتور فعال به شدت به مرحله اولیه سازی روش و همچنین بافت نمای ساختمان بستگی دارد. بافت‌های متراکم و سنگی دیوار (عمدتاً در ساختمان‌های قدیمی‌تر یافت می‌شوند) به مناطق بیش از حد قطعه‌بندی می‌شوند، که می‌تواند الگوریتم را از تکمیل موفقیت‌آمیز تقسیم‌بندی در عدد دوره از پیش تعریف‌شده بازدارد.

به‌عنوان راه‌حلی برای محدودیت‌های ذکر شده و به منظور افزایش استحکام، انعطاف‌پذیری برای استقرار بیشتر اجزای سازه‌ای ساختمان، تصمیم می‌گیریم از DNN برای تشخیص اجزای سازه‌ای نما استفاده کنیم. تعدادی از رویکردهای طبقه‌بندی اجزای نمای ساختمان یادگیری عمیق وجود دارد که می‌توان آنها را بر اساس طرح‌های اصلی شبکه اصلی به دو دسته تقسیم کرد. دسته اول شامل رویکردهایی است که از یک طبقه بندی پیکسلی پیروی می کنند که از طرح های شبکه رمزگذار خودکار برای انجام بخش بندی معنایی استفاده می کند ([ 19 ، 26 ]). روش دوم شامل رویکردهایی است که مشکل را به عنوان یک کار تشخیص نمونه مجدداً فرموله می‌کند و شبکه‌های عصبی تشخیص شی و بخش‌بندی تصویر را مجدداً با استفاده از یادگیری انتقال به کار خاص تغییر می‌دهد.27 ]). با این حال، این جهت یادگیری منعطف نیست و به مجموعه داده‌های موجود مربوط نمی‌شود، زیرا شبکه‌های عصبی مبتنی بر تشخیص نیازمند حاشیه‌نویسی جعبه مرزی برای هر کلاس جزء ساختاری هستند، مشخصه‌ای که در مجموعه داده‌های بخش‌بندی اجزای نمای ساختمان موجود وجود ندارد.

برای رهایی از چارچوب خود از محدودیت حاشیه‌نویسی جعبه محدود کننده نمونه و افزایش انعطاف‌پذیری یادگیری آن، جهت مدل‌سازی دسته اول را دنبال کردیم. برای این منظور، ما استفاده از معماری شبکه متخاصم مولد (GAN) را انتخاب کردیم که تصویر مولفه نما را تولید می‌کند. چنین شبکه‌ای نیازی به حاشیه‌نویسی جعبه محدود یا برچسب ندارد و می‌تواند به راحتی برای کارهایی که شامل نگاشت داده‌ها به فضاهای با ابعاد پایین‌تر است، آموزش داده شود، مانند مورد ما از یک تصویر RGB دو بعدی تا تعداد محدودی از کلاس‌ها. علاوه بر این، در مقایسه با طرح‌های رمزگذار خودکار جریان اصلی، نیازی به ادغام روش‌های پیچیده deconvolution مانند پیچش‌های متسع ([ 26 ]) یا معرفی اشکال از پیش تعریف‌شده در تابع از دست دادن یادگیری ([ 19 ]) ندارد.]) برای تولید تقسیم بندی دقیق برای مشکل تجزیه نما.

به جای طراحی و آموزش از ابتدا یک GAN برای وظیفه تولید تصاویر بخش‌بندی اجزای نمای ساختمان، ما استفاده از معماری Pix2Pix GAN را انتخاب کردیم [ 28 ]. طراحی شبکه و مشخصات لایه با تغییرات جزئی که در بخش پیگیری ارائه شده است، یکسان حفظ شد تا خروجی شبکه را با کار خاص تطبیق دهد. به طور خلاصه، Pix2Pix، مانند هر GAN، از دو شبکه فرعی تشکیل شده است، (الف) شبکه ژنراتور ، G ، که یک شبکه رمزگذار خودکار است که وظیفه آن تولید یک تصویر بخش‌بندی نمای ساختمان به مجموعه کلاس مورد نظر، با ورودی است. تصویر خام RGB، و (ب) شبکه تشخیص دهنده ، D، که یک DNN نسبتاً ساده است که با تصویر تقسیم‌بندی نمای ساختمان ایجاد شده درج می‌شود و وظیفه آن تصمیم‌گیری واقعی یا جعلی بودن این تصویر (یعنی ایجاد شده توسط شبکه دیگری) است. هدف در GAN فریب دادن متمایز کننده است و فرآیند یادگیری شامل به حداقل رساندن ضرر زیر است:

(1)

از دست دادن GAN از دو جزء تشکیل شده است: (الف) از دست دادن داده ،، که هدف آن آموزش شبکه ژنراتور برای تولید خروجی برای طبقه بندی آن به عنوان واقعی، و (ب) از دست دادن تنظیم ،، معمولاً یک هنجار L1 یا L2 است که هدف آن این است که خروجی ژنراتور را وادار کند که تا حد امکان به یک ظاهر واقعی/منتظره از تصویر حقیقت زمین نزدیک شود.

برای وظیفه ما، Pix2Pix از ابتدا با استفاده از پایگاه داده تصویر eTRIMS [ 29 ]، که شامل هشت کلاس است، یعنی آسمان، ساختمان، پنجره، در، پوشش گیاهی، ماشین، جاده ، و سنگفرش ، بازآموزی شد که سه طبقه از آن‌ها به آن تعلق دارند. عناصر نما ساده است که می‌توانیم eTRIMS را با هر مجموعه داده نما جایگزین کنیم تا تعداد کلاس‌های مؤلفه‌ای که باید شناسایی شوند را افزایش یا کاهش دهیم. به عنوان مثال، CMP Façade Database [ 30 ]، می تواند به عنوان جایگزین بهتری در نظر گرفته شود زیرا عمدتاً از کلاس های عناصر نما تشکیل شده است.

استفاده از بخش بندی نمای Pix2Pix در یک سیستم بازسازی خودکار نما سه بعدی

برای اینکه یک سیستم بازسازی نمای ساختمان سه بعدی خودکار اطلاعات بازسازی واقعی و واقعی را تولید کند، ابعاد نسبی و برآمدگی هر عنصر نما در سطح نمونه باید در دسترس باشد. در یک روش یادگیری عمیق، یک شبکه تشخیص شی مبتنی بر نمونه، مانند Mask-RCNN [ 31]، می تواند پس از تقسیم بندی پیکسلی معماری Pix2Pix گنجانده شود. در مقایسه با طرح‌های آشکارساز نمونه دست‌ساز کلاسیک، یک DNN تشخیص شی مبتنی بر نمونه دقیق‌تر و انعطاف‌پذیرتر است، به منظور آموزش چنین معماری‌های شبکه‌ای، حاشیه‌نویسی جعبه محدودکننده مورد نیاز است. با این حال، اکثر مجموعه داده‌های تقسیم‌بندی نمای موجود چنین اطلاعاتی را ارائه نمی‌کنند. از آنجایی که تعداد کلاس‌های نمونه و ویژگی‌های مورفولوژیکی آن‌ها (شکل و هندسه) محدود است (درها، پنجره‌ها و تاقچه‌ها دارای طرح‌های محدود و هندسه شکل خاصی هستند)، ما طرح آشکارساز دست‌ساز کلاسیک را که در کار قبلی خود معرفی کردیم، حفظ کردیم. 20 ].]. طراحی ما یک رویکرد تشخیص لکه را با رویکرد اتصال مستطیل، تحت فرض شکل مستطیل عنصر، ترکیب می‌کند تا نمونه‌های موجود را برای هر کلاس عنصر نما جدا کند.

2.4. ایجاد نمای سه بعدی با ویژگی Georeferenced Infused

رویکرد قبلی با ادغام منابع داده ناهمگن در گردش کار سروکار داشت. یک طرح نقشه برداری به منظور ترکیب داده های تصویر دو بعدی با اطلاعات فضایی سه بعدی، که شامل ایجاد یک فضای ساختگی برای کمک به اختصاص مختصات سوم (عمق) بود، استفاده شد. علاوه بر این، گنجاندن تخمین برجستگی مبتنی بر عمق در مرحله بعد، در مجموعه داده‌های سه بعدی اسکلت ساختمانی پیشرفته که قبلاً ارجاع داده شده بودند، اجرا شد. این رویکرد شامل مراحل متوالی اما در مواقعی جداگانه بود. به طور خاص، منابع اطلاعاتی متنوع نیاز به یک مرحله فرآیند همجوشی داشتند و مرحله اصلاح بیرون زدگی ویژگی داخلی به عنوان توسعه ای برای ایجاد اسکلت ساختمان انجام شد. این رویکرد اگرچه بسیار مؤثر است، اما می تواند با اتوماسیون بهبود یابد.

خط لوله بازسازی سه‌بعدی جدید بر روی پردازش نتایج DNN مبتنی بر تصویر به شیوه‌ای ماهرانه تمرکز می‌کند تا بتواند یک ویژگی ابر نقطه سه بعدی ایجاد کند. با در نظر گرفتن تخمین عمق، نتایج تقسیم‌بندی و داده‌های جغرافیایی ارجاع‌شده، پیاده‌سازی آنها را ادغام می‌کند، ساختار سه بعدی را در طول فرآیند اصلاح می‌کند و در عین حال تلاش می‌کند سطح بالایی از اتوماسیون را با حداقل مداخله خارجی حفظ کند.

2.4.1. شناسایی خودکار ویژگی های شناسایی شده در یک مجموعه داده یکپارچه

در مقایسه با رویکرد قبلی، معماری‌های یادگیری عمیق دامنه برآوردهای تولید شده را با داده‌های تشخیص عناصر ساختاری، عمق و برآمدگی در دسترس افزایش داده‌اند. این جنبه این فرصت را فراهم می کند تا از ابرهای نقطه سه بعدی مبتنی بر عمق، که به عنوان مبنای فضایی بازسازی استفاده می شود، بهره ببریم. هدف ما این است که از این مجموعه داده‌های سه‌بعدی شکل‌گرفته بهره‌برداری کنیم تا نتایج تشخیص عناصر ساختاری ارائه‌شده را شامل شود، و تمام اطلاعات ویژگی‌ها را در یک مجموعه داده واحد به منظور پردازش بیشتر یکپارچه کنیم.

برای رسیدن به این هدف، از تکنیک‌های پردازش ابری نقطه‌ای و اصول هندسه محاسباتی استفاده شد. گام اولیه ما این است که نتایج تشخیص عنصر Pix2Pix را که به شکل تصویر هستند، روی ابر نقطه عمق نمایش دهیم. با بهره‌برداری از تناظرهای یک به یک عمق سه‌بعدی و موقعیت پیکسل تقسیم‌بندی، هر نقطه در ابر عمق را با پیکسل معادل در تصویر تقسیم‌بندی ارجاع دادیم. سپس اطلاعات پیکسل RGB به عنوان یک ویژگی رنگ در ابر نقطه عمق ارسال شد و مجموعه داده ای را ایجاد کرد که هم عمق و هم تخمین تشخیص عناصر ساختاری را ترکیب می کند. مرحله بعدی شامل فیلترینگ ابر نقطه ای با هدف حفظ اطلاعات ساختمان و حذف مناطق ابر نقطه ای است که متعلق به کلاس های عناصر آسمان و جاده هستند.

با توجه به اینکه مقادیر عمق در ابر اطلاعات مربوط به ویژگی‌ها را ارائه می‌کنند، تصمیم گرفتیم آن اطلاعات را با نتایج واقعی تشخیص عنصر ساختاری ترکیب کنیم و وفاداری هر دو برآورد را افزایش دهیم. هر یک از ویژگی‌های نمای واقعی به‌عنوان تجمیع تخمین تشخیص عناصر ساختاری و مقادیر عمق انتخاب‌شده در نظر گرفته می‌شود، شرایطی که منجر به شناسایی ویژگی قوی‌تر در ابر می‌شود. با استفاده از مقادیر عمق حاصل از کاربرد FCRN-Depth، ما بخش‌هایی از ابر را به‌عنوان مناطق مورد علاقه طبقه‌بندی کردیم، بر اساس محدودیت مقدار عمق مشخص، به عنوان مثال، مناطقی با مقادیر عمق بالا برای نشان دادن ویژگی‌ها در نظر گرفته شدند. با توجه به تقسیم بندی نما، یک تشخیص مبتنی بر رنگ برای شناسایی کلاس های تقسیم بندی ویژگی استفاده شد.

نتایج ترکیبی اگرچه در بزرگ‌ترین بخش با ویژگی‌های ساختاری سازگار است، اما شامل بخش‌هایی از تشخیص اشتباه است که عمدتاً به دلیل مقادیر عمق برون‌یابی شده است. اولاً، بخش‌های کوچکی در سرتاسر ابر (در موارد حتی نقاط منفرد) با مقادیر عمق زیاد وجود دارد که فرآیند شناسایی ویژگی ذکر شده قبلی را پشت سر می‌گذارند. این نقاط پرت فیلتر شده و از نتایج حذف می شوند [ 32 ]. علاوه بر این، به منظور حذف تشخیص‌های اشتباه بزرگتر (شامل بیش از چند نقطه ابری)، از تکنیک‌های هندسه محاسباتی استفاده می‌شود. به طور خاص، مجموعه داده ویژگی های شناسایی شده باقی مانده، ایجاد یک شکل آلفا را تعیین می کند، که به ما امکان می دهد پرس و جوهای هندسی را انجام دهیم [ 33]. این مجموعه داده شامل خوشه هایی است که از یکدیگر فاصله دارند، که مورفولوژی ایجاد می کند که باعث می شود شکل آلفا از مناطق جداگانه تشکیل شود که بر اساس حجم منطقه مرتب شده اند. بزرگترین مناطق، که متعلق به ویژگی ها در نظر گرفته می شوند، مشخص می شوند در حالی که بقیه از شناسایی حذف می شوند. مجموعه داده های نهایی ویژگی های نما واقعی را شبیه سازی می کند. این شناسایی فرصتی را برای پردازش ناحیه ویژگی به صورت جداگانه و اصلاح آن با تخمین برآمدگی مربوطه فراهم می کند. مجموعه داده به دست آمده با یک ویژگی رنگ متفاوت در ابر نقطه عمق متمایز می شود و شناسایی ویژگی نهایی را نشان می دهد.

2.4.2. ادغام اطلاعات معنایی مبتنی بر جغرافیا در ابر نقطه سه بعدی

یکی از جنبه های کلیدی این رویکرد کاهش پیچیدگی روش و همچنین به حداقل رساندن محدودیت های کاربردی است. تبدیل بین فضاهای فضایی، و همچنین محاسبات مختصات جداگانه، یعنی مختصات z (عمق) جدا از مختصات x و y محاسبه می شود.

در حالی که رویکردهای یادگیری عمیق ویژگی‌های دقیقی را برای ویژگی‌های ساختاری نما تولید می‌کنند، این پیشنهاد اصلاح‌شده به موضوع جزئیات معنایی متمایز در بخش‌های نما می‌پردازد که در آن اطلاعات ساختاری از تجزیه و تحلیل مبتنی بر تصویر در دسترس نیست. یعنی تغییر شکل‌های سطحی، بافت را از نواحی اطراف خود متمایز نمی‌کند و با تکنیک‌های پردازش تصویر قابل تشخیص نیستند. به عنوان مثال، دو تاقچه در هر طرف درب یک ساختمان است. اطلاعات مورد نیاز برای استخراج جزئیات سطح، البته از بررسی توپوگرافی اولیه ساختمان [ 34 ] تهیه شده است. ] به دست آمده است. نقاط جغرافیایی به دست آمده، که در قالب مختصات سیستم مرجع ژئودتیک یونان 87 (GGRS87) بیان شده است، همانطور که در [ 20 ]]، خوانش هندسی سازه را منعکس می کند و به تشکیل مش اشاره می کند. در این مطالعه موردی خاص، انتخاب داده‌های پیمایشی بر اساس معیار تأکید بر عناصر هندسی دقیق انجام شد.

ثبت بین داده های زمین مرجع و ابر نقطه عمق اجتناب ناپذیر است. برای ایجاد موجودیت های قابل مقایسه به مرحله آماده سازی داده نیاز دارد. این روش، ابر نقطه را با توجه به داده های جغرافیایی ارجاع شده با تمرکز بر افزایش سازگاری و اتوماسیون، تقویت و اصلاح می کند. به طور خاص، یک فرآیند تکراری استفاده می‌شود، که در آن برای هر نقطه در ابر عمق، فاصله تا نزدیک‌ترین نقطه جغرافیایی مرجع محاسبه می‌شود. سپس ابر نقطه عمق با توجه به آن فواصل دوباره محاسبه می شود. این فرآیند به طور مداوم اجرا می شود، زیرا هر بار که موقعیت های نقطه عمق تغییر می کند، منجر به محاسبه فاصله به روز شده تا نزدیکترین نقطه ژئو ارجاع شده جدید می شود. در هر تکرار، ابر عمق از نظر مکانی مورفولوژی داده های جغرافیایی ارجاع شده را تقریب می زند.

موضوعی که از پیاده سازی ناشی می شود، جهت گیری تغییر موقعیت هر نقطه ابری است. مقدار فاصله باید علامت گذاری شود که جهت مکانی تغییر نقطه را نشان می دهد. این نگرانی در تغییر موقعیت ابعاد x,y هر نقطه آشکار می شود، زیرا بعد z (عمق) در مناطق غیر مشخصه تقریباً همیشه جهت مثبت دارد. راه حل این موضوع با استفاده از الگوریتم توسعه یافته توسط Frisch D ارائه شده است. 35]. نرمال های صورت یک سطح مثلثی شده جدید ایجاد شده توسط نقاط زمین مرجع برای علامت گذاری فواصل محاسبه شده استفاده می شود تا مشخص شود نقطه ابر در کدام سمت آن سطح قرار دارد. برای هر نقطه، الگوریتم فاصله تا نزدیکترین مثلث سطح را محاسبه می کند، به همراه فاصله تا نزدیکترین راس، آنها را با هم مقایسه می کند و مقدار حداقل فاصله برمی گردد.

با توجه به تخمین‌های برآمدگی مبتنی بر یادگیری عمیق، شناسایی ویژگی در ابر نقطه عمق مرحله قبل برای اصلاح مربوطه استفاده می‌شود. به طور خاص، ویژگی قبلاً شناسایی شده، منطقه ای را که باید با افزودن برآمدگی پردازش شود، تعیین می کند. به منظور اصلاح بیشتر تقریب، داده‌های جغرافیایی ارجاع‌شده متعلق به کانتور ویژگی به‌علاوه استفاده شد. برای توضیح بیشتر، ما تعیین کردیم که کدام نقاط جغرافیایی مرجع داده های بررسی در داخل منطقه شناسایی شده قرار دارند (مجموعه های داده ثبت شده و در همان سیستم مختصات هستند) [ 36]. این داده‌های جغرافیایی ارجاع‌شده، که مشخصه را مشخص می‌کنند، مرزی را تشکیل می‌دهند که به‌عنوان فیلتری برای نشان دادن اینکه کدام نقاط شناسایی‌شده واقعاً به ناحیه ویژگی تعلق دارند، استفاده می‌شود. سپس تخمین برآمدگی به آن نقاط اضافه می شود.

2.5. خط لوله

روش پیشنهادی رویکرد قبلی را با مقابله با محدودیت‌های شکل ویژگی، نگرانی‌های هزینه و اتوماسیون از طریق استفاده از داده‌های دقیق مبتنی بر DNN و اطلاعات جغرافیایی اصلاح می‌کند. گردش کار کلی در شکل 2 نشان داده شده است . FCRN-Depth یک ابر نقطه عمق سه بعدی تولید می کند که با داده های تشخیص ویژگی Pix2Pix توسط یک به یک ارتباط بین دو مجموعه ترکیب می شود. داده های جغرافیایی ارجاع داده شده با تصحیح مکرر موقعیت مکانی نقاط سه بعدی، ابر را بیشتر اصلاح می کنند. یک الگوریتم بازسازی سطح مناسب و تکنیک‌های بافت‌سازی، مدل نمای سه‌بعدی واقعی را تولید می‌کند.

3. نتایج تجربی

این بخش نتایج تجربی را برای هر یک از جهت‌های روش‌شناختی پیشنهادی به سمت اصلاح چارچوب ما ارائه می‌کند. در آزمایش‌های خود، عملکرد هر روش را در مجموعه داده‌های شناخته شده و در نهایت در دو مطالعه موردی ارزیابی می‌کنیم.

این مطالعات موردی شامل دو سازه ساختمانی واقع در شهر Chania، در استان کرت، یونان است. اولین ساختمان مربوط به یک سازه مدرن است که در محوطه دانشگاه فنی کرت واقع شده است که ویژگی های رنگی یکنواخت نما و سطوح صاف را نشان می دهد که در این مطالعه ساختمان مدرن نامیده می شود. برخلاف مطالعه موردی دوم، به یکی از بناهای معروف نئوریا ، یک بنای تاریخی ساخته شده در زمان اشغال کرت (حدود قرن پانزدهم) توسط ونیزی ها، به نام نئوریا اشاره دارد. این بنای خاص شامل نمای دیوارهایی با بافت سنگی، با سطوح نامنظم و درشت است. تصاویر نمونه در شکل 3 a,d نشان داده شده است.

مجموعه نهایی آزمایش‌های ما شامل ادغام روش‌های جدید در چارچوب کلی، و مقایسه، از نظر کیفیت، بازسازی ساختمان سه بعدی نهایی با بازسازی تولید شده توسط کار قبلی ما است [ 20 ].

3.1. مشخصات آموزشی DNN

قبل از اینکه به ارائه و اظهار نظر نتایج تجربی بپردازیم، ابتدا مروری کوتاه بر تغییرات و مشخصات آموزشی که برای مدل های یادگیری عمیق ذکر شده در قسمت قبل دنبال شد، خواهیم داشت. با توجه به پیش‌بینی عمق، ما از وزن‌های از پیش آموزش داده شده FCRN-Depth [ 21 ] در مجموعه داده Make3D [ 37 ] استفاده کردیم.]. این مجموعه داده از تصاویر صحنه در فضای باز تشکیل شده است که اکثر آنها نمای ساختمان هستند که مدلی ایده آل برای مورد مطالعه ما است. علاوه بر این، داده‌های عمق با سیستم‌های LiDAR انتخاب شدند تا تخمین‌های نقشه عمق متراکم توسط مدل تولید شود. با توجه به جنبه‌های کلی معماری عمیق، ورودی داده‌های تصویر RGB با رزولوشن 304 × 228 پیکسل است و وضوح نقشه عمق خروجی 160 × 128 است. با استفاده از درون یابی دو خطی، خروجی را به 256 × 256 پیکسل، مشابه خروجی Pix2Pix، نمونه برداری کرد.

همانطور که قبلاً گفته شد، در مورد تقسیم‌بندی نما و تشخیص عناصر نما، Pix2Pix را به eTRIMS بازآموزی می‌کنیم. بازآموزی با اندازه دسته ای تنظیم شده روی 4 نمونه در هر دسته، و برای 15K دوره، با افزایش داده ها (اثرات چرخش، جابجایی و زوم) و با استفاده از بهینه ساز Adam با نرخ یادگیری 0.0002 انجام شد.

3.2. نقشه عمق و برآورد برآمدگی

این بخش فرعی نتایج تجربی استفاده از FCRN-Depth را در مطالعات موردی ما ارائه می‌کند. شکل 3 تخمین های نقشه عمق را با استفاده از FCRN-Depth برای ساختمان های مدرن و ساختمان های Neoria و همچنین ابرهای نقطه مربوطه نشان می دهد. ما می‌توانیم مشاهده کنیم که FCRN-Depth تخمین‌های متراکمی را با یک ثبات نسبی مرتبط با ساختار بین مقادیر عمق پیکسلی ارائه می‌کند.

ما می‌توانیم مشاهده کنیم که در مورد ساختمان مدرن، تخمین نقشه عمق FCRN-Depth تحت تأثیر وجود اعوجاج طرح‌ریزی پرسپکتیو، به دلیل زاویه دید مایل و همچنین اندازه سازه است. این نوع اعوجاج در موارد عکس سازه های بزرگ رایج است [ 38]. آزمایش‌های ما نشان می‌دهد که از بین بردن این اعوجاج و بررسی اضلاع مجزای ساختمان به نظر می‌رسد تخمین نقشه عمق FCRN-Depth را بهبود می‌بخشد. این بسیار قابل توجیه است زیرا FCRN-Depth با تصاویر نمای ساختمان از Make3D آموزش داده شده است که اضلاع منحصر به فرد رو به جلو را به تصویر می کشد. به منظور تصحیح اعوجاج پرسپکتیو برای یک تصویر چند نما از یک ساختمان، ما به صورت دستی نقاط گوشه ای را برای هر نمای خاص تعریف کردیم و سپس تصویر را بر اساس تبدیل هندسی تخمینی محاسبه شده با استفاده از جفت نقطه کنترل (گوشه های انتخاب شده به صورت دستی) برش دادیم و بسته بندی کردیم. و متوازی الاضلاع مستطیل ایده آل) که اعوجاج پرسپکتیو را کاهش می دهد.

شکل 4 بهبود برآورد نقشه FCRN-Depth را برای مورد ساختمان مدرن نشان می دهد. ما می‌توانیم مشاهده کنیم که علیرغم بهبود آشکار در پیش‌بینی عمق، تخمین‌های عمق در مورد عناصر نما که قبلاً نادیده گرفته شده‌اند، مانند مورد پنجره کوچک زیر دهانه پنجره اصلی در نمای سمت راست ساختمان. علاوه بر این، با فرمول‌بندی مجدد مسئله تخمین عمق تصویر چند نما به یک مسئله تخمین عمق خاص، دقت برآورد عمق کلی را برای عناصر نما افزایش می‌دهد.

در مقایسه با نقشه‌های عمق تولید و استفاده شده در کار قبلی ما، تخمین‌های FCRN-Depth متراکم‌تر هستند و انسجام ساختاری پیکسل‌های متعلق به عناصر نما را به مقادیر عمق آن‌ها تقسیم می‌کنند. این دو عامل در پاراگراف بعدی ارائه خواهند شد که منجر به تخمین بهتر برآمدگی برای عناصر نما می شود. با این حال، نقشه‌های عمق مشتق‌شده در این مرحله را نمی‌توان برای بازسازی‌های اولیه سه‌بعدی استفاده کرد، زیرا تخمین‌های ارزش عمق بسیار دقیق و سازگار نیستند، به‌ویژه در قسمت‌های اجزای ساختمان اسکلتی. این محدودیت با ادغام داده های جغرافیایی ارجاع شده کاهش می یابد.

برآورد برآمدگی عنصر نما : در کار قبلی ما، ویژگی برجستگی برای هر یک از عناصر نمای شناسایی شده بر اساس نقشه عمق تولید شده توسط دکل حسگر تصویر استریوسکوپی مشتق شده است. بیرون زدگی یک عنصر نما، مانند پنجره، به تفاوت عمق نسبی بین دیوار ساختمان و عنصر نما اشاره دارد. این اطلاعات مکمل مکان 2 بعدی عناصر نما است که از مرحله تقسیم بندی نما و مرحله تشخیص المان به دست می آید و برای ارائه بازسازی واقعی تر به مدل سه بعدی نهایی ادغام می شود. اختلاف عمق بر اساس مقدار میانگین عمق پیکسل‌های متعلق به عناصر نما و پیکسل‌های متعلق به دیوار ساختمان در یک ناحیه همسایه با منطقه عنصر نما (آستانه تنظیم شده روی پیکسل) محاسبه می‌شود. 14].

بر اساس بهره برداری فوق از نقشه عمق، در جدول 1 ما دقت تخمین اختلاف عمق نسبی را با استفاده از (الف) تخمین عمق استریوسکوپی همراه با یک اتصال مستطیلی برای تشخیص عناصر نما، و (ب) عمق را مقایسه می کنیم. نقشه توسط FCRN-Depth همراه با ماسک‌های تقسیم‌بندی عناصر نما که توسط Pix2Pix تولید می‌شوند، برخلاف حقیقت زمین. آزمایش‌های ما فقط در مورد ساختمان Neoria اعمال شد، زیرا ساختمان مدرن دارای پنجره‌های واقعی با برآمدگی محدود نیست.

ما می‌توانیم مشاهده کنیم که تخمین‌های برآمدگی ایجاد شده با استفاده از نقشه عمق توسط دکل حسگر تصویر استریوسکوپی منجر به میانگین 0.038 متر انحراف میانگین مطلق از موارد حقیقت زمین در مورد عناصر نمای بررسی شده (پنجره‌ها) می‌شود.

متر برای درب Neoria. علاوه بر این، به شدت تحت تأثیر تأثیرات اعوجاج پرسپکتیو قرار می‌گیرد، که در افزایش انحرافات برآورد برای موارد پنجره بالایی مشهود است. در مقابل، رویکرد مبتنی بر یادگیری عمیق منجر به انحرافات کمتری می‌شود که به طور کلی می‌تواند به مقیاس‌های ادغام برآمدگی بهتر در مدل بازسازی‌شده سه بعدی منجر شود.

در نتیجه، آزمایش‌های ما برتری رویکرد مبتنی بر یادگیری عمیق را در مقایسه با فرآیند تخمین عمق مبتنی بر استریوسکوپی از نظر استحکام تخمین، سادگی و انحراف تخمین نسبی در مقایسه با حقیقت زمینی نشان می‌دهند. این مشاهدات مطابق با نیاز سنسور تک دوربین، عدم کالیبراسیون دوربین و کاهش میزان مشخصات و محدودیت‌های فرآیند جمع‌آوری داده‌ها، منجر به در نظر گرفتن روش‌های SIDE مبتنی بر یادگیری عمیق، مانند FCRN-Depth، می‌شود. به عنوان یک انتخاب عالی و امیدوارکننده در راه توسعه یک سیستم خودکار و نسبتا اقتصادی.

3.3. تشخیص عناصر نما

با توجه به تشخیص عناصر نما، همانطور که Pix2Pix را در پایگاه داده تصویر eTRIMS بازآموزی کردیم، شبکه را به تولید تصاویر تقسیم‌بندی نما از 8 کلاس سوق دادیم که 3 مورد از آنها مربوط به عناصر ساختاری ساختمان (ساختمان، پنجره، در) است. برای بازسازی سه بعدی ما فقط این 3 کلاس را حفظ می کنیم. شکل 5 و شکل 6 تصاویر اصلی و بخش‌بندی‌های نمای مربوطه تولید شده توسط Pix2Pix را نشان می‌دهند. شکل اول تخمین‌های مجموعه تصویر آزمایشی eTRIMS را ارائه می‌کند، که برای آن تقسیم‌بندی حقیقت پایه را نیز ارائه می‌کنیم. شکل دوم تخمین های تقسیم بندی را برای موارد ساختمانی بررسی شده در مورد مطالعه ما نشان می دهد.

با توجه به خطای تخمین در مجموعه داده های تصویر eTRIMS، Pix2Pix منجر شد

امتیاز MSE که منجر به تخمین نسبتاً دقیق می شود. برای ارزیابی عملکرد، نسبت تقسیم 90:10 را دنبال کردیم.شکل 5موارد نمونه تصویری را از مجموعه آزمایشی eTRIMS نمایش می‌دهد، که همانطور که مشاهده می‌شود عملکرد بخش‌بندی بسیار نزدیک به حقیقت واقعی است. در مورد تصاویر وحشی مورد استفاده در مورد مطالعه ما، می‌توانیم مشاهده کنیم که بخش‌بندی‌های تولید شده نقشه‌برداری نسبتاً دقیقی از تصاویر RGB اصلی هستند. در واقع، می‌توان مشاهده کرد که مدل قادر به ایجاد بخش‌بندی دقیق مستقل از بافت عناصر نما است. علاوه بر این، این رویکرد در مقایسه با رویکردی که در کار قبلی ما استفاده شد، برای تبدیل‌های وابسته (تغییر، چرخش) و همچنین تأثیرات زوم قوی‌تر است. عملکرد روش برازش مستطیل به شدت تحت تأثیر اثرات زوم و تغییر دید قرار می گیرد، مشکلی که می تواند در مدل های یادگیری عمیق از طریق تقویت داده ها برطرف شود.

در نهایت، از آنجایی که روش SIDE تخمین‌های نقشه عمق متراکم را ارائه می‌کند، می‌توانیم ارتباط یک به یک بین کلاس عنصر عمق و نما برای هر پیکسل تعریف کنیم، که به پلتفرم توسعه مدل سه بعدی، مانند Unity 3D، اجازه می‌دهد تا با سه بعدی متراکم معرفی شود. ابرهای نقطه‌ای، با ویژگی‌های کلاس پیکسلی القا شده است.

نمای Pix2Pix در مقابل تقسیم‌بندی مبتنی بر رنگ و اتصال مستطیل : در این مرحله برای برجسته‌تر کردن بیشتر مزایای معرفی Pix2Pix برای مشکل تقسیم‌بندی نما، به مقایسه روش‌شناسی دنبال شده در رویکرد قبلی خود می‌پردازیم. رویکردی که در کار قبلی ما دنبال شد، همانطور که قبلاً گفته شد، با فرض شکل محدود می‌شود و بنابراین در موارد پنجره‌ها یا درهای غیر مستطیلی شکست می‌خورد. با این حال، Pix2Pix حاوی هیچ فرضی مرتبط با شکل نیست و بنابراین، توسط چنین موارد شکل محدود نمی شود. شکل 7 مقایسه بین دو رویکرد برای مورد ساختمان نمای جانبی Neoria و یک خانه روستایی معمولی واقع در انگلستان (بریتانیا) را نشان می دهد.

ما می‌توانیم مشاهده کنیم که رویکردی که در کار قبلی ما دنبال شد در تشخیص هر عنصر پنجره برای خانه بریتانیا شکست خورد. این شکست تشخیص را می توان عمدتاً به عملکرد پایین روش کانتور فعال قبل از رویکرد برازش مستطیل نسبت داد، و وظیفه آن تولید پیشنهادهای منطقه مستطیل نامزد معرفی شده به مرحله اتصال مستطیل است. مقداردهی اولیه ضعیف و بافت های متراکم و پیچیده به شدت بر عملکرد کلی این مرحله تأثیر گذاشت. علاوه بر این، در کار قبلی ما هیچ تبعیض آشکاری بین درها و پنجره ها وجود ندارد (یک راه حل می تواند استفاده از یک طبقه بندی کننده ماشین بردار پشتیبان مبتنی بر رنگ برای تمایز بین دو کلاس باشد). هر دوی آنها تنها بر اساس فرض شکل مستطیل یک عنصر نما در نظر گرفته می شوند.شکل 7 ، به دلیل شکل قوس درب تشخیص داده نمی شود.

از سوی دیگر، می‌توانیم مشاهده کنیم که Pix2Pix قادر است با یک ماسک نسبتاً متراکم پیکسلی برای هر عنصر نما، تشخیص دهد و بین کلاس‌های عناصر نما، حتی برای موارد دید مایل، تمایز قائل شود. با این حال، برای اینکه در یک سیستم خودکار بازسازی نمای ساختمان سه بعدی مفید باشد، باید یک مرحله تقسیم‌بندی نمونه دنبال شود تا هر نمونه از عناصر نما جدا شود. همانطور که گفته شد، یک روش ساده تشخیص حباب برای هر کلاس عنصر نما برای چنین کاری کافی است و استراتژی است که ما در نسخه فعلی چارچوب خود دنبال می کنیم.

3.4. بازسازی نما سه بعدی Georeferenced

داده‌های محاسبه‌شده مرتبط با عمق و تشخیص عنصر نما، همانطور که در بخش‌های قبلی نشان داده شد، برای کمک به تولید نمای بازسازی‌شده با ویژگی‌های بهبود یافته ترکیب شده‌اند. نتایج تجربی ادغام ویژگی های شناسایی شده در ابر نقطه غنی شده معنایی، و همچنین بازسازی سطح مش سه بعدی نهایی در بخش های فرعی زیر ارائه شده است.

3.4.1. شناسایی عناصر شناسایی‌شده Pix2Pix در مجموعه داده‌های ابر نقطه عمق

گنجاندن عناصر ویژگی شناسایی شده در مجموعه داده های ابر نقطه سه بعدی، هدف ایجاد یک مجموعه داده یکپارچه را برآورده می کند که مبنای بازسازی نما را فراهم می کند. با انتقال رنگ تقسیم‌بندی به عنوان یک ویژگی به ابر نقطه عمق، این فرصت برای ما فراهم می‌شود که فیلتر مبتنی بر رنگ را انجام دهیم و کلاس‌هایی را که به ساختار ساختمان تعلق ندارند حذف کنیم، به عنوان مثال آسمان (آبی) و جاده ( نارنجی). همانطور که قبلا ذکر شد، اتحاد نتایج تخمین مقدار تقسیم‌بندی و عمق، ویژگی‌های ساختاری را تشکیل می‌دهند. به این ترتیب داده‌های تخمین نقشه عمق می‌توانند مغایرت‌های قابل قبول تشخیص المان نما را جبران کنند. با این حال، با قرار دادن در مناطق مجموعه داده با محدودیت عمق مشخص، نویز داده به شکل دسته‌های نقطه‌ای کوچک در ابر ایجاد می‌شود. به منظور حذف آنها، پرس و جوهای هندسی با استفاده از اشکال آلفا انجام شد. شکل‌های آلفا نقاط همسایه را در خوشه‌ها گروه‌بندی می‌کنند، و به عنوان گزینه‌ای برای بررسی هر یک به طور جداگانه امکان‌پذیر است. در مطالعه موردی ساختمان Neoria، ما بزرگترین یکی از آن خوشه ها را به عنوان درب شناسایی کردیم و بقیه را حذف کردیم. شکاف هایی در ناحیه درب مشاهده می شود که ناشی از فیلتر کلاس تقسیم بندی است که بعداً در طی فرآیند مثلث بندی پر می شود. نمونه ای از این روش شناسایی ویژگی در نشان داده شده است شکاف هایی در ناحیه درب مشاهده می شود که ناشی از فیلتر کلاس تقسیم بندی است که بعداً در طی فرآیند مثلث بندی پر می شود. نمونه ای از این روش شناسایی ویژگی در نشان داده شده است شکاف هایی در ناحیه درب مشاهده می شود که ناشی از فیلتر کلاس تقسیم بندی است که بعداً در طی فرآیند مثلث بندی پر می شود. نمونه ای از این روش شناسایی ویژگی در نشان داده شده استشکل 8 . گنجاندن تخمین عمق در داده ها تشخیص ویژگی قوی تری را ایجاد می کند.

با توجه به تحلیل ساختمان مدرن، رویکرد اصلاح شده است. در آن مطالعه موردی، تخمین های تقسیم بندی Pix2Pix یک نقشه نسبتا دقیق از ویژگی های واقعی ایجاد می کند. از سوی دیگر، اعوجاج طرح ریزی شده در تصاویر تحلیل شده بر تخمین نقشه عمق تأثیر می گذارد. همانطور که در شکل 4 ب و شکل 6 ب نشان داده شده است، یک ناهمگنی در نتیجه رویه ها وجود دارد که در تجمیع مجموعه داده ها دستکاری می شود. با این حال، به دلیل دقت نتایج تقسیم‌بندی، تخمین‌های نقشه عمق اضافی تلقی می‌شوند و فیلتر رنگی بر روی ابر برای شناسایی ویژگی کافی در نظر گرفته می‌شود. نتایج فقط دارای نقاط پرت جزئی بودند که فیلتر و حذف شدند ( شکل 9).

3.4.2. فرمولاسیون مبتنی بر جغرافیای سطح نمای سه بعدی

بخش‌های نما فاقد عناصر سازه‌ای (درها، پنجره‌ها و غیره)، که فراتر از محدوده فرآیند تشخیص ویژگی هستند، حاوی اطلاعات معنایی نیز هستند، به ویژه در موارد ساختمان‌های قدیمی، مانند مطالعه موردی Neoria. استخراج این اطلاعات با ادغام داده های جغرافیایی مرجع در گردش کار انجام می شود. تجزیه و تحلیل ابر نقطه عمق سه بعدی مطابق با داده های جغرافیایی ارجاع داده شده نیاز به ثبت این دو مجموعه دارد و آنها را در موجودیت های قابل مقایسه تحت یک سیستم مختصات همگن تبدیل می کند. همانطور که در مطالعه قبلی ما نشان داده شد، ابر نقطه عمق سه بعدی با داده های زمین مرجع از طریق یک تبدیل فضایی که توسط معادله (4) در [ 20 ] هدایت می شود، ثبت می شود.

ابر نقطه عمق سه بعدی جغرافیایی جدید به عنوان ورودی در الگوریتم تکراری توضیح داده شده قبلی وارد می شود. حداقل فاصله علامت گذاری شده هر نقطه تا مجموعه داده های زمین مرجع پیمایش محاسبه شده و موقعیت مکانی آن بر اساس آن مجددا محاسبه می شود. هر تکرار مورفولوژی ابر را با جابجایی نقاط متناسب در فضای سه بعدی تغییر می دهد و در نتیجه نمونه های سطح سه بعدی متفاوتی ایجاد می شود ( شکل 10).). زمانی که بیشترین فاصله محاسبه شده با تکرار قبلی یکسان باشد، تکرار متوقف می شود. مشاهده شد که با توجه به نوع مقدار، یعنی مختصات GGRS87 دقت 9 اعشاری دارند، اختلاف دقیقه در فواصل محاسبه شده مانع از توقف الگوریتم می شود. بنابراین، شرط پایان با تحمل 0.5٪ از حداکثر مقدار بین بالاترین فواصل در دو عملیات آخر برآورده می شود. در شکل 10 ب، ابر نقطه غنی شده معنایی ساختمان نئوریا نشان داده شده است، جایی که وفاداری ساختاری به دست آمده است. الگوریتم 12 تکرار را برای مطابقت با شرایط پایان اجرا کرد.

در مرحله بعد، تخمین برآمدگی در فضای ابری یکپارچه می شود. اطلاعات عنصر ویژگی که قبلا شناسایی شده بود، در فضای ابری به عنوان ویژگی رنگ ارسال می شود، در حالی که منطقه مورد علاقه ایجاد می شود. پالایش ناحیه برآمده با مشخص کردن اینکه کدام نقاط جغرافیایی مرجع بررسی در داخل منطقه مورد نظر هستند، ایجاد طرح کلی آنها و متعاقبا فیلتر کردن نقاط عنصر ویژگی که خارج از منطقه مشخص شده زمین مرجع قرار می گیرند، به دست می آید. شناسایی ویژگی در شکل 8c باعث ایجاد طرح جغرافیایی مرجع می شود. به طور خاص، نقاط ابر آبی که نشان دهنده شناسایی ویژگی هستند بررسی می شوند تا مشخص شود که آیا آنها در منطقه مشخص شده جغرافیایی قرار دارند یا خیر. نقاط آبی موجود در منطقه با تخمین برآمدگی افزوده می شوند. نقاط ابری که در داخل طرح جغرافیایی ارجاع داده شده قرار دارند اما شناسایی نمی شوند (یعنی آبی نیستند) کنار گذاشته می شوند. شکل 11 نتیجه این فرآیند را نشان می دهد. ناحیه آبی که با شناسایی ویژگی مطابقت دارد، نقاط ارجاع داده شده در را در بر می گیرد. فقط نقاط آبی ساکن در ناحیه شکل‌گرفته شده با ژئورسفرنس بیرون زده هستند.

داده های تصویر تحریف شده مطالعه موردی ساختمان مدرن، مانع از اجرای صحیح گردش کار پیشنهادی می شود. اعوجاج پرسپکتیو تصویر در شکل 4 a که در ابر نقطه عمق سه بعدی عبور داده شده است ( شکل 9 a)، نگاشت صحیح جغرافیایی را محدود می کند. این به دلیل این واقعیت است که در حالی که داده های ورودی دو ضلع عمود بر یک ساختمان را نشان می دهند، ابر نقطه عمق در واقع یک سطح مسطح است. دلیل دیگر این است که موازی و زوایای عناصر سازه به دلیل موقعیت دید حفظ نمی شود و از تخصیص صحیح مختصات جغرافیایی بر روی آنها جلوگیری می کند. با دور زدن این نگرانی ها و برای استدلال، ابر شکل 9a به عنوان ورودی الگوریتم تکراری تجزیه شد. نگاشت نادرست، و همچنین ناهماهنگی نقاط جغرافیایی ارجاع شده با ابر نقطه (محاسبات فاصله زیاد)، روند را از خاتمه منع کرد و در یک حلقه ابدی قرار گرفت. تجزیه و تحلیل مطالعه موردی ساختمان مدرن تحریف شده بی نتیجه بود.

جریان کار عمدتاً بر روی نماها، یعنی سازه‌های روبه‌رو تمرکز می‌کند، بنابراین سمت جدا شده و اصلاح‌شده از نظر پرسپکتیو ساختمان ( شکل 4 ج) این فرصت را به ما می‌دهد که مورد ساختمان مدرن را بررسی کنیم. ابر عمق شکل 9b به عنوان ورودی الگوریتم تکرار شونده تجزیه می شود. جنبه قابل توجه آن مورد، این است که الگوریتم به عنوان یک اصلاح ابر نقطه عمق عمل می کند. از آنجایی که ما یک ساختمان مدرن با نمای بیرونی صاف و مسطح را بررسی می کنیم، نقاط بررسی شده نما با یک سطح صاف منطبق است. فرآیند تکراری جابجایی نقاط ابر با توجه به داده های جغرافیایی مرجع، منجر به بهبود تخمین عمق اولیه می شود. بنابراین، سطوح بدون عناصر ساختاری و ناهماهنگی عمق، پالایش می شوند. الگوریتم پس از 10 تکرار خاتمه یافت. دو ویژگی مشخص در آن نما وجود دارد: پنجره عریض اصلی و پنجره کوچک زیر. برای ادامه، باید دو شناسایی را از هم جدا کنیم که با استفاده از اشکال آلفای ذکر شده به دست می آید. شکل آلفای نقاط نشان دهنده ویژگی های شناسایی شده (نقاط آبی)، شامل دو ناحیه است. تمایز این نواحی، اصلاح برآمدگی را هدایت می کند. طرح کلی نقاط جغرافیایی مرجع که در نواحی قرار دارند، نقاط ابری را فیلتر می کند تا برآمده شوند. نکته قابل توجه دیگر در این مورد، توخالی بودن هر دو پنجره است. این بدان معناست که نقاط را نباید با تخمین برآمدگی افزایش داد، بلکه نباید حذف کرد. با این حال، حذف نقاط ویژگی شکاف هایی را در ابر نقطه ایجاد می کند که در طول فرآیند مثلث پر می شود. برای دور زدن این موضوع، تصمیم گرفته می شود به جای حذف نقاط مشخصه، با مقدار دلخواه برآمده شوند ( طرح کلی نقاط جغرافیایی مرجع که در نواحی قرار دارند، نقاط ابری را فیلتر می کند تا برآمده شوند. نکته قابل توجه دیگر در این مورد، توخالی بودن هر دو پنجره است. این بدان معناست که نقاط را نباید با تخمین برآمدگی افزایش داد، بلکه نباید حذف کرد. با این حال، حذف نقاط ویژگی شکاف هایی را در ابر نقطه ایجاد می کند که در طول فرآیند مثلث پر می شود. برای دور زدن این موضوع، تصمیم گرفته می شود به جای حذف نقاط مشخصه، با مقدار دلخواه برآمده شوند ( طرح کلی نقاط جغرافیایی مرجع که در نواحی قرار دارند، نقاط ابری را فیلتر می کند تا برآمده شوند. نکته قابل توجه دیگر در این مورد، توخالی بودن هر دو پنجره است. این بدان معناست که نقاط را نباید با تخمین برآمدگی افزایش داد، بلکه نباید حذف کرد. با این حال، حذف نقاط ویژگی شکاف هایی را در ابر نقطه ایجاد می کند که در طول فرآیند مثلث پر می شود. برای دور زدن این موضوع، تصمیم گرفته می شود به جای حذف نقاط مشخصه، با مقدار دلخواه برآمده شوند ( حذف نقاط مشخصه باعث ایجاد شکاف هایی در ابر نقطه می شود که در طی فرآیند مثلث سازی پر می شود. برای دور زدن این موضوع، تصمیم گرفته می شود به جای حذف نقاط مشخصه، با مقدار دلخواه برآمده شوند ( حذف نقاط مشخصه باعث ایجاد شکاف هایی در ابر نقطه می شود که در طی فرآیند مثلث سازی پر می شود. برای دور زدن این موضوع، تصمیم گرفته می شود به جای حذف نقاط مشخصه، با مقدار دلخواه برآمده شوند (شکل 12 )، بنابراین فرآیند مثلث بندی شکاف های اشتباه قابل قبول ایجاد شده از فیلتر رنگی رویه شناسایی را پر می کند و ساختار ویژگی را حفظ می کند ( شکل 13 a). پس از مثلث بندی سطح، ناحیه مش متعلق به ویژگی ها حذف می شود ( شکل 13 ب).

بازسازی نقطه ابر به مش: ابر نقطه غنی شده از نظر مورفولوژیک متعاقباً به عنوان ورودی در یک الگوریتم بازسازی سطح تجزیه می شود. با در نظر گرفتن الگوریتم بازسازی سطح پواسون [ 39 ] به عنوان جایگزینی برای مثلث سازی دلونی [ 40 ]، در نهایت رد شد زیرا برای سطوح سه بعدی بسته با حداقل وضوح مناسب تر است. Delaunay زاویه ها را حفظ می کند و برای سطوح مسطح تر [ 41 ] مناسب تر است، همانطور که در این مطالعه وجود دارد. نتایج مبتنی بر یادگیری عمیق رویکرد فعلی، همراه با الگوریتم تکراری، به تحقق مجموعه داده‌های دقیق کمک می‌کند که به نوبه خود منجر به مثلث‌سازی دلونی با وفاداری هندسی بالا می‌شود که نیاز به حداقل پالایش پس از پردازش دارد.شکل 13 و شکل 14 ).

نقشه بافت با شبیه سازی سطح واقعی جریان کار را به پایان می رساند. روش دو مرحله ای (همچنین در [ 20 ] اجرا شده است) شامل نقشه برداری پراکنده است، که رنگ اصلی نما را از طریق نمونه برداری تصویر و نقشه برداری معمولی تعریف می کند که با استفاده از مقادیر پیکسل RGB نمونه برداری تصویر مذکور برای جهت گیری سطح عادی، تصوری از واقع گرایی را ایجاد می کند. نرمال در طول محاسبات روشنایی در Unity 3D برای افزایش درک جزئیات سطح استفاده می شود [ 42 ] ( شکل 15 و شکل 16 ).

جریان کار بازسازی نمای فعلی در مقابل رویکرد [ 20 ]: مزایای فرآیند بازسازی نما که به تازگی مورد بررسی قرار گرفته است از طریق مقایسه با رویکرد قبلی مشهود است. فرمول بندی یک مجموعه داده یکپارچه با کاهش ادغام و تبدیل داده های متفاوت بین سیستم های مختصات مختلف بر وفاداری مدل نهایی تأثیر می گذارد. FCRN-Depth ابرهای نقطه سه بعدی را تولید می‌کند که مجموعه داده‌های اولیه را ارائه می‌کند که بر اساس آن روش‌های بررسی‌شده آزمایش و ارائه شدند. شناسایی ویژگی انجام شد و بر روی ابری که خود با توجه به کلاس‌های تقسیم‌بندی فیلتر شد و به صورت مورفولوژیکی پردازش شد، پیش‌بینی شد. نتیجه ایجاد یک مجموعه داده واحد بود که حاوی اطلاعات عمق، ویژگی و برآمدگی بود. متقابلا، رویکرد قبلی با اطلاعات دوبعدی آغاز شد که به فضای سه بعدی با مختصات سوم افزوده شده و اطلاعات فضایی یکپارچه از طریق یک سطح درون یابی تزریقی ژئو ارجاع داده شده ایجاد شد. داده‌هایی که اطلاعات معنایی سطح را تشکیل می‌دهند از ترکیبی از منابع، ابعاد x، y از داده‌های تصویر پردازش‌شده مورفولوژیکی به‌دست آمده‌اند، در حالی که بعد z از سطح درون‌یابی شده به‌دست آمده است. معرفی فرآیند مبتنی بر ابر نقطه عمق، نیاز به ایجاد و استفاده از سطح درون یابی را حذف کرد. به طور خلاصه، رویکرد قبلی اطلاعات مبتنی بر جغرافیا را تولید کرد و آن را با داده های تصویر ترکیب کرد، در حالی که روش یادگیری عمیق فعلی داده های سه بعدی را به طور کامل ارائه می کرد، پردازش مکانی و هندسی اطلاعات معنایی نما را افزایش می دهد. داده‌هایی که اطلاعات معنایی سطح را تشکیل می‌دهند از ترکیبی از منابع، ابعاد x، y از داده‌های تصویر پردازش‌شده مورفولوژیکی به‌دست آمده‌اند، در حالی که بعد z از سطح درون‌یابی شده به‌دست آمده است. معرفی فرآیند مبتنی بر ابر نقطه عمق، نیاز به ایجاد و استفاده از سطح درون یابی را حذف کرد. به طور خلاصه، رویکرد قبلی اطلاعات مبتنی بر جغرافیا را تولید کرد و آن را با داده های تصویر ترکیب کرد، در حالی که روش یادگیری عمیق فعلی داده های سه بعدی را به طور کامل ارائه می کرد، پردازش مکانی و هندسی اطلاعات معنایی نما را افزایش می دهد. داده‌هایی که اطلاعات معنایی سطح را تشکیل می‌دهند از ترکیبی از منابع، ابعاد x، y از داده‌های تصویر پردازش‌شده مورفولوژیکی به‌دست آمده‌اند، در حالی که بعد z از سطح درون‌یابی شده به‌دست آمده است. معرفی فرآیند مبتنی بر ابر نقطه عمق، نیاز به ایجاد و استفاده از سطح درون یابی را حذف کرد. به طور خلاصه، رویکرد قبلی اطلاعات مبتنی بر جغرافیا را تولید کرد و آن را با داده های تصویر ترکیب کرد، در حالی که روش یادگیری عمیق فعلی داده های سه بعدی را به طور کامل ارائه می کرد، پردازش مکانی و هندسی اطلاعات معنایی نما را افزایش می دهد. معرفی فرآیند مبتنی بر ابر نقطه عمق، نیاز به ایجاد و استفاده از سطح درون یابی را حذف کرد. به طور خلاصه، رویکرد قبلی اطلاعات مبتنی بر جغرافیا را تولید کرد و آن را با داده های تصویر ترکیب کرد، در حالی که روش یادگیری عمیق فعلی داده های سه بعدی را به طور کامل ارائه می کرد، پردازش مکانی و هندسی اطلاعات معنایی نما را افزایش می دهد. معرفی فرآیند مبتنی بر ابر نقطه عمق، نیاز به ایجاد و استفاده از سطح درون یابی را حذف کرد. به طور خلاصه، رویکرد قبلی اطلاعات مبتنی بر جغرافیا را تولید کرد و آن را با داده های تصویر ترکیب کرد، در حالی که روش یادگیری عمیق فعلی داده های سه بعدی را به طور کامل ارائه می کرد، پردازش مکانی و هندسی اطلاعات معنایی نما را افزایش می دهد.

برای کمی سازی مقایسه، ما یک ارزیابی هندسی از نمای نهایی پیشرفته معنایی [ 43 ] انجام دادیم.]. برای کنار هم قرار دادن رویکردها، ارزیابی مورد استفاده در کار قبلی را تقلید کردیم، مقایسه ای بین مدل سه بعدی بازسازی شده و داده های خام هندسی از همان نوع مورد استفاده در روش. استفاده از این ارزیابی، نه تنها می تواند بر تأثیر این فرآیند بر اطلاعات مکانی نهایی تأکید کند، بلکه بر کیفیت داده مبتنی بر یادگیری عمیق تأکید دارد. ادغام منشأهای مختلف داده می تواند خطاهایی را به همراه داشته باشد که می تواند در سراسر گردش کار انجام شود، در حالی که یک منبع داده یکپارچه تأثیر پارامترهای خارجی را به حداقل می رساند. ما مدل سه بعدی نهایی را با اندازه‌گیری‌های تاکئومتری از همان نوع مورد استفاده در گردش کار مقایسه می‌کنیم، که حقیقت زمین مرجع را در نظر گرفته‌اند. انحراف دو مجموعه داده، اثربخشی هر روش را نشان می دهد. به هر نقطه از مدل سه بعدی مقایسه شده، فاصله تا نزدیکترین همسایه در ابر داده خام مرجع جغرافیایی داده می شود. انحراف به صورت یک میدان اسکالر رنگی در سطح نما تجسم می شود.

ارزیابی وفاداری هندسی به دست آمده با رویکرد فعلی را برجسته می کند. استفاده از ابر نقطه عمق به عنوان مبنایی که اطلاعات مورفولوژیکی و مکانی را تحت یک سیستم مختصات بر روی یک مجموعه داده واحد متحد می کند، خطاهای احتمالی تبدیل منابع داده های متعدد را پاک می کند. گردش کار انجام شده بر روی ساختمان Neoria ( شکل 17 ) وفاداری ساختاری را در سراسر سطح حفظ می کند و تغییر شکل ها را در مناطق صفحه ای که در آن اطلاعات جغرافیایی ارجاع داده نشده است حذف می کند. از آنجایی که تخمین برآمدگی ویژگی درب در داده های مرجع جغرافیایی گنجانده نشده است، مشاهده انحراف در آن ناحیه را می توان از بررسی حذف کرد. دقت ویژگی در جدول 1 ارزیابی شده است.

در شکل 18 ، نتیجه گردش کار مورد ساختمان مدرن به صورت هندسی ارزیابی شده است. اگرچه توپولوژی ساختار و مشکلات در دستیابی به داده های تصویر مناسب (به دلیل اعوجاج طرح ریزی) بر نتایج تأثیر می گذارد، بهبود قابل مشاهده ای وجود دارد. مناطق با انحرافات بالا به حداقل می رسد و معرفی عناصر مبتنی بر یادگیری عمیق در فرآیند فعلی، شناسایی ویژگی های جزئی (پنجره کوچک) را که قبلاً بررسی نشده اند ممکن می سازد.

4. نتیجه گیری و کار آینده

این مقاله به عنوان بسط رویکرد قبلی ما [ 20 ] ارائه شده است، که استحکام را افزایش می دهد و محدودیت های آن را محدود می کند. استفاده از یک روش مبتنی بر یادگیری عمیق، دامنه کاربرد را گسترش می دهد و الزامات را از نظر داده هایی که باید تولید و مورد بهره برداری قرار گیرند، برآورده می کند. استفاده از FCRN-Depth هزینه ورودی را با حذف نیاز به یک دستگاه دوربین استریوسکوپی به حداقل می رساند، انحراف تخمین عمق را از حقیقت زمین حذف می کند و ابرهای داده متراکم و نسبتاً منسجمی را فراهم می کند و بازسازی مش را تسهیل می کند.

روش تقسیم‌بندی مبتنی بر GAN مفهوم فرض اولیه شکل را پاک می‌کند و عناصر ساختاری مستقل از معناشناسی بافتی را به‌طور قوی تشخیص می‌دهد، چیزی که کار قبلی ما مستعد آن بود. استفاده از شبکه Pix2Pix تعداد کلاس‌های تقسیم‌بندی را افزایش می‌دهد، تشخیص را اصلاح می‌کند و تمایز بین ویژگی‌ها را ممکن می‌سازد. به عنوان آخرین مرحله، بازسازی سه‌بعدی با ارتباط یک به یک بین داده‌های تقسیم‌بندی عمق و ویژگی، که با داده‌های georeference شده تنظیم می‌شود، وفاداری نهایی مدل را افزایش می‌دهد، کمک می‌کند.

به طور کلی، گردش کار پیشنهادی اتوماسیون، صرفه جویی و کاربرد سیستم قبلی را افزایش می دهد. با این حال، مطالعات آینده با هدف کاهش وابستگی سیستم به داده‌های georeferenced، گسترش دامنه ویژگی‌های ساختاری به‌دست‌آمده از روش‌های مبتنی بر تصویر خواهد بود. حذف مرحله ثبت داده های جغرافیایی از سیستم، اختلافات قابل قبول در کیفیت داده نهایی را کاملاً کاهش می دهد. هدف استفاده از داده های زمین مرجع تنها در قالب نقاط کنترل زمینی به عنوان گام نهایی برای ژئورجرناسیون نهایی نمای است. با توجه به استفاده از یادگیری عمیق، نتایج کار حاضر نشان‌دهنده استحکام، مقیاس‌پذیری، انعطاف‌پذیری و کاربرد این روش‌ها در تشخیص المان نما و وظایف برآورد برجستگی است. هدف کار آینده روی این وظایف، گسترش بیشتر تعداد کلاس‌های عناصر نما و همچنین دقت تشخیص، با (الف) استفاده از معماری‌های عمیق‌تر و پیچیده‌تر DNN، و (ب) بهره‌برداری و احتمالاً ترکیب بخش‌بندی عناصر مختلف نما خواهد بود. مجموعه داده هدف گسترش مجموعه نمونه آموزشی است که به معماری DNN اجازه می دهد به طیف وسیع تری از اطلاعات دسترسی پیدا کند.

در نهایت، کار آینده همچنین بر (الف) گسترش مطالعات موردی که چارچوب پیشنهادی برای آنها آزمایش می‌شود، (ب) استفاده از بازخورد تخصصی کاربر نهایی، و (ج) شامل نتایج تجربی کمی و کیفی گسترده و مقایسه‌های بین روش‌شناسی پیشنهادی و نتایج اسکن لیزری با دقت بالاتر برای موارد نمای ساختمان بزرگتر و متنوع تر است.

اختصارات

در این نسخه از اختصارات زیر استفاده شده است:

DNN	شبکه عصبی عمیق
FCRN-عمق	پیش‌بینی عمق عمیق‌تر با شبکه‌های باقیمانده کاملاً پیچیده
MSE	خطای میانگین مربعات
SFM	ساختار از حرکت
SVM ها	ماشین‌های بردار پشتیبانی

منابع

پو، اس. Vosselman, G. بازسازی نمای ساختمان با ترکیب نقاط و تصاویر لیزر زمینی. سنسورها 2009 ، 9 ، 4525-4542. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
آبمیر، ت. هارتل، اف. راینکوستر، ام. Fröhlich، C. اسکن لیزری زمینی: کاربردها در حفاظت از میراث فرهنگی و مهندسی عمران. در مجموعه مقالات کارگروه ISPRS V4، Mestre-Venice، ایتالیا، 22-24 اوت 2005. [ Google Scholar ]
معارف، من. بهاری، SZ; لطیف، ز. سلیمان، ن.ا. مدلسازی و مستندسازی بناهای تاریخی مالزی مبتنی بر تصویر Samad، AM با استفاده از فتوگرامتری دیجیتال نزدیک (DCRP). در مجموعه مقالات کنفرانس بین المللی IEEE 2013 در سیستم کنترل، محاسبات و مهندسی، پنانگ، مالزی، 29 نوامبر تا 1 دسامبر 2013. ص 424-429. [ Google Scholar ]
رینوسو، جی اف. مونکایو، ام. بارارا، دی. فتوگرامتری برد نزدیک برای مستندسازی میراث فرهنگی با استفاده از لنزهای تلسکوپی و زاویه باز اعمال شد. علم تصویربرداری J. 2014 , 62 , 387-394. [ Google Scholar ] [ CrossRef ]
تانگ، پی. هوبر، دی. آکینجی، بی. لیپمن، آر. Lytle، A. بازسازی خودکار مدل‌های اطلاعات ساختمانی ساخته شده از ابرهای نقطه‌ای اسکن شده با لیزر: مروری بر تکنیک‌های مرتبط. خودکار ساخت و ساز 2010 ، 19 ، 829-843. [ Google Scholar ] [ CrossRef ]
بکر، اس. Haala, N. استخراج ویژگی ترکیبی برای بازسازی نما. در مجموعه مقالات کارگاه ISPRS اسکن لیزری، اسپو، فنلاند، 12 تا 14 سپتامبر 2007. ص 241-247. [ Google Scholar ]
کرستن، تی. مچلکه، ک. Maziull، L. مدل سه بعدی قلعه الزباره در قطر – اسکن لیزری زمینی در مقابل تطبیق تصویر متراکم. ISPRS Int. قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2015 ، XL-5/W4 ، 1-8. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
دلارت، اف. Seitz، SM; تورپ، م. Thrun, S. ساختار از حرکت بدون مطابقت. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو (CVPR 2000)، هیلتون هد آیلند، SC، ایالات متحده آمریکا، 15 ژوئن 2000. جلد 2، ص 557–564. [ Google Scholar ]
لومان، تی. رابسون، اس. کایل، اس. بوهم، جی. فتوگرامتری با برد نزدیک و تصویربرداری سه بعدی . Walter de Gruyter: برلین، آلمان، 2013. [ Google Scholar ]
Kersten، مدل واقعیت مجازی TP از شکاف شمالی سد باستانی در مارب/یمن با ترکیب فتوگرامتری دیجیتال و اسکن لیزری زمینی برای کاربردهای باستان‌شناسی. بین المللی جی آرچیت. محاسبه کنید. 2007 ، 5 ، 339-354. [ Google Scholar ] [ CrossRef ]
کوسکا، بی. ترکیبی از اسکن لیزری و ساختار از فناوری حرکت برای ایجاد عکس‌های ارتوفتوی دقیق بیرونی و داخلی کلیسای باروک سنت نیکلاس. بین المللی قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2013 ، 40 ، 133-138. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
فریچ، دی. بکر، اس. Rothermel, M. مدلسازی سازه های نما با استفاده از ابرهای نقطه ای از تطبیق تصویر متراکم. در مجموعه مقالات بین المللی. Conf. در مورد پیشرفت در مهندسی عمران، سازه و مکانیک، هنگ کنگ، چین، 3-4 اوت 2013. صص 57-64. [ Google Scholar ]
Doulamis، A. بازسازی خودکار سه بعدی از ویدیوهای بدون ساختار با ترکیب خلاصه سازی ویدیو و ساختار از حرکت. جلو. ICT 2018 ، 5 ، 29. [ Google Scholar ] [ CrossRef ]
پاراولیداکیس، وی. باچاریدیس، ک. ساری، ف. راگیا، ل. زرواکیس، م. کاهش پیچیدگی مدل نمای ساختمان با استفاده از بینایی کامپیوتر. در مجموعه مقالات کنفرانس بین المللی IEEE 2016 در مورد سیستم ها و تکنیک های تصویربرداری (IST)، Chania، یونان، 4-6 اکتبر 2016. ص 454-459. [ Google Scholar ]
نوهاوزن، ام. König، M. تشخیص خودکار پنجره در تصاویر نما. خودکار ساخت و ساز 2018 ، 96 ، 527-539. [ Google Scholar ] [ CrossRef ]
Haugeard، JE; فیلیپ-فولیگه، اس. پرسیوسو، اف. Lebrun, J. استخراج ویندوز در نما با استفاده از هسته در نمودار خطوط. در تجزیه و تحلیل تصویر ؛ Salberg, AB, Hardeberg, JY, Jenssen, R., Eds. Springer: برلین/هایدلبرگ، آلمان، 2009; صص 646-656. [ Google Scholar ]
اشمیتز، ام. مایر، اچ. یک شبکه کانولوشن برای تقسیم بندی و تفسیر نمای معنایی. ISPRS Int. قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2016 ، XLI-B3 ، 709–715. [ Google Scholar ] [ CrossRef ]
فتح الله، ر. Vogiatzis، G. خط لوله یادگیری عمیق برای تقسیم بندی نمای معنایی. در مجموعه مقالات کنفرانس بینایی ماشین بریتانیا 2017 (BMVC)، لندن، بریتانیا، 4 تا 7 سپتامبر 2017. [ Google Scholar ]
لیو، اچ. ژانگ، جی. ژو، جی. Hoi، SCH DeepFacade: یک رویکرد یادگیری عمیق برای تجزیه نما. در مجموعه مقالات بیست و ششمین کنفرانس مشترک بین المللی هوش مصنوعی (IJCAI-17)، ملبورن، استرالیا، 19 تا 25 اوت 2017؛ صص 2301–2307. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
باچاریدیس، ک. ساری، ف. پاراولیداکیس، وی. راگیا، ل. Zervakis، M. فیوزینگ داده‌های تصویر استریوسکوپی و ارجاعی جغرافیایی برای بازسازی نمای ساختمان سه بعدی. ISPRS Int. J. Geo-Inf. 2018 ، 7 ، 151. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
لاینا، آی. روپرشت، سی. بلاگیانیس، وی. تومبری، ف. نواب، N. پیش‌بینی عمق عمیق‌تر با شبکه‌های باقیمانده کاملاً کانولوشنی. در مجموعه مقالات چهارمین کنفرانس بین المللی IEEE 2016 در مورد دید سه بعدی (3DV)، استانفورد، کالیفرنیا، ایالات متحده آمریکا، 25 تا 28 اکتبر 2016؛ صص 239-248. [ Google Scholar ]
رن، اچ. الخمی، م. لی، جی. دیپ قوی تخمین عمق تصویر تک تصویر شبکه عصبی با استفاده از درک صحنه. arXiv 2019 ، arXiv:1906.03279. [ Google Scholar ]
او، ک. ژانگ، ایکس. رن، اس. Sun, J. یادگیری باقیمانده عمیق برای تشخیص تصویر. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو، لاس وگاس، NV، ایالات متحده، 26 ژوئن تا 1 ژوئیه 2016. صص 770-778. [ Google Scholar ]
Owen, AB ترکیبی قوی از رگرسیون کمند و رج. تحقیر کردن ریاضی. 2007 ، 443 ، 59-72. [ Google Scholar ]
کاس، ام. ویتکین، ا. Terzopoulos، D. Snakes: مدل های کانتور فعال. بین المللی جی. کامپیوتر. Vis. 1988 ، 1 ، 321-331. [ Google Scholar ] [ CrossRef ]
یو، اف. کلتون، V. تجمع زمینه چند مقیاسی توسط پیچیدگی های متسع. 2015. در دسترس آنلاین: https://xxx.lanl.gov/abs/1511.07122 (در 12 مه 2020 قابل دسترسی است).
ماتیاس، م. Martinoviundefined، A.; Gool, L. ATLAS: یک رویکرد سه لایه برای تجزیه نما. بین المللی جی. کامپیوتر. Vis. 2016 ، 118 ، 22-48. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
ایزولا، پی. زو، جی. ژو، تی. Efros، ترجمه تصویر به تصویر AA با شبکه های خصمانه مشروط. در مجموعه مقالات کنفرانس IEEE در مورد دید رایانه و تشخیص الگو، هونولولو، HI، ایالات متحده آمریکا، 21 تا 26 ژوئیه 2017؛ صص 1125–1134. [ Google Scholar ]
کورچ، اف. Förstner, W. eTRIMS پایگاه تصویری برای تفسیر تصاویر صحنه های ساخته دست بشر ; گزارش فنی، TR-IGG-P-2009-01; دانشگاه بن: بن، آلمان، 2009. [ Google Scholar ]
تایلچک، آر. Šára, R. الگوهای فضایی برای تشخیص اشیاء با ساختار منظم. در کنفرانس آلمان در مورد شناسایی الگوها ; Springer: Berlin/Heidelberg, Germnay, 2013. [ Google Scholar ]
او، ک. گیوکسری، جی. دلار، پی. Girshick, R. Mask r-cnn. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، ونیز، ایتالیا، 22 تا 29 اکتبر 2017؛ صفحات 2961-2969. [ Google Scholar ]
Rusu، RB; مارتون، ZC; بلودو، ن. دوله، م. Beetz، M. به سمت نقشه های شی مبتنی بر ابر نقطه سه بعدی برای محیط های خانگی. ربات. Auton. سیستم 2008 ، 56 ، 927-941. [ Google Scholar ] [ CrossRef ]
گاردینر، جی دی. بهنسن، جی. اشکال آلفا براسی، کالیفرنیا: تعیین پیچیدگی شکل سه بعدی در ساختارهای متنوع مورفولوژیکی. BMC Evol. Biol. 2018 ، 18 ، 184. [ Google Scholar ] [ CrossRef ] [ PubMed ]
راگیا، ل. ساری، ف. مانیا، ک. بازسازی سه بعدی و تجسم جایگزین ها برای مرمت بناهای تاریخی: رویکردی جدید. در مجموعه مقالات اولین کنفرانس بین المللی IEEE 2015 در نظریه، کاربردها و مدیریت سیستم های اطلاعات جغرافیایی (GISTAM)، بارسلونا، اسپانیا، 28 تا 30 آوریل 2015. صفحات 1-9. [ Google Scholar ]
Frisch، D. فاصله بین نقطه و سطح مثلثی. 2016. در دسترس آنلاین: https://www.mathworks.com/matlabcentral/fileexchange/52882-point2trimesh-distance-between-point-and-triangulated-surface (در 3 مارس 2020 قابل دسترسی است).
موجا، م. Lowe, DG Fast تقریبی نزدیکترین همسایگان با پیکربندی خودکار الگوریتم. VISAPP 2009 ، 2 ، 2. [ Google Scholar ]
ساکسنا، ا. سان، م. Ng، AY Make3d: یادگیری ساختار صحنه سه بعدی از یک تصویر ثابت. IEEE Trans. الگوی مقعدی ماخ هوشمند 2008 ، 31 ، 824-840. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
هارتلی، آر. Zisserman، A. هندسه چند نما در بینایی کامپیوتری ، ویرایش دوم. انتشارات دانشگاه کمبریج: کمبریج، MA، ایالات متحده آمریکا، 2004. [ Google Scholar ] [ CrossRef ][ Green Version ]
کژدان، م. Hoppe, H. بازسازی سطح پواسون غربال شده. ACM Trans. نمودار. (ToG) 2013 ، 32 ، 1-13. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
Edelsbrunner, H. مثلث ها و مش ها در هندسه محاسباتی. Acta Numer. 2000 ، 9 ، 133-213. [ Google Scholar ] [ CrossRef ]
فابیو، آر. از ابر نقطه تا سطح: مسئله مدل‌سازی و تجسم. بین المللی قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2003 ، 34 ، W10. [ Google Scholar ]
راگیا، ل. ساری، ف. مانیا، ک. تجسم واقعی واقعی برای مرمت بناهای تاریخی بر اساس داده های تاکئومتری. جی. جئوگر. سیستم 2018 ، 20 ، 115-137. [ Google Scholar ] [ CrossRef ]
لاچات، ای. لندز، تی. Grussenmeyer, P. اولین تجربه با Trimble SX10 Scanning Total Station برای بررسی نمای ساختمان. بین المللی قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2017 ، 42 ، 405. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]

شکل 1. خط لوله روش پیشنهادی در [ 20 ] برای تولید یک مدل ساختمان سه بعدی واقع گرایانه و بازسازی نما، با ترکیب تصویر و داده های نقطه جغرافیایی مرجع.

شکل 2. خط لوله به روز شده گردش کار فعلی برای تولید یک مدل ساختمان سه بعدی با استفاده از تکنیک های مبتنی بر DNN و داده های زمین مرجع.

شکل 3. نقشه عمق و نقطه-ابر سه بعدی متناظر برای نمای جانبی ساختمان مدرن و نئوریا. نقشه های عمق با استفاده از کار لاینا و همکاران ایجاد شد. [ 21 ].

شکل 4. تفاوت برآورد نقشه FCRN-عمق، با تصحیح اعوجاج طرح ریزی پرسپکتیو و جداسازی نمای جانبی برای تصویر ساختمان مدرن چند نمای.

شکل 5. نمونه تصاویر از پایگاه داده تصویر eTRIMS (ردیف اول)، بخش بندی های نمای متناظر تولید شده توسط Pix2Pix (ردیف دوم)، و بخش بندی های نما با حقیقت زمین (ردیف سوم).

شکل 6. تخمین های تقسیم بندی نمای Pix2Pix در ساختمان های مدرن و نئوریا.

شکل 7. مقایسه تشخیص المان نما بین رویکرد اتصال مستطیل در کار قبلی ما [ 20 ] و شبکه عصبی Pix2Pix. مقایسه به موارد پنجره و در اشاره دارد. در Pix2Pix آبی تیره نشان دهنده مناطق شناسایی شده پنجره، زرد روشن نشان دهنده تشخیص درب و سبز نشان دهنده پوشش گیاهی است. برای اتصال مستطیل، جعبه های محدود کننده پنجره ها و درهای شناسایی شده را بدون تبعیض بین دو کلاس نشان می دهند. در این مورد، تشخیص به شدت تحت تاثیر مقداردهی اولیه مرحله کانتور فعال است.

شکل 8. ساختمان نئوریا. در ( a ) تشخیص عنصر نمای Pix2Pix در ابر نقطه عمق نمایش داده می شود. ( ب ) تشخیص همراه با داده‌های تخمین عمق را نشان می‌دهد که تحت تأثیر عوامل پرت قرار گرفته‌اند، و ( ج ) شناسایی ویژگی نهایی را پس از پاک کردن هندسه محاسباتی نشان می‌دهد.

شکل 9. شناسایی ویژگی در ساختمان مدرن. ویژگی‌های شناسایی شده در ابر نقطه‌ای که از ( الف ) تصویر اصلی، و ( ب ) از سمت جدا شده ایجاد شده‌اند.

شکل 10. ساختمان نئوریا. نشان دادن تفاوت مورفولوژیکی ابر نقطه تولید شده پس از ( الف ) یک تکرار الگوریتم، و ( ب ) تخمین معنایی نهایی پس از 12 تکرار.

شکل 11. ساختمان نئوریا. ویژگی درب تصفیه شده قبل از ( a ) و بعد از ( b ) حذف نقطه روی ابر نقطه نمایش داده می شود .

شکل 12. ویژگی ابر نقطه ای از قسمت جلویی ساختمان مدرن را غنی می کند. این دو ویژگی به جای حذف، شناسایی و بیرون زده می شوند تا شکل ساختاری خود را در طول مثلث حفظ کنند.

شکل 13. سطح بازسازی شده سه بعدی ساختمان مدرن، ( الف ) مثلث سازی با برآمدگی پنجره دلخواه، و ( ب ) مثلث سازی با حذف پنجره ها.

شکل 14. سطح بازسازی شده سه بعدی ساختمان نئوریا.

شکل 15. نمای نئوریا بافت نهایی پس از نقشه برداری پراکنده و معمولی.

شکل 16. ساختمان مدرن بافت نهایی (نمای روبرو) پس از نقشه برداری پراکنده و معمولی.

شکل 17. تجسم انحراف مدل سه بعدی ساختمان نئوریا از داده های جغرافیایی مرجع. تغییر مقادیر انحراف با یک فیلد اسکالر رنگی (آبی < سبز < زرد < قرمز) نشان داده شده است. هیستوگرام با توزیع انحراف در هر سطح نیز در رابطه با گردش کار قبلی ( b ) و جریان کار فعلی ( d ) ارائه شده است.

شکل 18. تصویر انحراف ساختمان مدرن. تغییر مقادیر انحراف با یک فیلد اسکالر رنگی (آبی < سبز < زرد < قرمز) نشان داده شده است. شکل هیستوگرام های مربوطه را در مورد قبلی ( b ) و جریان کار فعلی ( d ) نشان می دهد. هیستوگرام ها بهبود جریان کار فعلی را نشان می دهد.

مقالات داخلی و بین المللی

بدون دیدگاه

دیدگاهتان را بنویسید لغو پاسخ

برای نوشتن دیدگاه باید وارد بشوید.

مشاورین هوش پیروزی

بازسازی سه بعدی نمای ساختمان با استفاده از یادگیری عمیق