بازسازی فضای داخلی از تصاویر پلان طبقه با رویکرد یادگیری عمیق

خلاصه

اگرچه علاقه به مدل‌سازی فضای داخلی در حال افزایش است، مقدار داده‌های فضایی داخلی موجود در حال حاضر در مقایسه با تقاضای آن بسیار کمیاب است. مطالعات زیادی برای به دست آوردن اطلاعات فضایی داخلی از تصاویر پلان کف انجام شده است زیرا نسبتاً ارزان هستند و دسترسی به آنها آسان است. با این حال، مطالعات موجود استانداردهای بین المللی و قابلیت استفاده را در نظر نمی گیرند، آنها فقط هندسه دو بعدی را در نظر می گیرند. هدف این مطالعه تولید داده‌های اساسی است که می‌توانند با استفاده از مدل دیوار ضخیم IndoorGML (زبان نشانه‌گذاری جغرافیای داخلی) یا سطح جزئیات CityGML (زبان نشانه‌گذاری جغرافیای شهر) با ایجاد داده‌های شکل‌گرفته بردار و در عین حال حفظ ضخامت دیوار، به اطلاعات فضایی داخلی تبدیل شوند. برای دستیابی به این هدف، شبکه‌های عصبی کانولوشنال اخیر در تصاویر پلان کف برای شناسایی پیکسل‌های دیوار و درب استفاده می‌شوند. علاوه بر این، الگوریتم‌های تشخیص خط مرکزی و گوشه برای تبدیل تصاویر دیوار و درب به داده‌های برداری اعمال شدند. به این ترتیب، ما نتایج تقسیم‌بندی شطرنجی با کیفیت بالا و داده‌های برداری قابل اعتماد با ساختار لبه گره و ویژگی‌های ضخامت به دست آوردیم که ساختار بخش‌های دیوار عمودی و افقی و دیوارهای مورب را قادر می‌سازد تا با دقت تعیین شوند. برخی از نتایج برداری به فرم CityGML و IndoorGML تبدیل شدند و به تصویر کشیده شدند، که اعتبار کار ما را نشان می دهد. ما نتایج تقسیم‌بندی شطرنجی با کیفیت بالا و داده‌های برداری قابل اعتماد با ساختار لبه گره و ویژگی‌های ضخامت به دست آوردیم که ساختار بخش‌های دیوار عمودی و افقی و دیوارهای مورب را قادر می‌سازد تا با دقت تعیین شوند. برخی از نتایج برداری به فرم CityGML و IndoorGML تبدیل شدند و به تصویر کشیده شدند، که اعتبار کار ما را نشان می دهد. ما نتایج تقسیم‌بندی شطرنجی با کیفیت بالا و داده‌های برداری قابل اعتماد با ساختار لبه گره و ویژگی‌های ضخامت به دست آوردیم که ساختار بخش‌های دیوار عمودی و افقی و دیوارهای مورب را قادر می‌سازد تا با دقت تعیین شوند. برخی از نتایج برداری به فرم CityGML و IndoorGML تبدیل شدند و به تصویر کشیده شدند، که اعتبار کار ما را نشان می دهد.

کلید واژه ها:

تصویر پلان کف ; تقسیم بندی معنایی ; خط مرکزی ؛ تشخیص گوشه ؛ داده های فضایی داخلی

1. معرفی

با پیشرفت در فناوری های رایانه ای و تلفن همراه، علاقه به مدل سازی فضای داخلی در حال افزایش است. بر اساس گزارش آژانس حفاظت از محیط زیست ایالات متحده، 75 درصد از افرادی که در شهرهای سراسر جهان زندگی می کنند، بیشتر وقت خود را در داخل خانه می گذرانند. علاوه بر این، تقاضا برای فناوری ناوبری و موقعیت یابی داخلی در حال افزایش است. بنابراین، اطلاعات فضایی داخلی دارای ارزش کاربردی بالایی است و ساخت آن مهم است. با این حال، با توجه به [ 1 ، 2]، مقدار داده‌های فضایی موجود در داخل ساختمان، مانند ناوبری داخلی و مدل‌سازی داخلی، نسبت به تقاضا بسیار ناچیز است. برای پرداختن به این موضوع، تحقیقاتی بر روی تولید اطلاعات فضایی داخلی با داده‌های مختلف مانند LiDAR (تشخیص نور و محدوده)، BIM (مدل‌سازی اطلاعات ساختمان)، و پلان‌های دوبعدی انجام شده است. LiDAR یک روش پیمایشی است که با هدف گیری لیزر به سمت هدف و اندازه گیری فاصله زمانی و اختلاف طول موج نور منعکس شده، فاصله را از هدف به دست می آورد. صدها هزار لیزر به طور همزمان شلیک می شوند و اطلاعات را از نقاط خاصی روی هدف برمی گردانند. داده‌های نقطه‌ای به‌دست‌آمده توسط سیستم‌های LiDAR، جهان‌های سه‌بعدی را همانطور که هستند توصیف می‌کنند. بنابراین، به طور گسترده ای برای ایجاد چند ضلعی های مش که می توانند به عناصر داده های مکانی تبدیل شوند استفاده شده است [ 3 ،4 ] ]. با این حال، به دلیل هزینه بالای سیستم LiDAR و زمان طولانی که طول می کشد، تنها چند ساختمان به این روش مدل سازی شدند. با این حال، BIM – به خصوص IFC (کلاس‌های بنیاد صنعتی) آن – یک فرمت فایل باز پرکاربرد است که ساختمان‌های سه‌بعدی ویرایش‌شده توسط نرم‌افزارهای مختلفی مانند Revit و ArchiCAD [ 5 ] را توصیف می‌کند. این شامل ویژگی ها و ویژگی های هندسی کافی از تمام عناصر ساختمان است که می تواند به داده های مکانی تبدیل شود. گاهی اوقات، عناصر IFC در صفحه دوبعدی پیش‌بینی می‌شوند و به‌عنوان یک پلان برای به اشتراک‌گذاری در سایت‌ها (برای به دست آوردن نظرات) یا بستن قراردادی که رسمی‌تر از داده‌های برداری اولیه BIM است، چاپ می‌شوند. پلان های طبقه به طور پیوسته به عنوان منابع داده های مکانی مورد توجه قرار گرفته اند زیرا در مقایسه با سایر داده ها نسبتاً مقرون به صرفه و در دسترس هستند [ 6 ]]. با این حال، هنگامی که بر روی کاغذ چاپ می شود، اطلاعات نقطه هندسی و خط ناپدید می شوند. فقط اطلاعات شطرنجی باقی مانده است. چندین مقاله در مورد موضوع و روش‌های بازیابی داده‌های برداری از پلان‌های دوبعدی شطرنجی برای غلبه بر این موضوع پیشنهاد شده‌اند.

OGC (کنسرسیوم فضایی باز)، کمیته جهانی برای محتویات و خدمات جغرافیایی استاندارد اخیراً دو مدل مختلف GML، CityGML و IndoorGML را به عنوان مدل‌های داده سه بعدی استاندارد برای مدل‌سازی فضایی در داخل ساختمان‌ها پذیرفته است. هنگام ساخت داده های فضایی داخلی به منظور تولید، استفاده و تبدیل آنها به سایر فرمت های GIS، پیروی از یک قالب داده استاندارد شده مناسب است.

مطالعات بر روی استخراج و اصلاح اشیایی مانند درها و دیوارها از تصاویر پلان زمین را می توان به دو دسته طبقه بندی کرد، بر اساس اینکه آیا آنها اشیاء موجود در تصویر را با استفاده از یک مجموعه قوانین از پیش تعریف شده استخراج می کنند یا اینکه آیا آنها اشیاء را با استفاده از الگوریتم های یادگیری ماشین استخراج می کنند که برای انواع مختلف قوی هستند. داده ها. مکه و همکاران [ 7 ] تصاویر و متون با عناصر هندسی را با استفاده از ابزار Qgar [ 8 ] و روش تبدیل Hough از پلان طبقه جدا کرد. از آنجایی که روش آنها از قوانین خوب طراحی شده برای انواع خاصی از پلان های کف استفاده می کند، برای انواع دیگر دقت پایینی انتظار می رود. علاوه بر این، به دلیل نداشتن مختصات، استفاده از آنها به عنوان اطلاعات مکانی دشوار است. گیمنز و همکاران [ 9] دسته بندی قطعات دیوار را به خوبی تعریف کرد و آنها را در سطح پیکسل با استفاده از یک مجموعه قوانین از پیش تعریف شده طبقه بندی کرد. با این حال، از آنجایی که این روش ها دارای بسیاری از پارامترهای از پیش تعریف شده هستند، باید قبل از فرآیند انتخاب شوند و بنابراین فاقد قابلیت تعمیم هستند. احمد و همکاران [ 10 ، 11 ] متن و گرافیک را جدا کرد و دیوارها را بر اساس ضخامت خط آنها (یعنی ضخیم، متوسط یا نازک) دسته بندی کرد. این روش از نظر یافتن پیکسل های دیوار بهتر از دیگران بود. با این حال، درها و سایر عناصر در نظر گرفته نشد و نتیجه به شکل شطرنجی نامناسب برای داده های مکانی بود.

با این حال، از آنجایی که این مطالعات پلان های کف را بر اساس قوانین و پارامترهای از پیش تعریف شده پردازش می کردند، از نظر نویز یا مجموعه داده های متعدد فاقد کلیت بودند. برای غلبه بر این مشکلات، روش هایی با استفاده از الگوریتم های یادگیری ماشین ظاهر شد. د لاس هراس و همکاران [ 12 ] یک مجموعه داده با نشان‌دهنده CVC-FP (Centre de Visio per Computador Floorplan) ساخت که شامل انواع مختلفی از پلان‌های دوبعدی است، سپس از آن برای استخراج دیوارها با استفاده از الگوریتم یادگیری ماشین کلاسیک SVM-BOVW (Support Vector Machine Bag of Visual Words) استفاده کرد. و ساختارهای اتاق را با استفاده از روش تشخیص خط مرکزی استخراج کرد. اگرچه دقت داده های تولید شده بسیار پایین بود، این تحقیق اولین تحقیقی بود که سعی کرد داده های برداری را از انواع مختلف تصاویر پلان دوبعدی تولید کند. دوج و همکاران [ 13] از FCN-2 برای بخش‌بندی دیوارها علاوه بر مجموعه داده‌های R-FP (Rakuten Floorplan) برای آموزش برای بهبود نتایج تقسیم‌بندی استفاده کرد. با این حال، آنها هیچ پس فرآیندی برای ساخت اطلاعات فضایی داخلی انجام ندادند. لیو و همکاران [ 14 ] ResNet-152 (Residual Network 152) را روی R-FP برای استخراج گوشه‌های دیوارها اعمال کرد و برنامه‌ریزی عدد صحیح را روی گوشه‌های استخراج‌شده برای ساخت داده‌های برداری که دیوارها را نشان می‌دهند، اعمال کرد. با این حال، تحقیقات آنها با این فرض انجام شد که هر دیوار در پلان کف یا عمودی یا افقی است، نه مورب. علاوه بر این، آنها عناصر اطلاعات فضایی داخلی، مانند ضخامت دیوار را در نظر نگرفتند.

به طور کلی، مطالعات موجود در مورد ساخت اطلاعات فضایی داخلی از پلان‌های طبقه یا از روش مبتنی بر قانون استفاده می‌کند که فقط برای نقشه‌های خاصی که معیارهای از پیش تعیین‌شده را برآورده می‌کنند، به خوبی کار می‌کند. یا الگوریتم های یادگیری ماشین، که عملکرد بالاتری نسبت به روش مبتنی بر قانون دارند، زیرا الگوها را از داده ها به طور خودکار یاد می گیرند و در عملکرد در برابر نویز استحکام نشان می دهند. مطالعات نمایندگی در خلاصه شده است جدول 1 خلاصه شده است. با این حال، این مطالعات که در بالا مورد بحث قرار گرفت، از نظر اطلاعات فضایی داخلی نیز دارای محدودیت هایی هستند. ابتدا اطلاعات مربوط به دیوارها و درها به سادگی در قالب یک تصویر استخراج شد. به منظور مطابقت با استاندارد OGC، اشیاء باید به صورت بردار نقاط، خطوط و چندضلعی ها نمایش داده شوند. دوم، مطالعاتی که تبدیلات برداری را انجام دادند، به سادگی شکل کلی ساختمان را بیان کردند. به گفته کانگ و همکاران. [ 15 ]، IndoorGML از مدل دیوار ضخیم استفاده می کند و از ضخامت درها و دیوارها برای تولید اطلاعات مکانی استفاده می کند. علاوه بر این، بوترز و همکاران. [ 16 ] و گوتز و همکاران. [ 17] پیشنهاد می کند که هنگام تولید داده های CityGML، معمولاً برای ایجاد دیوارهای داخلی و خارجی با استفاده از ضخامت دیوار و حفظ موقعیت و فاصله نسبی بین اشیاء، اطلاعات هندسی باید تا حد امکان حفظ شود.

در این مطالعه، هدف ما تولید داده‌های برداری بود که می‌توان آن را به CityGML LoD2 (سطح جزئیات 2) یا مدل‌های دیوار ضخیم IndoorGML با تصاویر پلان طبقه تبدیل کرد. برای این منظور، از CNN (شبکه‌های عصبی کانولوشنال) برای تولید تصاویر پیکسل دیوار و در استفاده کردیم و از روش تبدیل برداری به شطرنجی برای تبدیل تصاویر دیوار و در به داده‌های برداری استفاده کردیم. در مقایسه با کارهای موجود، تازگی مطالعه ما به شرح زیر است. ابتدا، ما داده‌های برداری قابل اعتمادی تولید کردیم که برخلاف مطالعات قبلی می‌توانستند به مدل‌های دیوار ضخیم CityGML LOD2 یا IndoorGML تبدیل شوند. دوم، ما از CNN های مدرن برای تولید داده های شطرنجی با کیفیت بالا استفاده کردیم که می توان از آنها برای تولید داده های برداری استفاده کرد. سوم، برای بازیابی کامل هندسه دیوار، بخش‌های دیوار مورب و همچنین بخش‌های دیوار عمودی یا افقی را استخراج کردیم.

2. مواد و روشها

برای تولید داده های برداری از پلان های کف، گردش کار خود را به دو فرآیند تقسیم کردیم: تقسیم بندی و تولید داده های برداری ( شکل 1).). فرآیند تقسیم‌بندی به دو مرحله تقسیم می‌شود، یعنی مراحل آموزش و استنتاج، که در آن تصاویر دیوار و درب را از تصاویر خام پلان دوبعدی استخراج می‌کنیم. برای آموزش CNN ها، مجموعه داده ها را به سه دسته طبقه بندی کردیم. این دسته‌ها شامل 247 تصویر برای آموزش، 25 تصویر برای اعتبارسنجی و 47 تصویر برای آزمایش بودند. تکنیک‌های تقویت داده‌ها مانند تلنگر، تغییر و روشنایی در مرحله آموزش استفاده شد، پس از آن CNN‌ها با تغذیه تصاویر تقویت‌شده و ساخت حقایق زمینی در مجموعه‌های آموزشی آموزش دیدند. در مرحله استنتاج، دیوارها و درها را در مجموعه های آزمایشی با استفاده از مدل های آموزش دیده تقسیم بندی کردیم. در فرآیند تولید داده های برداری، تصاویر جدا شده دیوار و درب را به داده های برداری تبدیل کردیم. هندسه دیوار ساده با استفاده از تشخیص خط مرکزی ساخته شد و با استفاده از روش تشخیص گوشه بر روی تصاویر خط مرکزی اصلاح شد. ضخامت هر دیوار به طور خودکار با همپوشانی تصویر دیوار و هندسه دیوار تصفیه شده محاسبه شد. در نهایت، نمودار دیوار و نقطه درب که به سادگی با استفاده از روش تشخیص گوشه به طور جداگانه استخراج شده بودند، ادغام شدند. تمامی آزمایش ها با استفاده از کتابخانه TensorFlow و PyQGIS در محیط پایتون انجام شد.

2.1. تقسیم بندی مبتنی بر یادگیری عمیق

در حالی که آموزش الگوریتم‌های تشخیص الگوی موجود به صورت سرتاسر دشوار است (از آنجایی که استخراج‌کننده‌های ویژگی که ویژگی‌ها و طبقه‌بندی‌کننده‌های دست ساز را استخراج می‌کنند از هم جدا هستند)، شبکه‌های عمیق ویژگی‌ها و طبقه‌بندی‌کننده‌های سطح پایین، متوسط و بالا را یکپارچه می‌کنند. به روش چند لایه انتها به انتها [ 18 ]. از آنجایی که کریژفسکی و همکاران [ 19 ] نتایج شگفت‌انگیزی را با استفاده از معیار طبقه‌بندی ImageNet 2012 نشان داد، CNN‌ها عملکرد عالی در بسیاری از وظایف بینایی رایانه‌ای، مانند طبقه‌بندی تصویر، تقسیم‌بندی معنایی، تشخیص اشیا و تقسیم‌بندی نمونه نشان داده‌اند [ 20 ، 21 ، 22 ، 23 ]]. برای آموزش یک CNN برای تقسیم بندی، به مقدار کافی داده با کیفیت بالا نیاز است. هنگامی که داده‌ها به سختی به دست می‌آیند، حاشیه‌نویسی‌های ضعیف مانند برچسب‌های سطح تصویر، جعبه‌های محدود، یا خط‌نوشته‌ها می‌توانند برای دستیابی به نتایجی مانند نتایج حاشیه‌نویسی‌های پیکسلی استفاده شوند [ 24 ]. در سال‌های اخیر، این رویکرد به 90 درصد از عملکرد Deeplab v1 رسیده است [ 25 ]، اما هنوز از دقت یادگیری نظارت شده با حاشیه‌نویسی‌های پیکسلی فاصله دارد.

در این مطالعه، ما از GCN (شبکه کانولوشن جهانی)، Deeplab v3 plus که یک نسخه پیشرفته از Deeplab v1 است و یک PSPNet (شبکه تجزیه صحنه هرمی) استفاده کردیم زیرا مشخص شد که آنها عملکرد خوبی را در تقسیم بندی معنایی برای Pascal VOC2012، Microsoft نشان می دهند. COCO (شیء مشترک در زمینه) و دیگران. علاوه بر این، با توجه به ویژگی‌های پلان طبقات با تعداد کم، از مدل‌های کم‌عمق‌تری استفاده کردیم که با وجود تعداد کم پارامترها، عملکرد کارآمدی را نشان دادند. ما از DarkNet53 ( شکل 2) به عنوان ستون فقرات، لایه نهایی میانگین نهایی، لایه کاملا متصل و لایه SoftMax را حذف می کند. و سپس پنج لایه deconvolution را برای بازگرداندن اندازه اصلی به هم پیوست. بعد از اولین لایه دکانولوشن، اتصال پرش را قبل از هر لایه دکانولوشن اضافه کردیم. به منظور بهبود دقت استخراج اشیا، شبکه‌ها را برای دیوارها و درها به‌صورت جداگانه آموزش دادیم و حاشیه‌نویسی‌های سطح پیکسل را با استفاده از LabelMe برای داده‌های آموزشی خود ساختیم، که به روشی کاملاً نظارت شده آموزش داده شد. ما افزایش داده‌ها را برای تغییر، چرخش، تلنگر و تغییر روشنایی انجام دادیم و از R-FP به عنوان داده‌های آموزشی استفاده کردیم، مشابه Dodge و همکاران. [ 12]. به طور همزمان، ویژگی های داده می تواند بر نتایج تقسیم بندی تأثیر بگذارد. اگر یک پیکسل پیش زمینه فقط یک منطقه کوچک را در مقایسه با پس‌زمینه اشغال کند، اغلب باعث می‌شود که فرآیند یادگیری در حداقل‌های محلی تابع از دست دادن به دام بیفتد و شبکه‌ای را ایجاد کند که پیش‌بینی‌های آن به شدت به سمت پس‌زمینه تعصب دارند [ 22 ]. برای جلوگیری از این امر، از کاهش وزن متقاطع آنتروپی و از دست دادن تاس در فرآیند تمرین استفاده کردیم. ما از نرمال سازی دسته ای، روش ReLUs (واحدهای خطی اصلاح شده) استفاده کردیم و اینها را با بهینه سازهای ADAM (تخمین لحظه تطبیقی) آموزش دادیم. در نهایت، از تکنیک‌های گروهی برای بهبود نتایج تقسیم‌بندی استفاده کردیم.

2.2. رویکرد مبتنی بر خط مرکزی

برای تبدیل تصاویر دیوارها به داده های برداری، ابتدا از فرآیند تشخیص خط مرکزی استفاده کردیم. از آنجایی که بیشتر دیوارها در پلان کف دارای خطوط مستقیم بودند، ما آنها را با استفاده از چند خط نشان دادیم. سپس الگوریتم های تشخیص گوشه را روی تصویر خروجی اعمال کردیم. ما یک گراف لبه گره را با استفاده از تصویر خروجی ساختیم و سپس دو خروجی را در یک خروجی ترکیب کردیم تا خروجی های دیوار و در را به صورت برداری تولید کنیم. سپس روش تشخیص گوشه را اعمال کردیم و تصویر در را پس پردازش کردیم تا بخش نهایی درب را تولید کنیم.

2.2.1. تشخیص خط مرکزی

نتیجه نهایی مستلزم مختصات دقیق هر گوشه از بخش های دیوار و لبه های بین آنها بود. برای انجام این کار، فاصله بین موقعیت گوشه های واقعی و موقعیت نامزدهای استخراج شده از تصویر باید به حداقل برسد و گوشه های ایزوله باید به درستی متصل شوند. خط مرکزی (یعنی مجموعه پیکسل ها در وسط هر دیوار) به دو دلیل می تواند به عنوان یک راهنما استفاده شود. اول، هنگام استفاده از روش تشخیص گوشه هریس ( بخش 2.2.2، مکان گوشه ها را می توان با شناسایی نقاط مشخصه در تصویر پیدا کرد. با این حال، اگر از تصویر دیوار از تقسیم‌بندی به عنوان ورودی استفاده کنیم، متوجه می‌شویم که ضخامت دیوار باعث عدم دقت در مکان‌های گوشه‌ها می‌شود. محل گوشه های شناسایی شده دارای خطاهایی در جهت x یا y به اندازه نصف ضخامت دیوار در مقایسه با محل دقیق نقاط انتهایی هر دیوار است. علاوه بر این، به دلیل ضخامت دیوار، نقاط گوشه های متعددی در داخل و خارج دیوار در لبه ها تشخیص داده می شود.

دوم، خط مرکزی به سادگی یک شکل شطرنجی از شبکه است، و پیکسل ها از هم نمی پاشند ( شکل 3 ). با استفاده از پردازش تصویر کلاسیک، می توانیم تصویر را به یک گراف لبه گره تبدیل کنیم. همانطور که در شکل 3 توضیح داده شده است، هر پیکسل می تواند به عنوان یک گره کار کند و با هر پیکسل مجاور متصل شود تا لبه هایی ایجاد کند. در نتیجه می توان نمای کلی دیوار ساختمان را مشاهده کرد که امکان اتصال گوشه های ساختمان را فراهم می کند.

با توجه به Gramblicka و Vasky [ 26 ]، انتخاب الگوریتم صحیح هنگام انجام تشخیص خط مرکزی بسیار مهم است. ما دریافتیم که دیوارهای گنجانده شده در نقاشی از مستطیل هایی با افقی بلند و عمودی کوتاه با تقاطع های عمودی زیاد تشکیل شده است. الگوریتم پیشنهاد شده توسط هوانگ و همکاران. [ 27 ]، که الگوریتم تشخیص خط مرکزی کلاسیک ارائه شده توسط Boudaoud و همکاران را بهبود بخشید. [ 28 ]، تناسب خوبی با داده‌های ما داشت و عملکرد عالی در هنگام مدیریت نویز نشان داد. بنابراین برای استفاده در این مطالعه انتخاب شد.

2.2.2. تشخیص گوشه

همانطور که در شکل 3 نشان داده شده است ، یک گراف لبه گره می تواند به تنهایی یک قطعه دیوار باشد. اما برای بیان دیوار با حداقل تعداد گوشه و خطوط مستقیم، گره های بی فایده باید حذف شوند. فقط گره هایی که “گوشه های واقعی” را نشان می دهند ( شکل 4 ) به جای لبه دیوار باید گنجانده شوند. برای شناسایی گره مربوط به گوشه دیوار، فرآیند تشخیص گوشه را انجام دادیم. یک گوشه را می توان به عنوان یک نقطه “بصری زاویه ای” در تصویر تعریف کرد. روش های مورد استفاده برای تشخیص گوشه را می توان بر اساس الگوریتم جستجو به روش های شدت سیگنال، کانتور و الگو طبقه بندی کرد. در میان آنها، روش شدت سیگنال برای پردازش ویژگی های خطی شکل مانند دیوارها مناسب است. ژانگ و همکاران [ 29] و هریس و استفنز [30 ] همچنین گزارش داد که الگوریتم های کلاسیک بر اساس شدت سیگنال عملکرد قوی در زمینه جستجوی نقطه نشان دادند. بنابراین، در این مطالعه، ما از تشخیص گوشه هریس، که یک روش نماینده شدت سیگنال است، به عنوان الگوریتم تشخیص گوشه استفاده کردیم.

2.2.3. قطعات و ضخامت دیوار

برای تولید ویژگی های ضخامت دیوار، روش Jae et al. [ 31 ] استفاده شد. ما از داده های برداری به عنوان ورودی استفاده کردیم که با ترکیب خروجی فرآیند تشخیص گوشه هریس و نمودار لبه گره از تصویر خط مرکزی ساده شد. داده های برداری و تصویر شطرنجی اصلی دیوارها همپوشانی داشتند و هسته ها با استفاده از اسلایدهای با عرض 1 پیکسل در امتداد دیوار برای تعیین ضخامت دیوار حرکت کردند ( شکل 5 ). داده های ضخامت دیوار به طور جداگانه ذخیره می شوند، به طوری که می توان از آنها برای ایجاد اطلاعات مکانی مانند CityGML و IndoorGML استفاده کرد.

2.2.4. تشخیص درب

مشابه تصویر دیوار، تصویر در شامل اشیاء در به شکل پیکسل های شطرنجی است. از آن برای ایجاد یک شی برداری برای نمایش درها به روشی مشابه پردازش تصویر دیوار استفاده می شود. از آنجایی که پلان های کف مورد استفاده در این مطالعه ماهیت بسیار پیچیده و متنوعی دارند، فرض بر این است که هر دری به شکل نشان داده شده در شکل 6 الف باشد تا دقت کلی افزایش یابد. دنبال کردن Or et al. [ 32 ]، مفروضات مربوط به شکل درها در زیر ذکر شده است:

هر دری از دو خط مستقیم متعامد و یک قوس اضافی تشکیل شده است.
طول دو خط تقریباً یکسان است.
قوس همیشه یک چهارم دایره است.
در برخی موارد یکی از دو خط مستقیم حذف می شود.

ما فرآیندی مشابه آنچه در بخش 2.2.2 توضیح داده شد برای استخراج گوشه ها و تعیین جهت و شکل هر درب اعمال کردیم. تنها سه نقطه جدا شده از تصاویر تقسیم بندی درب ( شکل 6 ب) بدون هیچ گونه هندسه دیگری، همانطور که در شکل 6 ج نشان داده شده است، تولید شد. برای غلبه بر این، از داده ها برای ساختن یک مثلث مجازی استفاده کردیم، فاصله بین لبه ها و گوشه های هر دیوار را محاسبه کردیم و در مورد جهت تصمیم گرفتیم. در نهایت، همانطور که در شکل 6 d نشان داده شده است، از دو نزدیکترین نقطه از گوشه ها در لبه بخش دیوار برای ایجاد یک خط به عنوان بخش در استفاده شد .

3. نتایج

3.1. تولید داده

از EAIS (سیستم وب دولت کره برای کامپیوتری کردن وظایف معماری مانند مجوز ساختمان، ساخت و ساز و تخریب)، ما تصاویر پلان طبقه را دانلود کردیم و به صورت دستی آنها را برای تولید حقیقت مبتنی بر پیکسل حاشیه نویسی کردیم. برای بازتولید دقیق هندسه پلان معماری، ویژگی‌های ساختاری مختلفی مانند شفت‌های کانال هوا (AD) و پانل‌های دسترسی (AP) را برچسب‌گذاری کردیم ( شکل 7 ).

3.2. نتایج آزمایشات

ما از مجموع 319 تصویر پلان طبقه به 246 مجموعه آموزشی، 25 مجموعه اعتبارسنجی و 47 مجموعه تست از طریق نمونه‌گیری تصادفی برای آموزش CNN، اعتبارسنجی و تنظیم فراپارامتر تشخیص گوشه هریس استفاده کردیم. نتایج آزمایشات به شرح زیر است. ابتدا، ما نتایج استخراج قطعات دیوارها و درها را با حفظ ضخامت واقعی دیوار با استفاده از CNN نشان می‌دهیم. دوم، ما نتایج تبدیل تصاویر شطرنجی به داده های برداری ساختار لبه گره را نشان می دهیم.

3.2.1. نتایج تقسیم بندی دیوار و در

نتایج با توجه به مدل مورد استفاده، تابع ضرر مورد استفاده، و اینکه آیا مجموعه داده R-FP در طول فرآیند آموزش اضافه شده است، گزارش می شود. ما مجموعه داده‌های R-FP را به نتایج تقسیم‌بندی درب اضافه نکردیم زیرا هیچ حاشیه‌نویسی پیکسلی برای درها وجود ندارد. تمام نتایج زیر در مجموعه های آزمایشی گزارش می شود. برای ارزیابی نتایج از تقاطع بیش از اتحادیه (IoU) استفاده کردیم.

نتایج تقسیم بندی دیوار بدون مجموعه داده های R-FP در جدول 2 نشان داده شده است ، در حالی که جدول 3 نتایج را با مجموعه داده های R-FP نشان می دهد. هنگامی که داده‌های R-FP در طول فرآیند آموزش استفاده شد، شبکه‌ها نتایج بهتری به همراه داشتند. علاوه بر این، زمانی که از کاهش تاس استفاده کردیم، IoU بالاتری نسبت به کاهش وزن متقابل آنتروپی یافتیم. در بین مدل های مختلف مورد استفاده، DarkNet53 اصلاح شده بهترین نتایج را به همراه داشت.

جدول 4 نتایج تقسیم بندی درب را نشان می دهد. ما دریافتیم که مشابه جداسازی دیوار، استفاده از DarkNet53 اصلاح شده و از دست دادن تاس عملکرد بهتری را به همراه داشت.

نتایج تقسیم بندی درب عملکرد بهتری را نسبت به تقسیم بندی دیوار نشان داد، زیرا در اغلب موارد شکل درها یکنواخت است. با این حال، ضخامت، طول و انواع دیوارها در مجموعه داده های پلان کف متفاوت است. برای بهبود عملکرد تقسیم‌بندی دیوار، ما سه مدل را که با فراپارامترهای مختلف آموزش داده شده بودند، ترکیب کردیم و IoU 0.7283 را به دست آوردیم. جدول 5 نتایج تقسیم بندی را نشان می دهد. همانطور که نشان داده شده است، دیوارها و درها به خوبی تقسیم بندی شده اند و نتایج می توانند به عنوان داده های ورودی برای تولید برداری استفاده شوند.

3.2.2. نتایج تولید برداری

فراپارامترهای تشخیص گوشه هریس با استفاده از مجموعه اعتبار سنجی به اندازه بلوک = 2، ksize = 7، k = 0.05 تنظیم شدند. روش تشخیص خط مرکزی بهبود یافته، داده های نسبتاً واضح و ساده ای را همانطور که در جدول 6 نشان داده شده است، ایجاد کرد . به خصوص انشعاب ها و سازه های ناخواسته با سوراخ به دلیل ضخیم بودن پیکسل های دیوار در کار ما دیده نمی شد. نتایج حاصل از کارهای قبلی با استفاده از تصویر اصلی تا نتیجه بردار نهایی پلان طبقه شماره 290 به عنوان مثال در جدول 7 خلاصه شده است. پیکسل‌های تقسیم‌بندی دیوار به خط مرکزی تغییر یافته و به گراف لبه گره تبدیل شدند. از روش تشخیص گوشه به طور همزمان برای نشان دادن محل دقیق نقاط گوشه استفاده شد و در نهایت داده های برداری تولید شد. نتایج بیشتر در ارائه شده جدول 8 ارائه شده استاست.

از داده های برداری و ویژگی، مدل CityGML LOD2 و فضاهای سلولی مدل دیوار ضخیم IndoorGML به طور خودکار تولید شد. هر پس پردازش با FME (موتور دستکاری ویژگی) توسط نرم افزار امن انجام شد که نتایج آن در جدول 9 نشان داده شده است. مدل CityGML Lod2 شامل اطلاعات دیوار، دیوار داخلی، سطح زمین و درب است. از سوی دیگر، فضاهای سلولی IndoorGML می تواند تولید شود. برای دستیابی به این هدف، لبه های دیوار و درب استخراج شده با هم ترکیب شدند و فضا را در پلان کف بسته کردند.

ما نتایج تولید داده های برداری را با استفاده از یک ماتریس سردرگمی ارزیابی کردیم. برای تعیین اینکه آیا گره ها به درستی استخراج شده اند یا نه، مکان آنها را با مکان گره ها در تصویر اصلی مقایسه کردیم ( شکل 8 ).

امتیاز F1 0.8506 بود که نشان می دهد گره های استخراج شده برای استفاده به عنوان نقاط انتهایی لبه مناسب هستند ( جدول 10 ). جدول 8 نشان می دهد که گوشه های بیشتری نسبت به تعداد واقعی گوشه ها شناسایی شده است، که نشان می دهد مقدار مثبت کاذب نسبتا بزرگتر از مقدار منفی کاذب است. بسیاری از گوشه ها اغلب به دلیل ناهمترازی پیکسل های شطرنجی در مورب تشخیص داده می شدند ( شکل 9 a). نویز تمیز نشده در تصویر تقسیم‌بندی منجر به این شد که گوشه‌های سطح مقطع دیوارها و مبلمان به عنوان گوشه در نظر گرفته شوند. برای مثال، ما طرح کلی یک موجودیت داخلی را در برچسب حقیقت زمین لحاظ نکردیم ( شکل 9b,c)، اما پیکسل‌های اطراف موجودیت را به‌عنوان دیوار طبقه‌بندی کرد، که منجر به تولید دو دیوار بردار افقی نادرست شد ( شکل 9 د). اگر گره‌های غیر ضروری اجزای مورب را حذف کنیم و عملکرد بخش‌بندی را بهبود ببخشیم، می‌توانیم انتظار دقت بیشتری داشته باشیم.

در نهایت، ضخامت دیوار، همانطور که با تعداد پیکسل های اشغال شده توسط هر دیوار اندازه گیری می شود، به بردار تولید شده به طور خودکار اضافه شد. نمونه ای از اندازه گیری ضخامت هر دیوار با روش شرح داده شده در بخش 2.2.3 در شکل 10 نشان داده شده است . از اعداد داخل پرانتز، عدد اول نشان‌دهنده ضخامت دیوار از نتایج تقسیم‌بندی دیوار است و عدد دوم نشان‌دهنده ضخامت از حقیقت زمین است.

علاوه بر این، ما یک «شاخص خطای ضخامت» برای ارزیابی نتیجه ضخامت دیواره برای همه مجموعه‌های آزمایشی تعریف کردیم. معادله خطای ضخامت به صورت زیر است:

ضخامت خطا=1n∑تیسهg-تیgتیتیgتی

(1)

جایی که تیسهgضخامت دیواره از نتیجه قطعه بندی است و تیgتیضخامت دیوار از نتیجه حقیقت زمین است.

خطای ضخامت 10 تصویر با نمونه‌گیری تصادفی از مجموعه‌های آزمایشی به‌دست آمد و مقدار خطای 0.224 تولید شد. این نشان می دهد که می توانیم انتظار خطای متوسط 1 پیکسل در هر پنج پیکسل دیوار را داشته باشیم. با این حال، این مقدار ممکن است بیش از حد برآورد شود، زیرا خطای دیوارهای نازک باعث افزایش خطای ضخامت کلی می شود. در واقع، تیسهg-تیgتیمقادیر تقریباً 80 درصد دیوارها کمتر از خطای ضخامت کلی برآورد شده بود. بنابراین، نتیجه می گیریم که ویژگی ضخامت دیوار برای استفاده در تولید داده های فضایی داخلی، مانند CityGML یا IndoorGML، به اندازه کافی دقیق است.

4. بحث

در این مقاله، ما فرآیندی را برای استخراج خودکار داده‌های برداری از تصاویر پلان زمین پیشنهاد کردیم که مبنایی برای ساخت اطلاعات فضایی داخلی است. تا جایی که ما می دانیم، این اولین مطالعه ای است که استانداردهای OGC را هنگام استخراج داده های پایه برای ساخت اطلاعات فضایی داخلی از تصاویر پلان طبقه در نظر می گیرد. مشارکت های اصلی ما به شرح زیر است. ابتدا، ما داده‌های برداری را از تصاویر پلان طبقه بازیابی کردیم که می‌توان از آنها برای تولید اطلاعات فضایی داخلی با CityGML LOD2 یا فضای سلولی مدل دیوار ضخیم IndoorGML استفاده کرد، که با نتایج تصویری از مطالعات قبلی قابل انجام نبود. دوم، ما نتایج تقسیم‌بندی با کیفیت بالا را با اتخاذ یک معماری مدرن CNN ایجاد کردیم که ما را قادر می‌سازد داده‌های برداری قابل اعتماد شکل‌گرفته از گراف لبه گره را با ویژگی ضخامت تولید کنیم.

برای نشان دادن بیشتر سهم کار ما، برخی از روش‌ها به طور خلاصه با کار ما مقایسه شدند. بخش بندی موجودیت ها در تصاویر پلان کف کار آسانی نبود. بنابراین، قبل از اینکه روش تشخیص خط مرکزی برای خروجی الگوریتم‌های مبتنی بر یادگیری توسط [ 11 ] اعمال شود، تولید داده‌های برداری خوب چالش برانگیز بوده و به ندرت امتحان شده است.]. با این حال، از آنجایی که نتیجه تقسیم‌بندی هنوز مقداری نویز و شکل ناهموار داشت، خروجی روش تشخیص خط مرکزی تمیز به نظر نمی‌رسید. این شامل بسیاری از شاخه های ناشی از ویژگی های خود روش تشخیص خط مرکزی بود که باید حذف می شدند. این امر استخراج گره ها از آن را به شیوه ای عملی دشوارتر می کرد. ما ابتدا با بهبود دقت تقسیم بندی با استفاده از تکنیک یادگیری عمیق مدرن بر این مشکلات غلبه کردیم. اگرچه یک تکنیک یادگیری عمیق قبلاً در کار قبلی برای بخش‌بندی موجودیت‌ها استفاده شده بود، کار قبلی تولید داده‌های برداری را در نظر نگرفت و فقط بر روی خود فرآیند تصویر متمرکز بود. علاوه بر این، مدل FCN-2s در آن کار بر اساس FCN، اولیه‌ترین و ابتدایی‌ترین معماری شبکه برای تقسیم‌بندی بود، در حالی که کار ما از Darknet 53 به عنوان ستون فقرات استفاده می‌کرد. که ثابت شد یک معماری کارآمد برای طبقه بندی و وظایف تشخیص اشیا است. علاوه بر این، ما از تکنیک های آموزشی مدرن مانند بهینه سازهای ADAM، از دست دادن تاس و افزایش داده ها بهره بردیم. با بسیاری از نتایج کیفی به‌دست‌آمده برای تصاویر تقسیم‌بندی دیوار و درب، الگوریتم خط مرکزی اخیراً توسعه‌یافته سپس اعمال شد. این یک خط مرکزی معقول با حداقل شاخه ها و لبه های صاف تر را نشان می دهد. به لطف شکل واقعی شناسایی شده توسط خط مرکزی، توصیف دیوار انعطاف پذیر امکان پذیر شد. روش‌های تولید برداری قبلی به ندرت ساختار پیچیده لبه‌های دیوار را با موفقیت بیان می‌کردند و فقط با اشکال مستطیلی یا خطوط متعامد سروکار داشتند. با این حال، رویکرد ما شامل لبه‌های مورب نیز بود. علاوه بر این، با تولید نه فقط داده های برداری، جلوتر رفتیم، اما با تجسم نمونه‌هایی از اسناد داده‌های مکانی واقعی که توسط استانداردهای OGC تعریف شده‌اند، مانند CityGML و IndoorGML، برای نشان دادن سودمندی نتیجه ما. این کار قبلاً هرگز آزمایش نشده بود، و در اینجا یک روش کاملاً طراحی شده برای استفاده از تصاویر پلان دوبعدی برای تولید داده‌های برداری که می‌توانند به عنوان داده‌های مکانی استفاده شوند نشان داده شد. علاوه بر این، از آنجایی که تصاویر پلان طبقه به راحتی به دست می آیند، انتظار داریم که تولید مقدار زیادی از اطلاعات فضایی داخلی به صورت خودکار، به شیوه ای در دسترس و مقرون به صرفه، امکان پذیر شود.

محدودیت های کار ما به شرح زیر است. در این تحقیق، دیوارها و درها به عنوان اصلی ترین اشیاء متشکل از داده های مکانی در نظر گرفته شده اند. با این حال، اشیاء دیگری مانند پنجره ها و پله ها نیز وجود دارند که می توانند این نقش را ایفا کنند. آنها همچنین باید در مطالعات بیشتر برای تولید داده‌های غنی معنایی گنجانده شوند. علاوه بر این، هر مختصات یک مختصات نسبی است که در بینندگان پرکاربرد، مانند بازرس FME یا FZKviewer که توسط موسسه فناوری کارلسروهه توسعه یافته است، قابل مشاهده نیست. سیستم مختصات متصل کننده دنیای واقعی و داده های تولید شده باید در نظر گرفته شود و در اسناد گنجانده شود. از نقطه نظر فنی، گره های روی لبه های مورب باید حذف شوند تا از بیان لبه های منفرد با بیش از دو گره جلوگیری شود.

منابع

خو، دی. جین، پی. ژانگ، ایکس. دو، ج. Yue, L. استخراج اشیاء فضایی داخلی از مدل های CAD: یک رویکرد پایگاه داده. در مجموعه مقالات کنفرانس بین المللی سیستم های پایگاه داده برای کاربردهای پیشرفته، هانوی، ویتنام، 20-23 آوریل 2015. Liu، A.، Ishikawa، Y.، Qian، T.، Nutanong، S.، Cheema، M.، Eds. Springer: Cham, Switzerland, 2015; ص 273-279. [ Google Scholar ]
جمالی، ع. عبدالرحمن، ع. Boguslawski، P. مدل فضای داخلی سه بعدی ترکیبی. در مجموعه مقالات سومین کارگاه بین المللی GeoAdvances، استانبول، ترکیه، 16 تا 17 اکتبر 2016. آرشیو بین المللی فتوگرامتری، سنجش از دور و علوم اطلاعات فضایی: هانوفر، آلمان، 2016. [ Google Scholar ]
شیروژان، س. سپاسگزار، تحلیل فضایی SM با استفاده از ابرهای نقطه زمانی در GIS پیشرفته: روش‌هایی برای استخراج ارتفاع از زمین در مناطق شیبدار و طبقه‌بندی ساختمان. ISPRS Int. J. Geo-Inf. 2019 ، 8 ، 120. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
زنگ، ال. Kang, Z. شناسایی خودکار عناصر ناوبری داخلی از ابرهای نقطه کینکت . آرشیو بین المللی فتوگرامتری، سنجش از دور و علوم اطلاعات فضایی: هانوفر، آلمان، 2017. [ Google Scholar ]
ایسیکداغ، یو. زلاتانوا، اس. Underwood، J. یک مدل BIM-oriented برای پشتیبانی از الزامات ناوبری داخلی. محاسبه کنید. محیط زیست سیستم شهری 2013 ، 41 ، 112-123. [ Google Scholar ] [ CrossRef ]
گیمنز، ال. هیپولیت، J.-L. رابرت، اس. سوارد، اف. Zreik, K. Review: بازسازی مدل های اطلاعات ساختمان سه بعدی از نقشه های اسکن شده دو بعدی. جی بیلد. مهندس 2015 ، 2 ، 24-35. [ Google Scholar ] [ CrossRef ]
مکه، اس. لوکتو، اچ. والونی، ای. Tabbone, S. سیستمی برای تشخیص اتاق ها در تصاویر پلان طبقه معماری. در مجموعه مقالات نهمین کارگاه بین المللی IAPR در مورد سیستم های تجزیه و تحلیل اسناد، بوستون، MA، ایالات متحده، 9-11 ژوئن 2010. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2010; صص 167-174. [ Google Scholar ]
رندک، ج. ماشینی، گ. دوش، پ. Tombre, K. جستجوی عمومی در برنامه های کاربردی تشخیص گرافیک: مسائل طراحی سیستم نرم افزار qgar. در کارگاه بین المللی سیستم های تحلیل اسناد ; Springer: برلین، هایدلبرگ، سپتامبر 2004; صص 366-377. [ Google Scholar ]
گیمنز، ال. رابرت، اس. سوارد، اف. Zreik, K. بازسازی خودکار مدل های ساختمانی سه بعدی از پلان های اسکن شده 2 بعدی. خودکار. ساخت و ساز 2016 ، 63 ، 48-56. [ Google Scholar ] [ CrossRef ]
احمد، س. لیویکی، ام. وبر، ام. Dengel, A. بهبود تجزیه و تحلیل خودکار پلان های معماری. در مجموعه مقالات کنفرانس بین المللی 2011 در زمینه تجزیه و تحلیل و شناسایی اسناد (ICDAR)، پکن، چین، 18 تا 21 سپتامبر 2011. صص 864-869. [ Google Scholar ]
احمد، س. لیویکی، ام. وبر، ام. دنگل، الف. تشخیص خودکار اتاق و برچسب‌گذاری اتاق از روی پلان‌های معماری. در مجموعه مقالات دهمین کارگاه بین المللی IAPR در سال 2012 در مورد سیستم های تجزیه و تحلیل اسناد، هزینه طلا، QLD، استرالیا، 27-29 مارس 2012. صص 339-343. [ Google Scholar ]
De las Heras، LP; احمد، س. لیویکی، ام. والونی، ای. سانچز، جی. تقسیم بندی آماری و شناخت ساختاری برای تفسیر پلان طبقه. بین المللی J. Doc. مقعدی تشخیص. 2014 ، 17 ، 221-237. [ Google Scholar ] [ CrossRef ]
دوج، اس. خو، جی. Stenger، B. تجزیه تصاویر پلان طبقه. در مجموعه مقالات پانزدهمین کنفرانس بین المللی IAPR 2017 در مورد کاربردهای بینایی ماشین، ناگویا، ژاپن، 8 تا 12 مه 2017؛ صص 358-361. [ Google Scholar ]
لیو، سی. وو، جی. کهلی، پ. Furukawa, Y. Raster-to-Vector: Revisiting restoring planplans. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، ونیز، ایتالیا، 22 تا 29 اکتبر 2017؛ صفحات 2195-2203. [ Google Scholar ]
کانگ، هنگ کنگ؛ Li، KJ یک مدل استاندارد داده فضایی داخلی – OGC IndoorGML و رویکردهای پیاده سازی. ISPRS Int. J. Geo-Inf. 2017 ، 6 ، 116. [ Google Scholar ] [ CrossRef ]
بوترز، آر. آرویو اوهوری، ک. بیلجکی، اف. Zlatanova، S. بهبود خودکار مدل‌های CityGML LOD2 با هندسه داخلی مربوطه. بین المللی جی. جئوگر. Inf. علمی 2015 ، 29 ، 2248-2268. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
گوتز، ام. Zipf، A. به سمت تعریف چارچوبی برای استخراج خودکار مدل‌های 3D CityGML از اطلاعات جغرافیایی داوطلبانه. بین المللی J. 3-D Inf. مدل. 2012 ، 1 ، 1-16. [ Google Scholar ] [ CrossRef ]
او، ک. ژانگ، ایکس. رن، اس. Sun, J. یادگیری باقیمانده عمیق برای تشخیص تصویر. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو، لاس وگاس، NV، ایالات متحده، 27-30 ژوئن 2016. صص 770-778. [ Google Scholar ]
کریژفسکی، آ. سوتسکور، آی. هینتون، GE Imagenet طبقه بندی با شبکه های عصبی کانولوشن عمیق. در مجموعه مقالات بیست و پنجمین کنفرانس بین المللی سیستم های پردازش اطلاعات عصبی (NIPS’12)، دریاچه تاهو، NV، ایالات متحده، 3-6 دسامبر 2012. صص 1097–1105. [ Google Scholar ]
او، ک. گیوکسری، جی. دلار، پی. Girshick, R. Mask r-cnn. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، ونیز، ایتالیا، 22 تا 29 اکتبر 2017؛ صفحات 2961-2969. [ Google Scholar ]
چن، ال سی; زو، ی. پاپاندرو، جی. شروف، اف. Adam, H. رمزگذار-رمزگشا با پیچیدگی قابل جداسازی آتروس برای تقسیم بندی تصویر معنایی. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر (ECCV)، مونیخ، آلمان، 8 تا 14 سپتامبر 2018؛ Springer: Cham, Switzerland, 2018; ص 801-818. [ Google Scholar ]
میلتاری، ف. نواب، ن. احمدی، SA V-net: شبکه های عصبی کاملاً کانولوشن برای تقسیم بندی تصویر پزشکی حجمی. در مجموعه مقالات چهارمین کنفرانس بین المللی 2016 در 3D Vision (3DV)، استانفورد، کالیفرنیا، ایالات متحده آمریکا، 25-28 اکتبر 2016. صص 565-571. [ Google Scholar ]
ژائو، اچ. شی، ج. Qi، X. وانگ، ایکس. شبکه تجزیه صحنه هرم جیا، جی. در مجموعه مقالات کنفرانس IEEE در مورد دید رایانه و تشخیص الگو، هونولولو، HI، ایالات متحده آمریکا، 21 تا 26 ژوئیه 2017؛ صص 2881-2890. [ Google Scholar ]
راجچل، م. لی، ام سی؛ اوکتای، او. کامنیتزاس، ک. پاسرات-پالمباخ، جی. بای، دبلیو. دامودرم، م. رادرفورد، MA; Hajnal, JV; کاینز، بی. و همکاران Deepcut: تقسیم بندی اشیا از حاشیه نویسی جعبه محدود با استفاده از شبکه های عصبی کانولوشن. IEEE Trans. پزشکی تصویربرداری 2016 ، 36 ، 674-683. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
لی، جی. کیم، ای. لی، اس. لی، جی. Yoon, S. FickleNet: تقسیم بندی تصویر معنایی ضعیف و نیمه نظارت شده با استفاده از استنتاج تصادفی. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو، لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، 16 تا 20 ژوئن 2019؛ صص 5267–5276. [ Google Scholar ]
گرامبلیکا، ام. Vasky, J. مقایسه الگوریتم‌های نازک‌سازی برای بردارسازی نقشه‌های مهندسی. جی. تئور. Appl. Inf. تکنولوژی 2016 ، 94 ، 265. [ Google Scholar ]
هوانگ، ال. وان، جی. لیو، سی. الگوریتم نازک شدن موازی بهبود یافته. در مجموعه مقالات هفتمین کنفرانس بین المللی تجزیه و تحلیل و شناسایی اسناد، ادینبورگ، انگلستان، 6 اوت 2003; جلد 3، ص. 780. [ Google Scholar ]
بوداد، LB; سلیمان، ب. Tari، A. یک الگوریتم نازک شدن ZS اصلاح شده با رویکرد ترکیبی. Vis. محاسبه کنید. 2018 ، 34 ، 689-706. [ Google Scholar ] [ CrossRef ]
ژانگ، اچ. یانگ، ی. Shen, H. تشخیص اتصال خط بدون ترسیم قبلی ساختار منحنی در تصاویر زیست پزشکی. دسترسی IEEE 2017 ، 6 ، 2016–2027. [ Google Scholar ] [ CrossRef ]
هریس، سی. استفنز، ام. آشکارساز گوشه و لبه ترکیبی. در مجموعه مقالات چهارمین کنفرانس Alvey Vision، منچستر، بریتانیا، 31 اوت تا 2 سپتامبر 1988. [ Google Scholar ]
جائه جون، جی. جائه هونگ، او. Yong il, K. توسعه ابزارهای برداری دقیق برای دیجیتالی کردن. جی کره اسپات. Inf. Soc. 2000 ، 8 ، 69-83. [ Google Scholar ]
یا، SH; وانگ، KH; یو، YK; چانگ، MMY؛ کنگ، اچ. رویکرد بسیار خودکار به درک تصویر پلان معماری و تولید مدل. تشخیص الگو. 2005 . [ Google Scholar ]

شکل 1. گردش کار مطالعه، داده های ورودی، فرآیند و نتایج را نشان می دهد. توجه: CNN = شبکه عصبی کانولوشنال.

شکل 2. معماری DarkNet53.

شکل 3. تشخیص خط مرکزی و گراف لبه گره.

شکل 4. گوشه های دیوار: ( الف ) گوشه نوع a; ( ب ) گوشه نوع b.

شکل 5. بازیابی ضخامت دیوار با استفاده از روش هسته متحرک.

شکل 6. فرآیند استخراج درب: ( الف ) تصویر خام. ( ب ) درب شطرنجی، ( ج ) نقاط استخراج شده. ( د ) خروجی نهایی.

شکل 7. نمونه هایی از تولید حقیقت مبتنی بر پیکسل: ( الف ) تصویر منبع. ب ) حقیقت پایه.

شکل 8. مقایسه گره های ( a ) تولید شده توسط حقیقت زمین با ( b ) گره های استخراج شده.

شکل 9. پیش‌بینی اشتباه: ( الف ) پلان کف با دیوار مورب. ( ب ) پلان اصلی با مبلمان. ( ج ) پیکسل حقیقت زمین؛ ( د ) پیکسل پیش بینی. ( ه ) بردار تولید شده.

شکل 10. تعداد پیکسل ها (تخمین زده شده، حقیقت زمین).

مقالات داخلی و بین المللی

بدون دیدگاه

دیدگاهتان را بنویسید لغو پاسخ

برای نوشتن دیدگاه باید وارد بشوید.

مشاورین هوش پیروزی

خلاصه

کلید واژه ها:

1. معرفی