استفاده بالقوه از فیلم‌های با کیفیت فوق‌العاده پهپاد برای مدل‌سازی سه‌بعدی شهر

پیشرفت‌های مداوم در وضوح تصویر با استفاده از دوربین‌های حرفه‌ای یا حرفه‌ای فرصت‌هایی را برای کاربردهای مختلف مانند پخش رویدادهای ورزشی و فیلم‌برداری دیجیتال باز کرده است. در زمینه علم اطلاعات جغرافیایی و فتوگرامتری، انتظار می رود مدل سازی سه بعدی شهر مبتنی بر تصویر از این پیشرفت فناوری بهره مند شود. انتظار می رود هنگام استفاده از ویدیوهای UHD با کیفیت فوق العاده بالا (به عنوان مثال، 4K، 8K)، ابرهای نقطه سه بعدی با جزئیات بسیار با نویز کم تولید شوند. علاوه بر این، زمانی که ویدیوهای UHD از هوا توسط پهپادهای درجه یک مصرف کننده یا حرفه ای گرفته می شود، سود بیشتری انتظار می رود. تا جایی که ما می دانیم، هیچ مطالعه ای برای تعیین کمیت خروجی های مورد انتظار هنگام استفاده از دوربین های UHD از نظر مدل سازی سه بعدی و چگالی ابر نقطه ای منتشر نشده است. در این صفحه،

کلید واژه ها:

ویدئو UHD ؛ مدل سازی سه بعدی شهر ; ویدئوگرامتری ; چگالی نقطه ; RMSE ; پهپاد ; پهپاد

1. مقدمه

در حال حاضر، اکثر پهپادهای درجه یک مصرف کننده (وسایل نقلیه هوایی بدون سرنشین، پهپادها) مجهز به دوربینی هستند که قادر به فیلمبرداری HD با وضوح 1920 × 1280 پیکسل (2K) است. همانطور که در مقالات تحقیقاتی مختلف نشان داده شده است، این وضوح تصویر امکان ایجاد مدل های سه بعدی با کیفیت پایین را فراهم می کند که برای واقعیت مجازی یا گردشگری مجازی مناسب تر است اما هنوز برای برنامه های مستندسازی سه بعدی کافی نیست [ 1 ]. بر این اساس، این تحقیق با هدف پاسخگویی به این سوال انجام شده است: اگر یک پهپاد مجهز به دوربین فیلمبرداری با وضوح فوق العاده بالا UHD 6K و 8K باشد، چه پیشرفتی در مدل های سه بعدی مشتق شده حاصل می شود؟
به طور فزاینده ای، دوربین های 4K حرفه ای یا کامپکت بر روی پهپادها نصب می شوند تا تصاویری با وضوح بالا با کیفیت و جزئیات بالاتر به مشتری ارائه دهند. به عنوان مثال، DJI [ 2 ] و Skydio [ 3 ] مجهز به دوربین های 4K هستند. نمونه هایی از دوربین های فعلی 4K عبارتند از Panasonic Lumix DMC-GH5 [ 4 ]، Nikon D850، Canon PowerShot G7X [ 5 ]، Canon EOS R5 [ 6 ] و GoPro 9 Black 4K @ 60 fps 5K@30 fps [ 7 ] ( شکل 1) ).
تعداد کمی از محققان استفاده از ویدیوهای 4K را برای برنامه‌های مدل‌سازی سه بعدی مانند [ 1 ] نشان داده‌اند و هنوز، هیچ تحقیقی مقایسه‌ای بین کیفیت مدل‌های سه‌بعدی هنگام استفاده از ویدیوهای HD پهپاد در مقایسه با ویدیوهای 4K یا UHD را نشان نداده است.
از سوی دیگر، دوربین‌های 6K و 8K با وضوح تصویر در بازار اما در سطح دوربین حرفه‌ای یافت می‌شوند و انتظار می‌رود در آینده نزدیک دوربین‌های 6K و 8K درجه مصرف‌کننده را محبوب کنند. به عنوان نمونه ای از دوربین های UHD، دوربین سینمای جیبی Blackmagic دارای وضوح تصویر ویدئویی 6K 6144 × 3456 در 60 فریم بر ثانیه [ 2 ] است ( شکل 1 ). به طور فزاینده‌ای، پهپادهای درجه یک مصرف‌کننده به این دوربین‌های UHD مجهز می‌شوند و این ما را تشویق می‌کند تا این تحقیق را برای کمی کردن مزیت مورد انتظار در هنگام استفاده از چنین دوربین‌های ویدیویی UHD نصب‌شده بر روی پهپادها از نظر کیفیت مدل‌های سه بعدی و عکس‌های ارتوفون معرفی کنیم.
قابل توجه است که وضوح تصویربرداری UHD (به عنوان مثال، 4K، 6K، و 8K) دارای چندین مزیت است زیرا نویز کمتری را به دلیل اندازه سنسور بزرگتر نشان می دهد، برای شرایط نور کم موثر است، کیفیت تصویر واقعی دارد، جزئیات بیشتری را ثبت می کند و غیره. 3 ].
وضوح فریم ویدیویی 8K در حال حاضر بالاترین رزولوشن در صنعت تلویزیون دیجیتال و سینماتوگرافی دیجیتال است. همانطور که از نامش پیداست، معادل دو برابر وضوح (پیکسل) تصاویر 4K و شانزده برابر تعداد پیکسل های تصاویر HD است. این بدان معنی است که می توان از فاصله دورتر ضبط کرد و در عین حال همان مقیاس تصویربرداری را با نتایج با کیفیت بالا حفظ کرد. در حال حاضر، تعداد کمی از شرکت‌ها دوربین‌هایی تولید کرده‌اند که قادر به فیلم‌برداری با وضوح 8K (8192 × 4320 پیکسل) باشند که پیشرفت زیادی در دنیای تصویربرداری و فیلم‌سازی خواهد داشت [ 4 ]. چالش فنی برای ضبط ویدیوهای 8K حافظه بزرگی است که به آن نیاز دارد، برای مثال، 40 دقیقه فیلم می تواند تا 2 ترابایت حافظه ذخیره سازی مصرف کند [ 5 ]]. با این حال، داشتن یک دوربین 8K در یک پهپاد به دلیل هزینه بالای چنین دوربین‌هایی و حافظه مورد نیاز غیرقابل دسترس است. شرکت‌های بزرگی مانند کانن و نیکون در حال کار بر روی عرضه اولین دوربین‌های با قابلیت فیلم‌برداری 8k خود هستند، اما هنوز در دست توسعه هستند. سازندگان فیلم در حال حاضر می‌توانند از دوربین‌های سنگین 8K مانند هلیوم RED که بر روی پهپادها نصب شده است، همانطور که در شکل 1 نشان داده شده است استفاده کنند. با این حال، در چند سال آینده، دوربین‌های 8K ارزان قیمت در بازار موجود می‌شوند و سپس می‌توانند بر روی پهپادهای درجه یک مصرف‌کننده نصب شوند. اخیرا، Autel Robotics پهپاد EVO II خود را با دوربینی که قادر به ضبط ویدیوی 8K با سرعت 25 فریم بر ثانیه و عکس‌های ثابت 48 مگاپیکسلی است [ 6 ] منتشر کرده است که اولین پهپاد در جهان است که توانایی این دوربین را با وضوح بالا دارد.
برای نشان دادن بهبود تصویری به‌دست‌آمده در هنگام استفاده از ویدئوهای UHD، دو شی از یک هدف کدگذاری شده یک متر مربع و یک ماشین پارک شده در نزدیکی در شکل 2 نشان داده شده‌اند که از HD (2K) به 8K فارغ‌التحصیل می‌شوند. شایان ذکر است که فاصله نمونه برداری از زمین (GSD) در وضوح تصویر 8K در مقایسه با وضوح تصویر 2K چهار برابر بهبود یافته است.

1.1. مدل سازی سه بعدی مبتنی بر ویدئو

عمدتاً مدل‌سازی مبتنی بر تصویر سه‌بعدی مبتنی بر گرفتن عکس‌های ثابت است که در آن درصد همپوشانی باید حفظ شود. تحقیقات نشان می‌دهد که ۸۰ درصد برای هر دو دور انتهایی و کناری برای ایجاد یک مدل سه‌بعدی و عکس‌های اورتوفوتو از تصاویر پهپاد کافی است [ 7 ، 8 ]. این درصد همپوشانی بالا دلالت بر پیکربندی خط پایه کوتاه دارد که در بازسازی متراکم ترجیح داده می شود [ 7 ، 9 ].
از سوی دیگر، مدل‌های مبتنی بر تصویر سه‌بعدی را می‌توان با استفاده از ویدئوها در آنچه که گاهی ویدئوگرامتری نامیده می‌شود، ایجاد کرد، که به اندازه‌گیری از تصاویر ویدئویی گرفته‌شده با استفاده از دوربین فیلم‌برداری اشاره دارد [ 10 ]. اساساً، یک فیلم ویدیویی متشکل از دنباله‌ای از فریم‌های تصویری است که با سرعت ضبط مشخصی گرفته شده‌اند. به عنوان مثال، اگر از دوربینی برای فیلمبرداری یک دقیقه ای با سرعت 30 فریم بر ثانیه (fps) استفاده شود، به این معنی است که در مجموع 1800 فریم فیلم ضبط شده است.
تصاویر ویدئویی یک پیکربندی تصویربرداری پایه بسیار کوتاه را نشان می‌دهند که در آن نقطه مطابقت بین فریم‌های ویدئویی را می‌توان با به اصطلاح ردیابی ویژگی مانند با استفاده از روش Kanade-Lucas-Tomasi (KLT) محاسبه کرد [ 11 ]. با این حال، نمونه‌برداری از فریم‌های مورد نیاز را می‌توان در فواصل زمانی ثابت ( شکل 3 الف) یا با استفاده از روش‌های پیشرفته‌تر مانند ویژگی‌های دوبعدی فیلتر کردن تصویر تار اعمال کرد [ 12 ]. در شکل 3 ب، دو فریم ویدیویی مجاور نشان داده شده است که یکی تار و دیگری واضح است. در شکل 3 ج، تصویر تار دارای تعداد کمتری از نقاط کلیدی SIFT است [ 13 ]] در مقایسه با تصویر تار نشده. فیلتر کردن و نمونه‌برداری برای جلوگیری از افزونگی داده‌ها، کاهش زمان پردازش، فیلتر کردن تصاویر تار برای مدل سه بعدی بهتر [ 14 ] و داشتن پیکربندی هندسی قوی‌تر منطقی است.
تاکنون، مدل‌سازی سه بعدی مبتنی بر ویدئو به دلیل وضوح ناکافی و خط پایه بسیار کوتاه ترجیح داده نشده است. همانطور که مشخص است، یک خط پایه کوتاه می تواند منجر به نسبت پایه به ارتفاع (B/H) کوچک شود که ناخواسته است زیرا در مقایسه با پیکربندی تصویربرداری گسترده پایه، زاویه تقاطع بد و عدم قطعیت عمق زیادی را نشان می دهد. همانطور که گفته شد، نمونه برداری از فریم های ویدئویی در فواصل زمانی طولانی تر می تواند به داشتن یک پیکربندی پایه گسترده تر و کاهش افزونگی داده ها کمک کند.
نکته قابل توجه این است که ضبط ویدیوها نسبت به عکس‌های ثابت که در آن جریان بدون توجه به سرعت شاتر دوربین، نقطه بین مسیر بهینه در طول مسیر پرواز و غیره به سمت هدف ادامه می‌یابد، برای ضبط انعطاف‌پذیرتر است.
چیزی که می تواند استفاده از مدل سازی سه بعدی مبتنی بر ویدئو را افزایش دهد یا رایج کند، افزایش وضوح تصویر است زیرا سایر جزئیات فنی مانند ساختار SfM حرکتی یا تطبیق تصویر و اکثر ابزارهای نرم افزاری پیشرفته از قبل حل شده اند. می تواند چنین داده هایی را پردازش کند. بر این اساس، ویدیوهای UHD ممکن است جایگزین تصاویر ثابت شوند، زیرا جنبه‌های مثبت وضوح بالا را جمع‌آوری می‌کنند، ضبط و ضبط آسانی دارند، داده‌های زیادی ارائه می‌دهند و به تلاش کمتری برای برنامه‌ریزی نیاز دارند. با این حال، نمونه برداری و فیلتر برای اطمینان از پردازش مقرون به صرفه و نتایج با کیفیت خوب ضروری است. در حال حاضر، مطالعات نشان می دهد که دقت ≅1/400 یا ≅5 سانتی متر را می توان در هنگام استفاده از فریم های ویدئویی 640 × 480 پیکسل به دست آورد که در بهترین حالت می توان آن را با وضوح بالاتر به 1 سانتی متر ارتقا داد [ 14 ,15 ، 16 ، 17 ]. با این حال، هیچ مطالعه‌ای برای تعیین کمیت دقت‌هایی که می‌توان هنگام ضبط ویدیوهای UHD از 4K تا 8K به دست آورد، اعمال نشده است. بر این اساس، در این مقاله، یک مطالعه ( بخش 3 ) از طریق دو آزمایش با استفاده از یک پهپاد مجهز به دوربین 2K، 4K، 6K و 8K در یک محیط شبیه سازی شده انجام خواهد شد.

1.2. برنامه ریزی پرواز پهپاد

برنامه ریزی پرواز گام مهمی برای انجام یک ماموریت پروازی موفق پهپاد و دستیابی به اهداف و الزامات پروژه نقشه برداری است. بسته به وظیفه پرواز و منطقه مورد نظر می توان چندین الگوی برنامه ریزی پرواز را اعمال کرد. به عنوان مثال، نقشه پرواز برای نقشه برداری جاده و خطوط برق با نقشه های پرواز مورد نیاز برای نقشه برداری یک منطقه از زمین یا یک برج متفاوت است. بر این اساس، چندین الگوی طرح پرواز همانطور که در شکل 4 نشان داده شده است، یافت می شود .
برای اعمال یک طرح پرواز [ 18 ، 19 ]، چندین پارامتر تصویربرداری باید انتخاب شود. درصد همپوشانی بین تصاویر و نوارهای متوالی در جهت جلو و کنار باید ثابت شود. پارامترهای دوربین مانند فاصله کانونی و ارتفاع پرواز برای تنظیم مقیاس مورد نیاز و GSD استفاده می شود. سرعت شاتر دوربین و سرعت پرواز پهپاد نیز با دقت تنظیم شده اند تا از تاری حرکت تصویربرداری جلوگیری شود.
شایان ذکر است که برنامه ریزی پرواز پیشرفته تری در حال توسعه مستمر است و شروع به استفاده برای تولید پهپادهای خودمختار بیشتری کرده است که در آن اجتناب از برخورد [ 20 ] و مکان یابی و نقشه برداری همزمان (SLAM) [ 21 ، 22 ] اعمال می شود. Skydio [ 23 ] و Anafi AI [ 24 ] نمونه هایی از چنین پهپادهای نیمه مستقل درجه مصرف کننده هستند که در حال حاضر در بازار موجود هستند.

2. روش شناسی

روشی که در این مقاله دنبال می‌شود ( شکل 5 ) از یک محیط شبیه‌سازی شده با استفاده از ابزار Blender [ 25 ] استفاده می‌کند که در آن می‌توان چهار رزولوشن ویدیویی مختلف گرفته‌شده از یک پهپاد را دقیقاً در یک مسیر پرواز آزمایش کرد. این انگیزه با داشتن مقایسه ای منصفانه بین مدل های تولید شده است. بر این اساس، از دو مدل سه بعدی دسترسی باز استفاده می شود: یک صحنه شهری [ 26 ] و یک ساختمان چند طبقه [ 27 ]] که در آن مسیر پرواز پهپاد شبیه سازی خواهد شد. شایان ذکر است که نقاط کنترل زمینی (GCP) نیز بر روی مدل هایی که با یک هدف کدگذاری شده متر مربع نشان داده می شوند، قرار خواهند گرفت. سپس، پس از اعمال مأموریت‌های پهپاد، فریم‌های ویدئویی پس از نمونه‌برداری و فیلتر کردن ، رندر شده و به ابزار نرم‌افزار Metashape [ 28 ] صادر می‌شوند. از آنجایی که فریم‌ها با نرخ بالای 20 تا 30 فریم در ثانیه گرفته می‌شوند و همانطور که در بخش 1 ذکر شد ، نمونه‌برداری فریم را در فواصل زمانی ثابت اعمال می‌کنیم تا از درصد همپوشانی در محدوده 80 تا 90 درصد برای مقدار کافی اطمینان حاصل کنیم. مدل سازی سه بعدی با این حال، جلوه تاری در فریم های ویدئویی شبیه سازی شده در نظر گرفته نمی شود.
مختصات XYZ ثابت GCPهای طراحی شده در هر دو آزمایش به اهداف رمزگذاری شده شناسایی شده در ابزار Metashape اختصاص داده می شود. سپس جهت تصویر با استفاده از SfM اعمال خواهد شد. بازسازی متراکم برای ایجاد ابرهای نقطه ای دنبال می شود و چگالی نقطه با شمارش تعداد همسایگان برای هر نقطه در داخل یک کره شعاع نیم متری با استفاده از Cloud Compare برآورد می شود [ 29 ].
برای بررسی دقت داخلی (نسبی)، تکه‌های مسطح خارج از ابرهای نقطه‌ای استخراج می‌شوند و ریشه میانگین مربعات خطا (RMSE) برای هر فیلمبرداری از پهپاد محاسبه می‌شود. برای ادامه ارزیابی، دقت خارجی (مطلق) با محاسبه RMSE به GCPها و نقاط بازرسی بررسی می شود.
علاوه بر این، ابر نقطه به یک شبکه سطحی تبدیل شده و در نهایت یک ارتوموزائیک ایجاد می شود. سپس سه نتیجه دقت نسبی، چگالی و کیفیت ارتوموزائیک برای نتیجه گیری نهایی ارزیابی می شوند.

3. نتایج

دو آزمایش در یک محیط شهری با استفاده از شبیه سازی های پیشرفته از ابزار Blender اعمال شد. چهار وضوح فریم ویدیویی 2K، 4K، 6K و 8K از نظر چگالی ابر نقطه ای و دقت نسبی مورد آزمایش قرار گرفتند. لازم به ذکر است که هر دو تست با استفاده از لپ تاپ Dell Intel Core i7-9750H، CPU @ 2.60GHz، GPU Intel UHD Graphics 630 با 16 گیگابایت رم اعمال می شوند.
آزمایش اول: مدل شهری .
اولین آزمایش در محیط شهری شهر لانستون با استفاده از مدل آزادانه منتشر شده آن [ 26 ] که در آن یک طرح پرواز با فرض چهار وضوح ویدیوی مختلف همانطور که ذکر شد شبیه‌سازی می‌شود، اعمال می‌شود. طرح پرواز در یک مسیر شبکه ( شکل 4 الف) در اطراف منطقه مورد نظر ( شکل 6 ) انتخاب می شود.
طرح پرواز با استفاده از پارامترهای پرواز زیر اعمال می شود:
فاصله کانونی = 2.77 میلی متر
اندازه پیکسل = 1.6 میکرومتر
ابعاد سنسور = 6.16 × 4.6 میلی متر
ارتفاع پرواز = 80 متر
همپوشانی رو به جلو = 60٪ و همپوشانی جانبی = 40٪
همانطور که گفته شد، شبیه‌سازی‌ها با استفاده از ابزار Blender انجام می‌شود و تصاویر هر رزولوشن ویدئو در همان مسیر پروازی طراحی‌شده در ارتفاع متوسط ​​۸۰ متر و با فرض سرعت ضبط ۲۰ فریم بر ثانیه رندر می‌شوند. از فریم‌های ویدئویی در فواصل زمانی منظم نمونه‌برداری می‌شود تا به 63 فریم ویدئو ختم شود و از همپوشانی 80% اطمینان حاصل شود.
چهار وضوح ویدئو با استفاده از ابزار Metashape پردازش می‌شوند و در هر وضوح تصویر یک ابر نقطه متراکم به دست می‌آید. شکل 7 دو هیستوگرام از رابطه بین وضوح تصویر و زمان مصرف و چگالی نقاط را نشان می دهد.
برای روشن شدن میزان تفاوت چگالی ابر نقطه ای در بین چهار وضوح ویدئو، شکل های کد رنگی ایجاد شده اند که تراکم نقطه را در هر وضوح نشان می دهد ( شکل 8 ) که در آن تراکم نقطه بالاتر از 180 نقطه بر متر مربع به رنگ قرمز رنگ شده است. ما میانگین چگالی را > 180 pts/m2 برای برنامه‌های مدل‌سازی شهر سه بعدی از هواپیماهای بدون سرنشین که در آن جزئیات ساختاری ظریف می‌توان مدل‌سازی کرد، کافی است [ 30 ].
علاوه بر این، ارتوموزائیک‌ها برای این منطقه با استفاده از چهار وضوح تصویری ایجاد می‌شوند تا کیفیت تصویری این تصاویر ارتوآمیز را آزمایش کنند و تفاوت‌های بین آنها را از نظر بصری مقایسه کنند. شکل 9 تفاوت در وضوح و وضوح ارتوموزائیک را نشان می دهد. خلاصه ای در جدول 1 با استفاده از چهار وضوح تصویری و اندازه پیکسل هر ارتوموزائیک ایجاد شده نشان داده شده است.
علاوه بر این، برای ارزیابی دقت نسبی به‌دست‌آمده بین چهار وضوح تصویری، یک دال مسطح سقف یک ساختمان کلیسا همانطور که در شکل 10 نشان داده شده است، انتخاب شده است . هر ابر نقطه ایجاد شده برش داده می شود و سپس بهترین فیتینگ صفحه اعمال می شود و باقیمانده ها محاسبه می شوند. سپس، انحراف معیار با فرض یک توزیع گاوسی همانطور که در شکل 10 ب نشان داده شده است، به بهترین صفحه محاسبه می شود که در آن فاصله بین نقاط و بهترین سطوح مناسب نیز مشاهده می شود.
برای ارزیابی دقت خارجی، ما از نه نقطه مرجع که توسط یک هدف کدگذاری شده متر مربعی در سراسر منطقه توزیع شده است استفاده کردیم که در آن پنج نقطه به عنوان GCP و چهار نقطه به عنوان بازرسی استفاده می شود. جدول 2 و شکل 11 RMSE بدست آمده در ایست های بازرسی را نشان می دهد. قابل توجه است که اهداف کدگذاری شده در ویدیوی پهپاد 2K شناسایی نمی شوند، فقط دو هدف در ویدیوی 4K، بیشتر اهداف در ویدیوی 6K و هدف کامل در ویدیوی 8K تعیین شده است. به طور منطقی، این به شدت به وضوح ویدیو و مقادیر GSD مرتبط است.
آزمایش دوم: ساختمان بلند شهر .
آزمایش دوم برای ساختمان شهری با ارتفاع 70 متر از سطح زمین [ 27 ] همانطور که در شکل 12 الف نشان داده شده است، اعمال می شود. مشابه آزمایش اول، با شبیه‌سازی پرواز DJI Phantom 4 Pro با استفاده از پارامترهای پرواز زیر، چهار ویدیوی پهپاد در اطراف ساختمان 2K، 4K، 6K و 8K ضبط می‌شود:
فاصله کانونی = 8.8 میلی متر
اندازه پیکسل = 2.37 میکرومتر
ابعاد سنسور =13.2×8.8 میلی متر
فاصله تصویربرداری = 30 متر
سرعت پرواز = 5 متر بر ثانیه
همپوشانی رو به جلو = 80٪ و همپوشانی جانبی = 60٪
بر این اساس، همانطور که در شکل 12 ب نشان داده شده است، 277 فریم ویدئو در امتداد نوارهای پرواز در اطراف نمای ساختمان استفاده می شود . ویدئویی که ماموریت پرواز در اطراف ساختمان را نشان می دهد در [ 31 ] به عنوان مواد تکمیلی به اشتراک گذاشته شده است . چندین هدف GCP روی نماهای ساختمان و روی زمین نشان داده شده در شکل 12 c قرار می گیرند تا مقیاس و جهت گیری صحیحی داشته باشند ( شکل 12 د).
تصاویر پهپاد رندر شده در ابزار Metashape برای هر رزولوشن فیلم گرفته شده با اعمال جهت گیری تصویر و سپس بازسازی متراکم برای ایجاد یک ابر نقطه متراکم از ساختمان پردازش می شوند ( شکل 13 a). شایان ذکر است که ابرهای نقطه ای به دست آمده از ساختمان تنها با استفاده از ¼ وضوح کامل قاب ها (تنظیم متوسط ​​در ابزار Metashape) برای کاهش زمان پردازش ایجاد می شوند.
در شکل 14 ، دو هیستوگرام برای روشن شدن رابطه بین زمان صرف شده در ایجاد ابرهای نقطه و چگالی نقطه با توجه به وضوح ویدئوی ضبط شده نشان داده شده است.
همانند آزمایش اول، ارزیابی دقت نسبی به دست آمده بین چهار وضوح ویدئو اعمال می شود. یک وصله نمای مسطح همانطور که در شکل 15 نشان داده شده است انتخاب شده است . هر ابر نقطه ایجاد شده برش داده می شود و سپس بهترین فیتینگ صفحه اعمال می شود و باقیمانده ها محاسبه می شوند. سپس، انحراف معیار سطح مناسب با فرض توزیع گاوسی محاسبه می شود که در شکل 15 نشان داده شده است ، جایی که فواصل (باقیمانده ها) بین نقاط و بهترین سطوح مناسب نیز در جایی که رنگ های قرمز و آبی خطاهای 1± سانتی متر را نشان می دهد، مشاهده می شود.
برای ارزیابی دقت خارجی، از همان GCPهایی که در اطراف نماهای ساختمان قرار گرفته بودند استفاده کردیم و بقیه را به عنوان ایست بازرسی ذخیره کردیم. جدول 3 و شکل 16 RMSE بدست آمده در ایست های بازرسی را نشان می دهد.
برای یک نما از ساختمان، ارتوموزائیک ها با استفاده از چهار وضوح تصویری ایجاد می شوند و اندازه و اندازه پیکسل هر ارتوموزائیک ایجاد شده در جدول 4 خلاصه شده است.

4. بحث

بر اساس نتایج دو آزمایش نشان داده شده در بخش 3 قبلی و همانطور که در جدول 5 خلاصه شده است، مشاهدات متعددی انجام شده و مقایسه‌های واضحی بین مدل‌های مختلف مشتق شده از فریم ویدیویی به شرح زیر یافت می‌شود. به طور منطقی، افزایش چگالی نقطه ای مربوط به افزایش وضوح فریم ویدیویی بود که به مقادیر GSD به دست آمده همانطور که در شکل 17 نشان داده شده است نیز مرتبط است. این همچنین در ارتوموزائیک های تولید شده مشاهده می شود ( جدول 2 و جدول 4 ) که در آن اندازه پیکسل بسیار کاهش یافته است و سپس انتظار می رود جزئیات بیشتری (در مقیاس بزرگ) روی ارتوموزائیک دیده شود.
آنچه جالب بود بهبود دقت نسبی داخلی هر زمان که وضوح فریم ویدیو افزایش می‌یابد است. این بهبود در هنگام استفاده از ویدیوهای 8K در مقایسه با ویدیوهای HD تا 50 درصد ثبت می شود. این بدان معنی است که ابرهای نقطه مشتق شده در ویدیوهای UHD در مقایسه با ابرهای نقطه ای که از ویدیوهای HD به دست می آیند، نویز کمتری دارند.
دقت خارجی در هر دو آزمایش نشان‌دهنده پیشرفت‌هایی بود که هر زمان که وضوح فریم ویدیو افزایش می‌یابد. بیش از ده برابر در آزمایش اول و سه بار در آزمایش دوم هنگام استفاده از ویدیوهای 8K در مقایسه با ویدیوهای HD بهبود یافت.
شایان ذکر است که اندازه گیری اهداف GCP به صورت خودکار یا دستی در تصاویر HD به دلیل وضوح پایین یا GSD بزرگتر که ممکن است باعث کاهش دقت خارجی شود، چالش برانگیز است. بهبود قابل توجهی در تراکم نقطه در هر دو آزمایش با حدود 90 درصد افزایش در هنگام استفاده از ویدیوهای 8K در مقایسه با ویدیوهای HD ثبت شده است ( جدول 5 ). لازم به ذکر است که ابرهای نقطه به دست آمده به ترتیب با استفاده از نصف و ¼ وضوح تصویر کامل در دو آزمایش برای کاهش زمان پردازش ایجاد شدند.
مدل‌سازی سه‌بعدی مبتنی بر ویدئو UHD به حافظه کامپیوتری بزرگ‌تری نیاز دارد و مستلزم مصرف زمان است همانطور که در شکل 7 و شکل 14 نشان داده شده است. انتظار می رود با پیشرفت مداوم در قابلیت های رایانه ها و افزایش خدمات و راه حل های ابری ارائه شده، این میزان کاهش یابد. مدل های سه بعدی ایجاد شده با استفاده از فیلم های HD کیفیت پایینی دارند و برای پروژه هایی که نیاز به نتایج بسیار دقیق و دقیق دارند نمی توان از آنها استفاده کرد.
جدول 5 خلاصه نتایج به دست آمده در هر دو آزمایش را برای مقایسه بهتر نشان می دهد.
تراکم نقطه و دقت به دست آمده هنگام استفاده از ویدیوهای پهپاد UHD برای فعال کردن چندین برنامه نشان داده می شود. طبق [ 32 ]، کاربردها شامل موارد زیر است اما محدود به آن نمی شود: نقشه برداری مهندسی، نظارت بر روسازی جاده، مستندسازی میراث فرهنگی، مدل سازی دیجیتال زمین، نقشه برداری به عنوان ساخته شده، و کنترل کیفیت. علاوه بر این، برای مدل‌های اطلاعات ساختمان (BIM) و CAD، ترخیص خطوط برق، برنامه‌های GIS، پایداری شیب و رانش زمین، تورهای مجازی و غیره نیز مناسب است.

5. نتیجه گیری ها

در این مقاله، تاثیر استفاده از دوربین‌های ویدئویی UHD (6K و 8K) بر روی مدل‌های شهر بازسازی‌شده سه‌بعدی مورد بررسی قرار گرفت. علاوه بر این، این مدل‌های مبتنی بر ویدیوی UHD با همان مدل‌های سه بعدی تولید شده از دوربین‌های فعلی HD و 4K مقایسه می‌شوند. نتایج در دو پرواز شبیه سازی شده در محیط های شهری به دنبال مسیرهای پرواز شبکه ای در اطراف یا بالای ساختمان های شهر همانطور که در شکل 6 و شکل 12 نشان داده شده است، مورد بررسی قرار گرفت . در هر دو آزمایش، نشان داده شد که افزایش وضوح ویدئو نه تنها تراکم، بلکه دقت داخلی و خارجی مدل های سه بعدی ایجاد شده را نیز بهبود می بخشد. همانطور که در جدول 5 نشان داده شده استتراکم نقطه و دقت بازسازی در هنگام استفاده از ویدیوهای 8K در مقایسه با ویدیوهای HD گرفته شده از همان پهپاد تا 90 درصد بهبود یافته است. قابل توجه است که GSD با استفاده از وضوح تصویر 8K در مقایسه با وضوح تصویر HD در حالی که همان ارتفاع پرواز را حفظ می‌کرد، حدود چهار برابر بهبود یافت. این بهبود جزئیات بالایی از مدل‌های سه بعدی بازسازی‌شده را تضمین می‌کند و از این رو طیف گسترده‌ای از کاربردها را برای استفاده از پهپادهای مجهز به دوربین‌های ویدیویی 8K برای ارزیابی وضعیت جاده‌ها، ترخیص خطوط برق، احیای میراث فرهنگی و مستندسازی، بررسی‌های ساخته شده و غیره باز می‌کند.
با این حال، هنگام استفاده از ویدیوهای UHD که حافظه مورد نیاز، قدرت پردازش مورد نیاز برای محاسبات و زمان مصرف را می توان به طور متوسط ​​بیش از 20 برابر افزایش داد، هنوز یک چالش است. بنابراین توصیه می‌شود برای یافتن راه‌حلی برای مدیریت کلان داده‌ها و یافتن راه‌حل‌های در حال پرواز یا مبتنی بر ابر برای سرعت بخشیدن به پردازش داده‌ها و استخراج داده‌های اطلاعات جغرافیایی، تحقیقات را ادامه دهید.
شایان ذکر است، فریم‌های ویدئویی شبیه‌سازی‌شده بدون تار بودند، زیرا فیلم‌ها در حالت تثبیت‌کننده پرواز معمولی ارائه می‌شوند. این باید برای آزمایش‌های شبیه‌سازی آینده برای تقلید از واقعیت در نظر گرفته شود

منابع

  1. Teo, T. تولید ابر نقطه مبتنی بر ویدئو با استفاده از دوربین‌های اکشن متعدد. بین المللی قوس. فتوگرام Remote Sens. Spatial Inf. علمی 2015 ، XL-4/W5 ، 55–60. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  2. دوربین جیبی بلک مجیک سینما. در دسترس آنلاین: https://www.blackmagicdesign.com/nl/products/blackmagicpocketcinemacamera (در 27 فوریه 2021 قابل دسترسی است).
  3. Thorpe, L. تکامل مداوم در وضوح تصویربرداری. Tvtech. در دسترس آنلاین: https://www.tvtechnology.com/opinions/the-ongoing-evolution-in-video-capture-resolution (در 27 فوریه 2021 قابل دسترسی است).
  4. نقد و بررسی Panasonic Lumix DC-GH5. در دسترس آنلاین: https://www.dpreview.com/reviews/panasonic-lumix-dc-gh5 (در 27 فوریه 2021 قابل دسترسی است).
  5. Bennett, R. بهترین دوربین‌های 8K در سال 2021. Wondershare Filmora. در دسترس آنلاین: https://filmora.wondershare.com/8k/best-8k-cameras.html (در 27 فوریه 2021 قابل دسترسی است).
  6. سری EVO II. رباتیک Autel. در دسترس آنلاین: https://auteldrones.com/pages/evo-ii-collections (در 27 فوریه 2021 قابل دسترسی است).
  7. ونزل، ک. روترمل، ام. هالا، ن. Fritsch, D. SURE—نرم افزار IFP برای تطبیق تصویر متراکم. دانشگاه اشتوتگارت: اشتوتگارت، آلمان، 2013. [ Google Scholar ]
  8. Wenzel، K. برنامه ریزی پرواز برای تصاحب شهر با وضوح بالا. کارگاه EuroSDR. در دسترس آنلاین: https://www.eurosdr.net/sites/default/files/images/inline/04_nframes-eurosdr_isprs-southampton2015.pdf (در 27 فوریه 2021 قابل دسترسی است).
  9. حیرالدین، ع. آذری، س. اوجانگ، U. کوئتارا، ام جی; رتورتیلو، جنرال موتورز; Mohd Salleh, S. توسعه مدل شهر سه بعدی با استفاده از تکنیک ویدئوگرامتری. بین المللی قوس. فتوگرام Remote Sens. Spatial Inf. علمی 2019 ، XLII-4/W16 ، 221–228. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  10. سینگ، اس. جین، ک. ماندلا، بازسازی صحنه 3 بعدی VR از دوربین ویدیویی برای مدلسازی شهر مجازی سه بعدی. صبح. J. Eng. Res. 2014 ، 3 ، 140-148. [ Google Scholar ]
  11. توماسی، سی. Kanade، T. شکل و حرکت از جریان تصویر تحت املاء: یک روش فاکتورسازی. بین المللی جی. کامپیوتر. Vis. 1992 ، 9 ، 137-154. [ Google Scholar ] [ CrossRef ]
  12. نوچرینو، ای. لاگو، اف. مورابیتو، دی. رموندینو، اف. پورزی، ل. پوئیسی، ف. بولو، اس آر؛ چیپندیل، پی. لوچر، آ. هاولنا، م. و همکاران خط لوله سه بعدی مبتنی بر تلفن هوشمند برای صنعت خلاق پروژه replicate eu. ISPRS-Int. قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2017 ، 42 ، 535-541. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  13. ویژگی های تصویر متمایز Lowe، DG از نقاط کلیدی Scale-Invariant. بین المللی جی. کامپیوتر. چشم انداز 2004 ، 60 ، 91-110. [ Google Scholar ] [ CrossRef ]
  14. ترسانی، ع. Remondino، F. ویدئوگرامتری در مقابل فتوگرامتری برای بازسازی 3 بعدی میراث. بین المللی قوس. فتوگرام Remote Sens. Spatial Inf. علمی 2019 ، XLII-2/W15 ، 1157–1162. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  15. راهنمای آنلاین PhotoModeler. در دسترس آنلاین: www.photomodeler.com (در 27 فوریه 2021 قابل دسترسی است).
  16. السادیک، بی. گرکه، ام. Vosselman, G. استفاده کارآمد از ویدئو برای مدلسازی سه بعدی اشیاء میراث فرهنگی. ISPRS Ann. فتوگرام Remote Sens. Spatial Inf. علمی 2015 ، II-3/W4 ، 1-8. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  17. بالارین، ام. بالتی، سی. Guerra, F. دوربین های اکشن و وسایل نقلیه هوایی ارزان قیمت در باستان شناسی. Proc. SPIE-Int. Soc. انتخاب کنید مهندس 2015 , 9528 , 952813. [ Google Scholar ] [ CrossRef ]
  18. فدرمن، آ. سانتانا کوینترو، ام. کرتز، اس. گرگ، جی. لنجیز، م. اویمیت، سی. گردش‌های کاری فتوگرامتری Laliberte، J. Uav: راهنمای بهترین عمل. بین المللی قوس. فتوگرام Remote Sens. Spatial Inf. علمی 2017 ، XLII-2/W5 ، 237–244. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  19. ولف، پ. DeWitt, B. Elements of Photogrammetry with Applications in GIS , 3rd ed.; McGraw-Hill: نیویورک، نیویورک، ایالات متحده آمریکا، 2000; پ. 624. [ Google Scholar ]
  20. یاسین، JN; محمد، SAS; حقبیان، م.ح. هایکونن، جی. تنهونن، اچ. PLoSila، J. وسایل نقلیه هوایی بدون سرنشین (UAV): سیستم ها و رویکردهای جلوگیری از برخورد. دسترسی IEEE 2020 ، 8 ، 105139–105155. [ Google Scholar ] [ CrossRef ]
  21. کرم، س. Alsadik، B. محل یابی و نقشه برداری همزمان (SLAM) – یک مرور کلی. Surv. ژئوسپات. مهندس J. 2021 ، 1 ، 34-45. [ Google Scholar ] [ CrossRef ]
  22. کادنا، سی. کارلون، ال. کاریلو، اچ. لطیف، ی. اسکاراموزا، دی. نیرا، جی. رید، آی. لئونارد، جی. محلی‌سازی و نقشه‌برداری همزمان: حال، آینده و عصر ادراک قوی. IEEE Trans. ربات. 2016 ، 32 ، 1309-1332. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  23. Skydio Inc. موجود آنلاین: https://www.skydio.com/ (در 20 آوریل 2021 قابل دسترسی است).
  24. طوطی. Anafi Ai—Uav رباتیک 4g. در دسترس آنلاین: https://www.parrot.com/en/drones/anafi-ai (در 10 مارس 2021 قابل دسترسی است).
  25. مخلوط کن. در دسترس آنلاین: https://www.blender.org (در 27 فوریه 2021 قابل دسترسی است).
  26. مدل سه بعدی Launceston City. در دسترس آنلاین: https://s3-ap-southeast-2.amazonaws.com/launceston/atlas/index.html (در 15 ژانویه 2021 قابل دسترسی است).
  27. Wormgoor، D. چرخه های مخلوط کن شهر مدرن مدولار. ایستگاه هنری. در دسترس آنلاین: https://www.artstation.com/marketplace/p/lXM3/modern-modular-city-blender-cycles?utm_source=artstation&utm_medium=referral&utm_campaign=homepage&utm_term=marketplace (در 5 مارس 2021 قابل دسترسی است).
  28. Agisoft. AgiSoft Metashape. در دسترس آنلاین: https://www.agisoft.com/downloads/installer/ (در 22 ژوئیه 2020 قابل دسترسی است).
  29. CloudCompare. CloudCompare: 3D Point Cloud و نرم افزار پردازش مش. در دسترس آنلاین: https://www.danielgm.net/cc/ (در 20 آوریل 2020 قابل دسترسی است).
  30. TOPODOT. ایجاد الزامات، استخراج معیارها، و ارزیابی کیفیت داده های LiDAR. در دسترس آنلاین: https://blog.topodot.com/establishing-requirements-extracting-metrics-and-evaluating-quality-of-lidar-data/#s4.2 (دسترسی در 10 اکتبر 2021).
  31. السادیک، بی. Khalaf، YH استفاده بالقوه از ویدیوهای با وضوح فوق العاده بالا از پهپاد برای مدل‌سازی سه بعدی شهر با جزئیات. دروازه تحقیق. در دسترس آنلاین: https://www.researchgate.net/publication/357419825_Potential_Use_of_Drone_Ultra-High-Definition_Videos_for_Detailed_3D_City_Modeling_-_data/citations (در 30 ژانویه 202 قابل دسترسی است).
  32. اولسن، ام جی; Roe، GV; گلنی، سی. پرسی، اف. ریدی، م. هورویتز، دی. ویلیامز، ک. توس، اچ. Squellati، A. Knodler, M. Nchrp 15-44 Guidelines for Use of Mobile Lidar in Transportation Applications ; هیئت تحقیقات حمل و نقل NCHRP آکادمی های ملی: واشنگتن، دی سی، ایالات متحده آمریکا، 2013. [ Google Scholar ]
Ijgi 11 00034 g001 550
شکل 1. انواع دوربین های مختلف قادر به فیلم برداری UHD و پهپاد EVO II قادر به فیلم برداری 8K هستند.
Ijgi 11 00034 g002 550
شکل 2. تصویری از رابطه بین افزایش وضوح تصویر پهپاد و GSD در همان ارتفاع پرواز 85 متر.
Ijgi 11 00034 g003 550
شکل 3. ( الف ) اصل نمونه برداری از فریم های ویدئویی اضافی و تصاویر تار. ( ب ) تصویر تار ناشی از لرزش فیلتر می شود ( سمت چپ ) و تصویر مجاور بدون محو شدن ( راست ) حفظ می شود. ( ج ) تصویر تار کاهش قابل توجهی در نقاط کلیدی ( چپ ) در مقایسه با تصویر واضح ( راست ) دارد.
Ijgi 11 00034 g004 550
شکل 4. انواع مختلف ماموریت های پرواز پهپاد. ( الف ) نوع شبکه. ( ب ) نوع دایره ای. ( ج ) نوع خطی.
Ijgi 11 00034 g005 550
شکل 5. گردش کار روش.
Ijgi 11 00034 g006 550
شکل 6. مدل شهر سه بعدی Launceston ناحیه مورد نظر در داخل مرز زرد ( سمت چپ ) و مسیر پرواز شبکه ( راست ) را نشان می دهد.
Ijgi 11 00034 g007 550
شکل 7. نتایج آزمایش اول: ( سمت چپ ) رابطه بین وضوح فریم ویدئو و زمان مصرف شده برای پردازش در مقیاس لگاریتمی. ( سمت راست ) رابطه بین وضوح ویدئو و تراکم نقطه.
Ijgi 11 00034 g008 550
شکل 8. ( الف ) ابرهای نقطه ایجاد شده با استفاده از چهار وضوح تصویری. ( ب ) چگالی نقطه به‌دست‌آمده با استفاده از چهار رزولوشن ویدیویی، به رنگ قرمز در صورت چگالی > 180 pts/ m2 .
Ijgi 11 00034 g009 550
شکل 9. نوشتن علامت جاده در ورودی گاراژ در چهار وضوح تصویری 2K، 4K، 6K، و 8K تصاویری راستین ایجاد می کند.
Ijgi 11 00034 g010a 550 Ijgi 11 00034 g010b 550
شکل 10. بررسی دقت داخلی آزمایش اول. ( الف ) سقف مسطح انتخاب شده (منطقه چین دار) برای آزمایش دقت نسبی. ( ب ) ارزیابی خطای نسبی برازش مسطح در چهار وضوح ویدئو (قرمز > 1 سانتی متر، آبی < -1 سانتی متر).
Ijgi 11 00034 g011 550
شکل 11. نمای بالای ایست های بازرسی و GCP های خطای اغراق آمیز، تجسم منطقه را در اولین آزمایش در چهار وضوح تصویری هواپیماهای بدون سرنشین بیضی می کند. خطا در Z با رنگ بیضی نشان داده می شود در حالی که خطاهای XY با شکل بیضی با استفاده از ابزار Metashape نشان داده می شوند.
Ijgi 11 00034 g012 550
شکل 12. ( الف ) مدل ساختمان. ( ب ) مسیر پرواز هواپیماهای بدون سرنشین (خط آبی)، ( ج ) GCPهای قرار داده شده در نمای ساختمان، و ( د ) فریم‌های ویدئویی جهت‌دار در اطراف ساختمان.
Ijgi 11 00034 g013 550
شکل 13. ( الف ) ابرهای نقطه ای ایجاد شده از فریم های ویدئویی که از وضوح پایین به بالا (از چپ به راست) فارغ می شوند. ( ب ) تراکم نقطه تخمینی که در آن رنگ قرمز بیش از 5000 pts/m2 را نشان می دهد .
Ijgi 11 00034 g014 550
شکل 14. ( سمت چپ ) رابطه بین وضوح فریم ویدئو و زمان مصرف شده برای پردازش با استفاده از مقیاس لگاریتمی. ( سمت راست ) رابطه بین وضوح ویدئو و چگالی نقطه آزمایش دوم.
Ijgi 11 00034 g015 550
شکل 15. بررسی دقت داخلی آزمون دوم. ( الف ) نمای مسطح انتخاب شده (پچ آبی) برای آزمایش دقت نسبی. ( ب ) ارزیابی خطای برازش مسطح در چهار وضوح ویدئو.
Ijgi 11 00034 g016 550
شکل 16. نمای بالایی از نقاط بازرسی و GCPهای خطای اغراق آمیز تجسم بیضی از نمای ساختمان در چهار رزولوشن ویدئویی هواپیماهای بدون سرنشین. خطا در Z با رنگ بیضی نشان داده می شود در حالی که خطاهای XY با شکل بیضی با استفاده از ابزار Metashape نشان داده می شوند.
Ijgi 11 00034 g017 550
شکل 17. نمونه ابر نقطه ای (با استفاده از بازسازی ¼ متراکم وسط) ساختمان آزمایشی دوم در چهار وضوح تصویری مشخص شده.

مقالات داخلی و بین المللی

مطالب مرتبط ...

بدون دیدگاه

دیدگاهتان را بنویسید