1. معرفی
سیستم پیادهروی پانوراما 360 درجه نوعی فناوری واقعیت مجازی است که بر اساس تصاویر پانورامای متوالی است. روش مبتنی بر تصویر، راه رفتن در فضا را بسیار راحتتر از استفاده از مدلسازی و رندر سهبعدی امکانپذیر میسازد. این به طور گسترده ای در تجسم سه بعدی، واقعیت مجازی و واقعیت افزوده استفاده می شود زیرا به راحتی در اکتساب و پردازش داده ها، نیاز به پهنای باند کم، وضوح بالا، اصالت قوی و ناوبری خوب در دستگاه های نمایشگر سخت افزاری ارزان قیمت است [1] .]. نمای پانورامیک نوع جدیدی از خدمات نقشه است که تصاویر پانورامای 360 درجه گرفته شده در شهرها، خیابان ها، موزه ها و مکان های دیگر را در قالب نمای خیابان سه بعدی بر اساس فناوری پانورامای 360 درجه نمایش می دهد. کاربران می توانند از خدمات نمای خیابان استفاده کنند تا با پرسه زدن در اطراف صحنه 360 درجه و شبیه سازی سه بعدی بدون بازدید از مکان، تجربه ای همهجانبه به دست آورند. این خدمات بر کاستی های یک نقشه سنتی که قادر به ارائه یک صحنه واقعی نیست، غلبه می کند. بنابراین، خدمات نمای خیابان برای تحقیقات کاربردی بسیار مهم هستند [ 2 ].
از آنجایی که گرفتن تصویر پانوراما در برخی از سایتهای محدود و ناپیوسته رخ میدهد، در مقایسه با یک سیستم واقعیت مجازی عمومی، دو مشکل اصلی در یک سیستم پیادهروی پانوراما 360 درجه وجود دارد. اول، مشاهده به چند نقطه رومینگ خاص محدود می شود. کاربران نمی توانند آزادانه در صحنه حرکت کنند و سرگردانی تنها زمانی قابل تحقق است که تنها یک دیدگاه در صحنه وجود داشته باشد. دوم، پرش بین نقاط رومینگ اتفاق میافتد، و این انتقال غیرطبیعی است، که بهطور جدی بر تجربه عبور تأثیر میگذارد [ 3 ، 4 ]]. حل مشکل قبلی بدون افزایش تراکم ایستگاه های پانوراما و ساخت یک مدل سه بعدی واقعی دشوار است. مشکل اخیر را می توان با اثر بصری انتقال صاف بین دیدگاه ها که موضوع این مقاله نیز هست جبران کرد.
انتقال صاف بین نماها را می توان در فشرده سازی دنباله های ویدیویی با نرخ فشرده سازی بالا، گردشگری مجازی و سرگرمی، نمایش صحنه های سه بعدی املاک و امنیت عمومی و غیره استفاده کرد. الگوریتم انتقال صاف برای نماهای پانوراما مجاور برای بهبود تجربه کاربر بسیار مهم است. از سیستم رومینگ پانوراما 360 درجه، قابلیت عملی بودن برنامه های نمایشگاه پانورامای داخلی، و قابلیت استفاده از برنامه های ناوبری پانورامای داخل ساختمان.
با خلاصه کردن جدیدترین سیستم های پانوراما، انواع مختلفی از روش های هموارسازی بصری در انتقال سایت پانوراما استفاده می شود:
- (1)
-
پرش مستقیم از یک سایت پانوراما به سایت دیگر، روابط بین سایت های پانوراما را از بین می برد. سوسو زدن بزرگ در صحنه ها می تواند کاربر را منحرف کند. متأسفانه، بیشتر سیستمهای پیادهروی پانورامیک موجود از این حالت پرش برای انتقال بین سایتهای مجاور بدون هیچ استراتژی برای کاهش این تجربه بصری ضعیف استفاده میکنند [ 5 ]. برای دستیابی به یک انتقال صاف بین سایتهای پانورامای مجاور، چهار روش انتقال متداول در تحقیقات قبلی مورد مطالعه قرار گرفتهاند، از جمله شیب شفاف بافت، تداخل نویز، کشش مدل و اختلاف منظر.
- (2)
-
روش گرادیان شفاف بافت، سوسو زدن را با درون یابی خطی مجموعه ای از تصاویر پانوراما و ترکیب رنگ های دو سایت پانوراما کاهش می دهد [ 6 ]. این روش ساده و آسان برای پیاده سازی است و دارای جلوه های بصری ثابت در ابتدا و انتهای انتقال است. با این حال، یک شبح آشکار زمانی رخ می دهد که انتقال به نیمه نزدیک شود. در برخی از سناریوهای بازی، تداخل نویز یک روش رایج برای انتقال صحنه است. این روش با ایجاد مقداری “نویز” در میدان دید توجه کاربر را پراکنده می کند. این امر توجه کاربر را از انتقال غیرطبیعی صحنه منحرف میکند و “نویز” معمولاً لرزش، اعوجاج یا تغییر رنگ پیکسلهای روی صفحه نمایش است [ 7 ]]. این روش اساساً یک فریب بصری است و تأثیر آن محدود است.
- (3)
-
روش کشش مدل مبتنی بر یک فرض ساده است که با کشش صحنه از مرکز نما به سمت حاشیه، احساس “ورود” در دسترس است، زیرا افکت نمایش به درجات مختلف با فاصله از اشیا بزرگنمایی میشود. در ناحیه قابل مشاهده به دیدگاه در طول انتقال بین سایت ها نزدیک تر است. این می تواند با استفاده از یک فرآیند ساده کشش تصویر، حس حرکت رو به جلو را به کاربر القا کند. این روش را میتوان برای صحنههای بیرونی با چشمانداز وسیع و فواصل نسبتاً وسیع از اشیا تا نقطه دید، بهویژه در نمای خیابان با چیدمان در امتداد جاده اعمال کرد [ 8 ، 9 ]]. با این حال، به دلیل محافظت بیشتر از فضا و فاصله کمتر از اجسام تا دیدگاه در داخل خانه، درمان کششی حس اغراق آمیزی از جابجایی فضا را ایجاد می کند که غیر طبیعی و غیر واقعی است.
- (4)
-
در سالهای اخیر، اختلاف منظر مبتنی بر ادراک چشم انسان به رومینگ تصاویر پانوراما برای بهبود جلوه انتقالی وارد شده است که شامل اختلاف منظر کامل، گشت و گذار در تصویر و اختلاف منظر تقلبی است [ 10 ، 11 ].]. روش اختلاف منظر کامل نیاز به پشتیبانی از مدلهای سهبعدی خوب دارد، اما سیستم کلی پانوراما دادههای لازم را ندارد. روش اختلاف منظر جعلی فقط اطلاعات هندسی خشن و لایه رنگی پس زمینه را استخراج می کند و با استفاده از یک ترجمه و بزرگنمایی ساده، افکت اختلاف منظر را شبیه سازی می کند. اختلاف منظر عمدتاً برای صاف کردن مشاهدات ناشی از حرکت در اطراف و در عین حال نگاه کردن به یک جسم استفاده می شود. تفاوت های مشخصی در جهت و مقیاس حرکت بین حرکت به اطراف و انتقال صحنه پانوراما وجود دارد.
برای حل مشکلات روابط فضایی تخریب شده بین ایستگاه های پانوراما و بی جهتی ناشی از ناتوانی کاربر در درک تغییر موقعیت در طول انتقال صحنه پانوراما، یک الگوریتم رندر تصویر پانوراما پویا برای انتقال صاف بین دیدگاه های مجاور در صحنه های داخلی. در این مقاله پیشنهاد شده است. بر اساس اصل استفاده از نقاط همنام برای هدایت تغییر شکل گرافیکی، جفت تکه های مثلثی همسان توسط نقاط همنام تشکیل می شوند. سپس، یک درونیابی صاف از شکل و بافت با تکه های مثلثی به عنوان واحد ایجاد می شود تا به صورت پویا یک پانوراما برای هر فریم ایجاد شود. این روش به صورت پویا پانورامای دنباله ای را با حسگر حرکت در طول انتقال می سازد. این تغییر صحنه را به اندازه راه رفتن در یک صحنه سه بعدی واقعی می کند.
آزمایشهایی با استفاده از تصاویر پانورامای داخلی جمعآوریشده توسط تجهیزات مختلف و فواصل مختلف بین ایستگاهها انجام میشود. نتایج نشان میدهد که روش پیشنهادی میتواند انتقال صاف تطبیقی بین صحنههای مختلف با راندمان رندر نزدیک به ۵۰ فریم در ثانیه (فریم در ثانیه) را تحقق بخشد، که به طور موثر تعامل و غوطهوری سیستم رومینگ پانوراما را افزایش میدهد. در مقایسه با کارهای تحقیقاتی مشابه، نکات ویژه این مقاله به شرح زیر است:
- (1)
-
در فضای داخلی با چیدمان نسبتا منظم اما انسداد جدی، به جای ترسیم نقاط تطبیق به صورت دستی [ 12 ]، با استفاده از روش به دست آوردن نقاط و خطوط مشخصه پس از طرح ارتوفوتو پانورامیک، تکه های مثلثی منطبق را می سازیم.
- (2)
-
به جای انتقال تصویر پانوراما استوانهای [ 13 ] و تصویر پانوراما مکعبی [ 14 ] ، از مختصات باریسنتریک برای اجرای الگوریتم انتقال پانوراما به طور مستقیم بر روی مدل پانورامای کروی استفاده میکنیم.
- (3)
-
ایده الگوریتم انتقال پانورامیک ما شبیه به [ 15 ] است، اما ما یک سیستم پانوراما با یک لایه تغییر شکل پانورامیک ساختیم و اثر بصری، عملی بودن و عملکرد عملیاتی آن را با جزئیات تجزیه و تحلیل کردیم.
برای نشان دادن مشکل در مورد انتقال پانوراما غیرطبیعی و درک بهتر روش انتقال پانورامای پویا، ویدیوها با نامهای «مشکل انتقال پانوراما.mp4» ( https://youtu.be/R_lW1Xz8QNc ) و «انتقال پانوراما صاف با استفاده از تکههای مثلثی منطبق» نامگذاری شدند. mp4” ( https://youtu.be/xQyqiUuLPCI ) به عنوان پیوست برای خوانندگان ارائه شده است.
2. روش ها
برای غلبه بر پرش بین تصاویر پانوراما از نماهای مجاور، اصل تغییر شکل گرافیکی برای مثلث همسان در تصاویر پانورامای مجاور ارائه شده است. تصاویر پانوراما به تعداد زیادی تکه های مثلثی منطبق تقسیم می شوند. سپس تکه های مثلثی منطبق برای پیاده سازی تغییر شکل گرافیکی گرفته می شوند تا انتقال صاف بین تصاویر پانوراما از نماهای مجاور انجام شود. نمودار شماتیک اصل اساسی در شکل 1 نشان داده شده است . فریم های انتقالی با درون یابی صاف شکل ها و بافت های همه تکه های مثلثی منطبق ایجاد می شوند.
همانطور که شکل 1 نشان می دهد، انتقال صحنه پانوراما از سایت فعلی به سایت بعدی با انتقال تکه های مثلثی زرد با بافت ترکیبی کنترل می شود که با محو شدن پانورامای فعلی A و محو شدن در پانورامای بعدی B ایجاد می شود. مثلث در مرکز نما با تغییر شکل جزئی بزرگ شده است، اما مثلث های قرمز، آبی، سبز و سیاه به دلیل برآمدگی عرضی مرکاتور به وضوح کشیده شده اند.
برای دستیابی به انتقال پانورامای صاف بین نماهای مجاور با نرخ فریم کمتر از ادراک بصری انسان، گردش کار تولید همانطور که در شکل 2 نشان داده شده طراحی شده است . روش پیشنهادی به سه بخش تقسیم می شود. اول، تکههای مثلثی برای کنترل انتقالها از نقاط مشخصه پانوراما توسط یک الگوریتم مثلثسازی که با حداکثر کردن حداقل زوایای مشخص میشود، تولید میشوند. کار فوق در بخش 2.1 به تفصیل آمده است . سپس، تکههای مثلثی روی سطح یک کره پانورامای سه بعدی را در حالی که بافت A محو میشود و در بافت B محو میشود، تغییر شکل میدهیم. اصول و الگوریتمهای درگیر در این بخش در بخش 2.2 و بخش 2.3 ارائه شدهاند.. در نهایت، یک استراتژی برای اجرای سیستم پیادهسازی پانوراما، که مجهز به یک الگوریتم رندر تصویر پانورامیک پویا برای انتقال صاف بین دیدگاههای مجاور با پوشاندن لایه مدل مورف است، در بخش 2.4 توضیح داده شده است .
2.1. تولید وصلههای مثلثی دلاوی مشابه
راه حل های مشکل تطبیق تصویر پانوراما را می توان تقریباً به سه دسته تقسیم کرد. اول، بای و همکاران. [ 16 ] به طور مستقیم از تکنیک های موجود برای پردازش تصویر فریم کلی به تصاویر پانوراما استفاده کرد. الگوریتم ساده است، اما تغییر شکل هندسی خاص تصویر پانوراما تأثیر عمیقی بر نتایج تطبیق دارد. دوم، استخراج ویژگی و عملیات مختلف به طور مستقیم در فضای مقیاس کروی انجام می شود، و دقت تطبیق بالا است، اما مدل پیچیده و دشوار است. مدل هندسه کروی دقیق برای نگاشت تصویر پانوراما بر روی کره مورد استفاده قرار گرفت. تابع تصویر در قالب یک تابع هارمونیک کروی بیان شد و عملیات مختلفی در فضای مقیاس کروی در [17 ]. سوم، Mauthner et al. [ 18 ] یک سطح تصویربرداری مجازی برای تطبیق پیشنهاد کرد که با نمونهبرداری مجدد از تصویر پانوراما مطابق با مدل پرسپکتیو ایجاد میشود، اما تطبیق ویژگی بهدستآمده نسبتاً محدود است.
در این مقاله، نحوه به دست آوردن نقاط همنام ارجاع شده در روش سطح تصویربرداری مجازی (راه حل سوم بالا) در شکل 3 نشان داده شده است .
ابتدا، تصویر پانوراما بر روی یک مکعب نمایش داده میشود تا شش صفحه محلی را تشکیل دهد، و نقاط مشخصه همنام با SIFT کلاسیک (تبدیل ویژگی تغییر ناپذیر مقیاس) در همه سطوح محلی استخراج میشوند. سپس، یک طرح پشتی زیر این نقاط را دوباره به مختصات تصویر تبدیل می کند. در نهایت، تکه های مثلثی توسط الگوریتم مثلث از نقاط همنام تولید می شوند. بر اساس نقاط همنام ترجیحی، الگوریتم مثلثسازی دلونای برای تولید تکههای مثلثی استفاده میشود [ 19 ]]. تمایل دارد از مثلث های بریده پرهیز کند زیرا حداقل زاویه همه زوایای مثلث ها را در مثلث به حداکثر می رساند. علاوه بر این، مثلث دلونی برای مجموعه معین P از نقاط گسسته در یک صفحه، یک مثلث DT(P) است به طوری که هیچ نقطه ای در P در دایره دایره هر مثلثی در DT(P) قرار ندارد. این تضمین می کند که هیچ صورت کنترلی قطع نمی شود.
2.2. شکلگیری همزمان شکل و بافت
بر اساس ایده انتقال هدایت شده توسط نقاط کنترل، از تکه های مثلثی به عنوان واحد کنترل اصلی برای تبدیل پانورامای مجاور استفاده می کنیم. به عنوان ساده ترین عنصر سطح، انتقال مثلث در شکل 4 نشان داده شده است . با افزایش از 0 به 1، تغییر شکل یک مثلث با تغییر همزمان شکل مثلث و بافت نقطه داخلی انجام می شود. مثلث اصلی (قرمز) در سمت چپ، مثلث هدف (آبی و سبز) در سمت راست و مثلث های تدریجی (از 1/4 تا 1/2 تا 3/4) باریک تر و سبزتر می شوند. لکه های سیاه جامد حرکت رئوس مثلث را نشان می دهند و نقاط توخالی درون یابی بافتی نقاط داخلی را بیان می کنند.
هنگامی که یک سطح مثلثی تغییر شکل می دهد، موقعیت و بافت نقاط داخلی آن باید تغییر کند. در سیستم مختصات دکارتی، این عملیات به تعداد زیادی محاسبات درون یابی نیاز دارد. با این حال، در سیستم مختصات Barycentric، این عملیات به دلیل ویژگی مهمی که در آن مختصات باری مرکزی هر نقطه از مثلث در طول یک تغییر شکل خطی باقی میماند، آسان میشود [ 20 ].
با توجه به تعریف مختصات Barycentric با در نظر گرفتن مثلث Δآبسیبا سه رأس آن تعریف می شود، آ(ایکس1،y1)، ب(ایکس2،y2)و سی(ایکس3،y3)، هر نقطه داخلی پدر ΔABC را می توان به عنوان یک ترکیب خطی از سه مختصات راس بیان کرد پ= λ1*آ + λ2*ب+ λ3*سی، جایی که λ1،λ2،λ3≥0و λ1+λ2+λ3=1; ترکیبی از پارامترها (λ1،λ2،λ3)به عنوان مختصات باریسنتریک نقطه در نظر گرفته می شود پ. به خصوص، خود رئوس دارای مختصات هستند آ=(1،0،0)، ب=(0،1،0)و سی=(0،0،1).
تنظیم نقطه داخلی پبا مختصات دکارتی (ایکس،y)و مختصات باریسنتریک (λ1،λ2،λ3)، کسر زیر وجود دارد:
- (1)
-
معادله تبدیل از مختصات باریسنتریک به مختصات دکارتی را می توان به صورت زیر توصیف کرد:
- (2)
-
معادله تبدیل از مختصات دکارتی به مختصات باریسنتریک را می توان به صورت زیر توصیف کرد:
شکل همزمان شکل و درونیابی بافت یک مثلث را می توان با الگوریتم 1 با مراحل زیر تحقق بخشید.
- 1.
-
در لحظه ای که یک مثلث Δآبسیانتقال به موقعیت جدید در Δآ’ب’سی، مختصات سه راس درون یابی خطی موقعیت های آغاز و پایان در سیستم مختصات دکارتی مانند رابطه (3) است.
جایی که پoمختصات ابتدایی است، پتیمختصات پایانی است و پαمختصات در حال حاضر است α.
- 2.
-
برای هر نقطه داخلی vکه در Δآبسی، یک بافت ترکیبی باید محاسبه شود. برای ترکیب بافت مثلث مبدا تیoبا بافت مثلث هدف تیتی، موقعیت مربوطه از vکه در Δآ’ب’سی’باید با معادلات (1) و (2) محاسبه شود. پس از به دست آوردن مختصات Barycentric vباز voکه در Δآبسی، مختصات دکارتی vتیاز vبکه در Δآ’ب’سی’سپس می توان به دست آورد.
- 3.
-
بافت نقطه داخلی vرا می توان با توجه به بافت مربوطه درون یابی کرد تیoو تیتیاز voو vتی. درون یابی رنگ از رابطه (4) پیروی می کند.
- 4.
-
یک مثلث موقت با شکل جدید و بافت ترکیبی در لحظه مشبک شده است α.
الگوریتم 1. شکل را به صورت همزمان شکل دهید و بافت یک مثلث را درون یابی کنید |
ورودی: مثلث مبدا پo، و مثلث هدف پتی، پیشرفت α
سه راس
مثلث را درون یابی کنید پآبا استفاده از معادله (3)
برای هر نقطه داخلی Vکه در پo انجام دادن
Vبهforهمختصات دکارتی است Vقبل از انتقال
Vمترمنددله=سیآrتیهسمنآn2بآryجهnتیrمنج(Vبهforه)، که در پo
Vآfتیهr=بآryجهnتیrمنج2سیآrتیهسمنآn(Vمترمنددله)، که در پآ
تیnهw=Eqتوآتیمنon4(α، V)، بافت در V
پایان
ساخت مش جدید مآتوسط Vآfتیهr[]و تیآ[]
پایان |
2.3. انتقال بین نماهای پانورامیک مجاور
انتقال از سایت پانوراما A به سایت پانوراما B را می توان با تقسیم صحنه های پانوراما به تکه های مربوطه ( بخش 2.1 )، و سپس انجام عملیات شکل گیری ( بخش 2.2 ) روی این تکه ها انجام داد. فرآیند انتقال از سایت پانوراما A به B از الگوریتم 2 پیروی می کند.
الگوریتم 2: انتقال پانوراما از A به B |
ورودی: دو تصویر پانورامای سایت منآ، منب، تکه های مثلثی را کنترل می کنند تی
نقشه برداری را شروع کنید منآو منببه تیj ، j∈{1..م}
حالت اولیه سیتوrrهnتی_Vمنهw= منآ
حلقه : پیشرفت آاز 0.0 تا 1.0
برای هر مثلث پکه در تی انجام دادن
افآ += آلgorمنتیساعتمتر1(پ)در انتهای مختصات کروی برای
سیتوrrهnتی_Vمنهw= افآ. حالت نهایی
حلقه پایانی
سیتوrrهnتی_Vمنهw= منب
پایان |
- 1.
-
در ابتدا، پانورامای ایستگاه فعلی من(آ)و ایستگاه بعدی من(ب)برای هر کدام نگاشت می شوند تیjبرای مقداردهی اولیه وصله های مثلثی. نمای فعلی سایت پانوراما A را نشان می دهد ، به این معنی که من(آ)به طور کامل قابل مشاهده است و من(ب)کاملا شفاف است
- 2.
-
در هر لحظه αدر طول انتقال (بیش از 50 فریم)، هر مثلث در وصلههای مثلثی کنترلی با استفاده از الگوریتم 1 به وضعیت جدیدی تغییر میکند. افآبرای به روز رسانی نمای پانوراما شکل گرفته است.
- 3.
-
حالت پایانی سایت پانوراما B را کاملاً قابل مشاهده است من(ب)و کاملا شفاف من(آ).
بافت های میانی من(آ)⇝(ب)با جمع آوری همه شکل می گیرند افآ. شکل 5 نمونه ای از بافت های میانی را نشان می دهد که توسط الگوریتم انتقال صاف با استفاده از تکه های مثلثی Delaunay منطبق از دو دیدگاه مجاور ایجاد شده است.
واقعیت اضافی که باید به آن توجه داشت این است که یک تابع درون یابی کروی به جای تابع درون یابی خطی برای تغییر شکل مثلث ها در فضای کروی استفاده می شود. با توجه به لیم [ 21 ]، درون یابی خطی در مختصات طول و عرض جغرافیایی معادل درونیابی کروی در مختصات دکارتی است زمانی که مختصات پیکسل متناسب با طول و عرض جغرافیایی کروی در پانوراما با نسبت ابعاد 2:1 باشد. بنابراین، انتقال مش شکلگیری میتواند به طور کامل بر اساس بخش 2.2 انجام شود .
2.4. رندر پانورامیک پویا
با توجه به روش انتقالی توضیح داده شده در بخش 2.3 ، مجموعه ای از بافت های پویا من(آ)⇝(ب)جمع آوری شد. بنابراین، اثر گذار طبیعی صحنه پانوراما را می توان با “بازی” بافت های پویا به دست آورد. من(آ)⇝(ب)روی توپ پانوراما پیاده سازی این استراتژی آسان است اما ناکارآمد است، زیرا به شکل گیری مداوم بافت های جدید و نقشه برداری مجدد نیاز دارد که در یک تصویر بزرگ نیاز به مصرف جدی CPU و حافظه دارد.
استراتژی نمایش توپ پانورامیک پویا همانطور که در شکل 6 نشان داده شده است پیشنهاد شد . برای جلوگیری از نگاشت مکرر بافت، یک مش شکلدهی بین چشمهای تجربهگر و توپ پانوراما معمولی به عنوان یک لایه مدل اضافه میشود. بنابراین، پانورامای سایت A یا B هنگام رومینگ یک سایت ثابت به کاربران نمایش داده می شود و مش شکل گیری در هنگام پرش بین سایت ها برای کاربران نمایش داده می شود.
پیادهسازی الگوریتم رندر تصویر پانوراما پویا برای انتقال صاف بین دیدگاههای مجاور بر اساس تکههای مثلثی Delaunay همسان در شکل 7 نشان داده شده است . به طور خاص، یک شبکه مثلثی کروی توسط مثلثسازیهای سهبعدی Delaunay ایجاد شد. سپس، لایه مورف پویا با انتقال بین سایتهای پانورامای مجاور روی کره پیادهسازی شد.
3. آزمایش ها و نتایج
3.1. محیط تجربی و مجموعه داده
برای آزمایش جامع و مؤثر تأثیر این روش، دو مجموعه داده توسط تجهیزات اکتساب مختلف در سناریوهای مختلف جمعآوری شد. جدول 1 پانورامای جمع آوری شده و تجهیزات اکتسابی مربوطه را نشان می دهد. داده های تجربی و نتایج مربوط به این مقاله را می توان در https://github.com/zpc-whu/panoramic-transition به دست آورد .
Dataset-1 شامل دو تصویر پانوراما از یک موزه است. این تصاویر توسط یک دوربین مونتاژ با کیفیت بالا با شش لنز از طریق اندازه گیری ایستگاه سنتی در پروژه ساخت موزه دیجیتال گرفته شده است. وضوح می تواند به 20000 × 10000 برسد. آزمایش جلوه بصری و دقت روش پیشنهادی با استفاده از این دو پانوراما انجام شده است.
Dataset-2 شامل هفت عکس پانوراما از یک کتابخانه است که توسط دوربینی با شش لنز ارزان قیمت XiaoYi که بر روی آخرین چرخ دستی اندازه گیری موبایل داخلی کارآمد در طول یک پروژه نقشه برداری داخلی گرفته شده است. وضوح 2048 × 4096 است. آزمایش استحکام روش پیشنهادی با استفاده از این هفت پانوراما با شش آزمایش با فواصل از سایت فعلی تا مکان مقصد 1 متر، 2 متر، 3 متر، 5 متر، 10 متر اجرا شده است. ، و 15 متر.
3.2. عملکرد تجسم معادلات
آزمایش جلوه بصری و دقت روش پیشنهادی با استفاده از Dataset-1 انجام شده است. عملکرد تجسم در جدول 2 نشان داده شده است . ستون اول جدول جدول زمانبندی انتقال است. برای تکمیل کل فرآیند انتقال، از 0 به 1 ادامه مییابد. به ویژه، نماهای 11 لحظه ای (1٪، 10٪، 20٪، 30٪، 40٪، 50٪، 60٪، 70٪، 80٪، 90٪ و 99٪) برای نشان دادن جلوه های بصری انتخاب شده است. روش های انتقالی در مقابل، ستون دوم نتایج روش متداول گرادیان شفاف بافت را نشان می دهد و ستون سوم نتایج روش پیشنهادی را نشان می دهد. ستون چهارم حرکت تغییر شکل تکه های مثلثی کنترل را در طول انتقال نشان می دهد تا اصل روش پیشنهادی را بهتر درک کنید.
در جدول 2 ، با مقایسه صحنههای ستون سوم با صحنههای ستون دوم، روش پیشنهادی در این مقاله مزایای آشکاری نسبت به روش گرادیان شفافیت بافت موجود دارد. با استفاده از روش پیشنهادی، تنها در پیشرفت تقریباً 50٪ شبح جزئی وجود داشت، اما با استفاده از روش گرادیان شفافیت، شبحسازی شدید بین 30٪ تا 70٪ وجود داشت. علاوه بر این، با مشاهده ستون های سوم به ترتیب، کاربر می تواند یک حرکت بصری مشخص (ورود به داخل) را بدون اعوجاج بصری محسوس که توسط روش کشش مدل موجود معرفی شده است، تجربه کند.
به طور خاص، روش انتقالی پیشنهادی میتواند یک فرآیند صاف را بر روی کابینتها در هر دو طرف، صفحه نمایش جلو و میز شنی شبیهسازی شده روی زمین، بدون ارواح و اعوجاج تضمین کند. بنابراین، روش پیشنهادی انتقال پانوراما که توسط تکههای مثلثی هدایت میشود، یک راهحل انتقالی بدون درز موثر برای صحنه پانورامای داخلی است. در مقایسه با روش گرادیان شفافیت و کشش مدل، این روش میتواند به انتقال بسیار طبیعی صحنهها در شرایط تنها با دادههای پانوراما دست یابد.
3.3. عملکرد کاربردی
برای تعیین استحکام، شش آزمایش (پرش از فواصل مختلف به یک سایت) با استفاده از Dataset-2 برای تأیید حساسیت روش پیشنهادی به فاصله بین سایتها انجام شد. استحکام در جدول 3 ذکر شده است. ستون اول فاصله از محل شروع تا محل هدف انتقال است و شش مکان پانوراما در فواصل مختلف (1 متر، 2 متر، 3 متر، 5 متر، 10 متر و 15 متر) از سایت مورد نظر هستند. برای نشان دادن استحکام روش های انتقالی پیشنهادی انتخاب شده است. ستون دوم وصله های مثلثی کنترل استخراج شده از هر سایت شروع را نشان می دهد. ستون سوم یک عکس فوری از نمای کاربر هنگام انتقال به 50٪ را نشان می دهد. ستون چهارم تغییر شکل ایجاد شده توسط مش شکل گیری را در نزدیکی انتهای انتقال نشان می دهد. ردیف اول سایت هدف واقعی را برای هر شش آزمایش نشان می دهد.
در جدول 3، از ستون دوم، ناحیه کنترل کوچکتر تکه های مثلث همنام با افزایش فاصله بین دو سایت پانوراما به دلیل کاهش همپوشانی تصویر ایجاد می شود. به طور خاص تر، استخراج تکه های مثلث کنترلی در سمت چپ صحنه همنام به دلیل توزیع فضایی مناسب با اشیاء دورتر از محل عکسبرداری آسان است. با این حال، استخراج تکههای مثلث کنترلی در سمت راست صحنه همنام چالش برانگیز است، زیرا تغییرات زاویهای زیاد در پرسپکتیو ناشی از فضاهای باریک و انسداد اشیاء در فضا است. از ستون سوم، تغییر شکل صحنه پانورامای تولید شده افزایش می یابد، و دقت مدل انتقالی هدایت شده توسط تکه های مثلث با افزایش فاصله بین دو سایت پانوراما کاهش می یابد. به عبارت دیگر، سمت راست صحنه به طور قابل توجهی فشرده می شود و در نتیجه اعوجاج بیشتری ایجاد می شود.
به طور کلی، با افزایش فاصله بین دو سایت از 1 متر به 15 متر، همپوشانی صحنه فضا کاهش می یابد. این منجر به کاهش ناحیه کنترلی می شود که انتقال را هدایت می کند، که باعث افزایش اعوجاج صحنه های تولید شده و بدتر شدن اثر انتقالی می شود. با این حال، اعوجاج بصری ناشی از انتقال در محدوده 10 متر در اکثر سناریوهای کاربردی قابل قبول است. حس بصری حرکت هنوز حفظ شده است و هنوز مزیتی نسبت به سایر روش های انتقالی وجود دارد. بنابراین، روش پیشنهادی اساساً میتواند انتقال صاف بین دو سایت پانورامای داخلی با فاصله ایستگاه کمتر یا مساوی 10 متر را برآورده کند.
3.4. کارایی کارایی
برای آزمایش امکانسنجی و کارایی روش پیشنهادی، از انواع پلتفرمهای مرورگر گسترش یافته به رایانههای شخصی و دستگاههای تلفن همراه برای اجرای برنامه تک صفحهای استفاده شد. جدول 4 نرخ فریم را در پلتفرم ها و مجموعه داده های مختلف زمانی که صحنه در حال رومینگ و ترانزیت است، بازنویسی می کند. ستون اول چهار مرورگر رایج را برای آزمایش فهرست میکند و ستونهای دوم و سوم نرخ فریم بر حسب واحد فریم در ثانیه (فریم در ثانیه) هستند.
همانطور که جدول 4 نشان می دهد، پلت فرم های مختلف به دلیل قابلیت های رندر متفاوت، نرخ فریم متفاوتی را حفظ می کنند، اما تفاوت جزئی در نرخ فریم بین رومینگ و انتقال در یک پلت فرم وجود دارد. این تایید می کند که طرح انتقالی پانورامای پیشنهادی رندر صحنه های پانوراما را کند نمی کند و فراتر از الزامات مشاهدات بصری انسان است (24 فریم در ثانیه). بنابراین، امکان پذیر و کارآمد است.
4. بحث
انتقال بدون درز صحنه پانوراما تحت هدایت شکلگیری تصویر شبکه مثلثی ایجاد شده با استخراج نقاط کنترل همنام به دست میآید. از استخراج نقاط مشخصه همنام و تولید تکه های مثلثی، تا اصول محاسبه تغییر شکل وصله مثلثی و درون یابی بافت، طراحی الگوریتم انتقال سایت پانوراما و اجرای سیستم پیاده سازی پانوراما مجهز به لایه مورف پویا، الگوریتم پیشنهادی به تفصیل شرح داده شده است. توسعه بیشتر این روش، تطبیق قوی و هوشمندانه تصاویر پانوراما است.
این روش بر اساس نقاط مشخصه است، اما یافتن نقاط مشخصه با اهمیت عملی در دو تصویر پانوراما دشوار است. علاوه بر این، استخراج خط مرسوم و روشهای حذف نقاط عدم تطابق (مانند ناهنجاری فاصله و ثبات جهت) نیز برای اعمال مستقیم در تصاویر پانوراما دشوار است. بنابراین، توسعه استخراج ویژگی و تطبیق بین تصاویر پانوراما برای انتقال طبیعی صحنه های پانوراما بسیار مهم است. کار Carufel و Laganiere [ 22 ] و Kim and Park [ 23 ] می تواند مرجع دیگری در مورد تطابق تصاویر پانوراما باشد.
به عنوان واحدهای انتقالی، تکه های مثلثی کنترل نقش حیاتی ایفا می کنند. برای مثال، مثلث باریک از زاویه دید بزرگتری عبور میکند و در نتیجه زمانی که از درونیابی خطی برای شبیهسازی انتقال پیوسته در فضا استفاده میکنیم، اعوجاجهای بزرگتری ایجاد میشود. هنگامی که یک جسم به مثلث های مختلف تقسیم می شود، شی شکسته می شود، بنابراین لازم است قبل از انجام یک انتقال، یک تقسیم منطقی از صحنه پانوراما انجام شود. در این راستا، آخرین تحقیقات در مورد بازیابی عمق و چیدمان خانه ها از تصاویر پانورامای منفرد [ 24 ، 25 ] الهام بخش برای تقسیم منطقی فضای پانوراما است. البته، استفاده از برخی داده های کمکی می تواند انتقال را بهبود بخشد، از جمله صفحات در صحنه استخراج شده از ابر نقطه.
با افزایش فاصله بین ایستگاه ها، زاویه عکسبرداری بسیار تغییر می کند. نقاط کنترل به طور مرکزی در یک خوشه روی تصویر ظاهر می شوند یا در لبه های بالایی و پایینی تصویر پراکنده می شوند. چنین تکه های مثلثی کنترلی قابلیت اطمینان قوی ندارند، اغلب منجر به تغییر شکل یا سردرگمی بیشتر می شوند و جلوه های بصری انتقالی خوبی ندارند. تجزیه و تحلیل نشان داد که سه دلیل اصلی منجر به عملکرد ضعیف بالا شده است:
- (1)
-
فاصله زیاد بین سایت ها با فضای باریک؛
- (2)
-
اجسام به نقطه نوردهی نزدیکتر هستند و انسدادهای بزرگی ایجاد می کنند.
- (3)
-
توزیع عمق اجسام در فضا متنوع است.
با توجه به مشکلات فوق، مسیر تیراندازی با دید نسبتاً وسیع باید انتخاب بهتری باشد.
تجربه مرور بصری صاف طبیعی آن نسبت به روش موجود انتقال پانوراما سایت برتر است. از طریق آزمایش و تجزیه و تحلیل جامع سناریوهای کاربردی و کارایی عملیاتی آن، نشان داده شده است که این روش میتواند به آرامی بین سایتهای پانوراما مجاور جمعآوریشده توسط اندازهگیری ایستگاه سنتی یا اندازهگیریهای بهروز موبایلی انتقال یابد. همچنین نیازهای برنامه های مختلف از جمله ناوبری موقعیت فضایی پانوراما یا مرور پانوراما با وضوح بالا را برآورده می کند. با این حال، باید توجه داشت که این روش برای صحنههای بدون ویژگیهای بافت آشکار یا صحنههای باریک و پیچیده به دلیل محدودیت شکل نامعتبر ناشی از نقاط ویژگی نادر و همپوشانی کوچک مناسب نیست.
5. نتیجه گیری ها
در این مقاله، یک الگوریتم رندر تصویر پانوراما پویا برای انتقال صاف بین دیدگاههای مجاور بر اساس تکههای مثلثی دلونی پیشنهاد شده است. آزمایش نشان میدهد که روش پیشنهادی به نظر میرسد با حرکت رأسها و تغییر شفافیت بافت در مش شکلدهی، حس حرکتی بصری ایجاد میکند. این کار تجربه کاربری سیستم رومینگ پانوراما 360 درجه را بهبود میبخشد و قابلیت استفاده از برنامههای نمایشگاه پانورامای داخلی و برنامههای ناوبری پانوراما داخلی را تا حد زیادی بهبود میبخشد. علاوه بر این، از این فناوری میتوان در فشردهسازی توالیهای ویدیویی با نرخ فشردهسازی بالا، گردشگری مجازی و سرگرمی، نمایش صحنههای سه بعدی املاک و امنیت عمومی و غیره استفاده کرد.
بدون دیدگاه