تشخیص و محلی‌سازی با دقت بالا اهداف متحرک در محیط داخلی با استفاده از دید استریو دوچشمی

چکیده

برای به دست آوردن محلی سازی هدف متحرک داخلی موثر، یک روش محلی سازی هدف متحرک قابل اعتماد و پایدار بر اساس دید استریو دوچشمی در این مقاله پیشنهاد شده است. یک الگوریتم استخراج شناسایی هدف متحرک، که جریان نوری هرم جابجایی هورن-شانک (HS)، مثلث‌سازی دلونی و تقسیم‌بندی آستانه Otsu را ادغام می‌کند، برای جدا کردن یک هدف متحرک از یک پس‌زمینه پیچیده، به نام روش Otsu Delaunay HS (O-DHS) ارائه شده است. . علاوه بر این، یک الگوریتم تطبیق استریو بر اساس تطابق عمیق و دید استریو برای بدست آوردن جفت نقاط تطبیق متراکم استریو ارائه شده است که تطابق عمیق استریو (S-DM) نامیده می‌شود. جفت نقطه تطبیق استریو هدف متحرک با منطقه هدف متحرک و جفت نقطه تطابق عمیق استریو استخراج شد. سپس مختصات سه بعدی نقاط در ناحیه هدف متحرک بر اساس اصل ساختار موازی دید دوچشمی بازسازی شد. در نهایت هدف متحرک با روش مرکز یابی تعیین شد.
دوره-آموزش-حرفه-ای-gis
 نتایج تجربی نشان داد که این روش می‌تواند بهتر در برابر نویز تصویر و بافت مکرر مقاومت کند، اهداف متحرک را به طور موثر تشخیص داده و جدا کند، و می‌تواند نقاط تصویر استریو را در مناطق تکراری بافت با دقت و ثبات بیشتری مطابقت دهد. این روش می تواند به طور موثری اثربخشی، دقت و استحکام مختصات هدف متحرک سه بعدی را بهبود بخشد. نتایج تجربی نشان داد که این روش می‌تواند بهتر در برابر نویز تصویر و بافت مکرر مقاومت کند، اهداف متحرک را به طور موثر تشخیص داده و جدا کند، و می‌تواند نقاط تصویر استریو را در مناطق تکراری بافت با دقت و ثبات بیشتری مطابقت دهد. این روش می تواند به طور موثری اثربخشی، دقت و استحکام مختصات هدف متحرک سه بعدی را بهبود بخشد. نتایج تجربی نشان داد که این روش می‌تواند بهتر در برابر نویز تصویر و بافت مکرر مقاومت کند، اهداف متحرک را به طور موثر تشخیص داده و جدا کند، و می‌تواند نقاط تصویر استریو را در مناطق تکراری بافت با دقت و ثبات بیشتری مطابقت دهد. این روش می تواند به طور موثری اثربخشی، دقت و استحکام مختصات هدف متحرک سه بعدی را بهبود بخشد.

کلید واژه ها:

دید استریو دوچشمی ; تشخیص هدف متحرک ؛ مختصات سه بعدی ؛ جریان نوری ؛ تطبیق استریو

1. مقدمه

با توسعه فناوری محلی سازی داخلی [ 1 ، 2 ، 3 ]، تخمین محلی سازی هدف متحرک بر اساس فناوری بینایی کامپیوتری [ 4 ، 5 ، 6 ] روز به روز بیشتر و بیشتر در محیط های داخلی مورد استفاده قرار می گیرد. فناوری محلی سازی داخلی [ 7] برای به دست آوردن اطلاعات مکان افراد و اشیاء در محیط های داخلی استفاده می شود. به دلیل دشواری سیستم ناوبری ماهواره ای جهانی (GNSS) برای مکان یابی اهداف در محیط های غیر خط دید، روش های محلی سازی با دقت بالا در محیط های بیرونی، مانند سیستم موقعیت یاب جهانی (GPS) و شبکه های سلولی در محیط های داخلی کار نمی کنند. . بنابراین، فناوری محلی سازی صحنه های داخلی در سال های اخیر به نقطه داغ تحقیقاتی تبدیل شده است [ 8 ، 9 ]. با این حال، اکثر فناوری‌های بومی‌سازی داخلی به اقدامات اساسی اضافی زیادی نیاز دارند و هزینه ساخت بالایی دارند. مشکلات زیادی برای حل در محلی سازی داخلی وجود دارد. فن آوری های محلی سازی داخلی [ 10 ، 11 ، 12 ،13]، مانند شبکه محلی بی سیم (WLAN)، Wi-Fi، باند فوق العاده (UWB)، بلوتوث، و دستگاه های شناسایی فرکانس رادیویی (RFID)، همه به فرستنده سیگنال و تنظیمات شبکه ارتباطی در صحنه های داخلی نیاز دارند که کار را افزایش می دهد. شدت و منجر به هزینه های بالا می شود. علاوه بر این، فناوری های مبتنی بر سیگنال های رادیویی به اهداف متحرک همراه با یک حسگر سیگنال مربوطه برای دریافت و ارسال سیگنال ها نیاز دارند. این بدان معناست که فناوری های مبتنی بر سیگنال های رادیویی، فناوری های محلی سازی فعال هستند و نیاز به همکاری دارند. گاهی اوقات، اهداف متحرک دارای سنسور نیستند. بنابراین، ما یک روش محلی سازی مبتنی بر دید کامپیوتری را برای به دست آوردن موقعیت یک هدف متحرک به صورت غیرفعال پیشنهاد می کنیم، که نیازی به همکاری از یک هدف متحرک ندارد. بومی سازی هدف بر اساس بینایی کامپیوتری مزایای زیادی دارد،
تکنیک‌های عمومی محلی‌سازی هدف بینایی شامل محلی‌سازی بینایی یک‌چشمی [ 14 ]، محلی‌سازی بینایی دو چشمی [ 15 ، 16،17 ] و محلی‌سازی بینایی همه‌سویه [ 18 ] است. مکان یابی دید تک چشمی دقت پایینی دارد و قادر به دریافت اطلاعات عمقی نیست. در همین حال، محلی سازی دید همه جانبه دارای ساختار پیچیده، وضوح تصویر پایین و مشکلات جدی اعوجاج است. در مقایسه با این دو شکل محلی سازی، محلی سازی دید دو چشمی [ 19] دارای مزایایی مانند ساختار ساده و دقت و کارایی بالا است، بنابراین ساختار موازی دید دوچشمی را برای تخمین مکان های هدف انتخاب کردیم. محلی‌سازی دید دوچشمی که محلی‌سازی دید استریو نیز نامیده می‌شود، یک فناوری جامع است که از دو دوربین و پردازنده برای شبیه‌سازی چشم انسان برای مشاهده اطلاعات صحنه اطراف و سپس تجزیه و تحلیل و درک اطلاعات به دست آمده استفاده می‌کند. به طور خاص، با محاسبه رابطه نسبی بین موقعیت یک نقطه فضایی در دو تصویری که دو دوربین به طور همزمان به دست آورده‌اند، مقادیر نابرابری نقاط تطبیق متناظر در تصاویر چپ و راست محاسبه می‌شود و سپس ماتریس های پارامتر داخلی و خارجی شناخته شده برای بازسازی مختصات اصلی مثلثی نقاط فضای سه بعدی استفاده می شود.
برای به دست آوردن محلی سازی هدف متحرک داخل ساختمان، دید استریو دوچشمی را انتخاب کردیم و سه مرحله را دنبال کردیم: (1) یافتن و جداسازی هدف متحرک در دنباله تصویر. (2) مطابقت همزمان پیکسل های هدف متحرک در جفت تصویر استریو. (3) ترجمه مختصات پیکسل دو بعدی به مختصات جهان سه بعدی. برای استخراج هدف متحرک، در حال حاضر، الگوریتم های اصلی تشخیص هدف متحرک عبارتند از جریان نوری [ 20 ]، تفاوت فریم معرفی شده [ 21 ] و تفریق پس زمینه [ 22 ].]. روش‌های سنتی تشخیص هدف متحرک به شدت مستعد تداخل مناطق پس‌زمینه و تغییرات نور و سایه هستند و در نتیجه مناطق هدف متحرک به‌طور نادرست شناسایی می‌شوند. در سال های اخیر روش های زیادی بر اساس سه الگوریتم فوق برای حل این مسائل ارائه شده است و روش جریان نوری به دلیل دقت و استحکام بهتر به روش اصلی تشخیص هدف تبدیل شده است. [ 23 ] جریان نوری را با تشخیص انسداد حرکتی بر اساس مثلث بندی پیشنهاد کرد و به مشکل انسداد حرکت تخمین جریان نوری پرداخت. [ 24] یک چارچوب PatchMatch را برای جریان نوری با اتخاذ یک PatchMatch درشت به ریز با دانه های پراکنده تولید شده برای به دست آوردن تطابق پراکنده ارائه کرد، در نتیجه کارایی محاسباتی جریان نوری را بهبود بخشید. تطبیق استریو اغلب از تطابق مبتنی بر ناحیه و ویژگی استفاده می کند. تطبیق مبتنی بر ناحیه اغلب از بازسازی اطلاعات سه بعدی استفاده می کند زیرا اطلاعات دقیق دست نخورده نگه داشته می شوند، اما این کار زمان زیادی می برد. [ 25 ] سطح 3 بعدی را با جایگزینی بین کمینه سازی خطای بازپرداخت و حذف نویز مش برای بازیابی سطوح هندسی 3 بعدی از تصاویر کالیبره شده 2 بعدی چند نمای، بازسازی کرد و به طور موثر جزئیات در مقیاس ریز سطح بازسازی شده را حفظ کرد. تطبیق مبتنی بر ویژگی، استخراج نقطه مشخصه معمولی و روش‌های تطبیق مانند Fast [ 26روش‌های هریس [ 27 ]، Sift [ 28 ] و Surf [ 29 ] با اصل محدودیت محدودیت دوربین برای انجام تطبیق استریو خط به خط. تطبیق مبتنی بر ویژگی فقط می تواند جفت نقاط پراکنده را به دست آورد، به این معنی که به راحتی می تواند منجر به عدم تطابق شود، حتی به طور بالقوه قادر به تشخیص نقاط ویژگی در هنگام تطبیق مناطق بافتی تکراری با اهداف غیر صلب نیست. اخیراً، [ 30 ] روشی پیشنهاد کرده است که تبدیل فوریه 2 بعدی را به فرمت 1 بعدی تبدیل می کند و تبدیل فوریه 1 بعدی را از مدل تطبیق سریع تصویر استخراج می کند، که می تواند به طور موثر به تشخیص در مقیاس بزرگ و زمان واقعی دست یابد، می تواند استحکام تطبیق استریو را بهبود بخشد، و می تواند پیچیدگی بخش بندی خودرو را کاهش دهد. [ 31] یک چارچوب جدید رگرسیون مبتنی بر سوپرپیکسل ارائه کرد و CRF با RRF را در نقشه‌های عمق دوربین استریوسکوپی معرفی کرد، و آن را برای تولید داده‌های دقیق از یک دوربین استریو ارزان‌قیمت کاربردی‌تر کرد. [ 32 ، 33 ] یک سیستم دید استریو دوچشمی را در سخت افزار و نرم افزار یکپارچه کرد.
ما عواملی را که بر دقت محلی‌سازی دوچشمی تأثیر می‌گذارند تجزیه و تحلیل کردیم و دریافتیم که تأثیرات اصلی دقت استخراج منطقه هدف و تطبیق استریو است. بنابراین، در این مقاله، یک الگوریتم محلی‌سازی هدف متحرک دوچشمی که روش جریان نوری هرمی با جابجایی بزرگ هورن-شانک (HS) بهبود یافته (O-DHS) و تطبیق عمیق استریو با دقت بالا (S-DM) را ترکیب می‌کند، پیشنهاد شده‌است. اول، ترکیب بهبود یافته روش جریان نوری هرمی HS با جابجایی بزرگ با مثلث‌سازی دلونی [ 34 ]، مثلث‌سازی دلونی را برای به دست آوردن میدان جریان نوری دقیق در تصویر فریم فعلی تصاویر قاب دوربین سمت چپ، ترکیب می‌کند. دوم، اوتسو [ 35] مقدار آستانه جریان نوری را برای بدست آوردن محدوده منطقه هدف متحرک به دست می آورد. این دو مرحله مشکل جریان نوری سنتی HS را حل می کند که نمی تواند میدان بردار جریان نوری هدف را در زمانی که حرکت سریع است به دست آورد، و ناحیه مسدود شده هدف متحرک حاوی مقدار جریان نوری است که محدوده منطقه را بزرگ می کند. هدف متحرک در تصویر سپس، با توجه به الگوریتم تطبیق عمیق استریو، جفت تصویر استریو چپ و راست همزمان با هم تطبیق داده می‌شوند تا نقاط متناظر متراکم به دست آید، که مشکلات الگوریتم تطبیق سنتی را در مورد تطابق کم، دقت کم و خطاهای زیاد حل می‌کند. در حالی که با اهداف غیر صلب یا با بافت های تکراری مطابقت دارند. سرانجام، مکان یابی هدف با مختصات نقطه سه بعدی ناحیه هدف متحرک طبق روش مرکز محاسبه می شود و مختصات نقاط سه بعدی ناحیه هدف بر اساس منطقه تقسیم بندی هدف و نقاط تطبیق متراکم استریو بازسازی می شود. الگوریتمی که ما پیشنهاد می کنیم می تواند اهداف متحرک غیر صلب را با نواحی مکرر یا تغییر شکل محدوده معین با دقت بیشتری تعیین کند. که دربخش 3 و بخش 4 ، نتایج تجربی تأیید می کند که الگوریتم از دقت و عملی بالاتری نسبت به سایر الگوریتم ها برخوردار است.

2. مواد و روشها

2.1. مروری بر روش ها

برای به دست آوردن اطلاعات محلی سازی هدف متحرک، این مقاله ابتدا از تئوری تصویربرداری استریو دوچشمی برای یافتن رابطه متناظر بین اطلاعات مختصات در جفت تصویر استریو و مختصات سه بعدی استفاده کرد. سپس، با جدا کردن محدوده هدف متحرک توالی تصویر سمت چپ استریو و تشخیص رابطه تطبیق نقطه به نقطه استریو جفت‌های تصویر استریو، می‌توانیم مختصات سه بعدی نقاط متراکم را در ناحیه جسم متحرک بدست آوریم. در نهایت، ما مکان یابی سه بعدی هدف متحرک را با توجه به روش مرکز، که عمدتاً شامل سه جنبه بود، محاسبه کردیم: (1) تجزیه و تحلیل مدل دید استریو دوچشمی موازی. ما یک مدل برداشتن به عقب بر اساس جفت تصویر چپ و راست به طور همزمان ایجاد کردیم و رابطه تبدیل بین مختصات پیکسل در صفحه تصویر جفت‌های تصویر استریو و مختصات جهان را در سیستم مختصات سه‌بعدی واقعی استخراج کردیم. (2) استخراج منطقه هدف متحرک (O-DHS). ما ناحیه هدف متحرک را در دنباله تصویر دوربین سمت چپ با استفاده از جریان نوری با جابجایی بزرگ HS شناسایی کردیم و از مثلث‌سازی Delaunay برای حذف ناحیه انسداد در میدان جریان نوری استفاده کردیم تا میدان جریان نوری هدف متحرک دقیق‌تری به دست آوریم. Otsu برای تعیین مقدار آستانه جریان نوری برای استخراج پیش زمینه متحرک استفاده شد. (3) تطبیق عمق استریو متراکم تصاویر استریو (S-DM). برای تعیین رابطه تطابق بین تصاویر چپ و راست، الگوریتم تطبیق عمیق استریو برای به دست آوردن رابطه تطبیق نقطه متراکم جفت تصویر استریو استفاده شد، و الگوریتم تطبیق، تطابق عمیق و اصل محدودیت تطبیق استریو را در هم آمیخت. چارچوب الگوریتم این مقاله در نشان داده شده استشکل 1 .

2.2. روش اندازه گیری محلی سازی بصری دوچشمی

دید استریو موازی دوچشمی درک انسان از عمق محیط اطراف را با دو چشم تقلید می کند تا اطلاعات سه بعدی یک صحنه را به دست آورد. بر اساس اصل مثلث بندی، از دو دوربین با سطوح تصویربرداری همسطح برای تصویربرداری از یک صحنه از زوایای مختلف برای به دست آوردن اختلاف و بازیابی اطلاعات سه بعدی استفاده می شود. همانطور که در شکل 2 نشان داده شده است ، Ol و r به عنوان موقعیت های مرکز نوری دوربین های چپ و راست تعریف می شوند l X l Y l Z l و مختصات دوربین چپ و راست هستند. بفاصله بین دو نقطه مرکز نوری l و r است که فاصله خط پایه نامیده می شود. فاصله کانونی دوربین f است . سیستم مختصات دوربین سمت چپ به عنوان سیستم مختصات دوربین دوچشمی استفاده می شود. P(X, Y, Z) مختصات نقطه فضایی سه بعدی سیستم مختصات دوربین دوچشمی است. مختصات نقطه طرح در سیستم مختصات تصویربرداری دوربین چپ و راست Pl xl ، yl ) و Pr ( xr ، r ) است .

طرح ریزی مدل بر روی سطح طرح ریزی XOZ، که مدل ویسون نشان داده شده در شکل 2 پروژه به صفحه مختصات XOZ است. (همانطور که در شکل 3 نشان داده شده است )، C به عنوان فاصله بین نقطه تلاقی خط عمودی از نقطه P تا صفحه تصویربرداری دوربین و نقطه طرح Pr نقطه P در صفحه تصویربرداری سمت راست تعریف می شود. بر اساس مثلث های مشابه، می توانیم به دست آوریم:

(1)ز-fز=سیسی+ایکسr(2)ز-fز=ب-ایکسل-سی-ایکسrب-سی-ایکسr(3)ایکسایکسل=زf.

می توانیم دریافت کنیم سی=بایکسr/ایکسل-ایکسr، و با جایگزینی آن به معادله (1)، می توانیم محاسبه کنیم ز:

ز=بfایکسل-ایکسr.

سپس، د=ایکسل-ایکسrبه عنوان نابرابری تعریف می شود، بنابراین معادله (4) را می توان به صورت زیر بازنویسی کرد:

ز=بfد.

سپس این به معادله (3) جایگزین می شود:

ایکس=زایکسلf.

علاوه بر این، می‌توانیم مدل را بر روی سطح طرح YOZ برای محاسبه Y بپردازیم :

Y=زyلf.
بنابراین، برای به دست آوردن مختصات سه بعدی هدف، نقطه طرح ریزی مختصات می شود پلایکسل،yلو پrایکسr،yrدر دوربین چپ و راست سیستم مختصات تصویربرداری باید محاسبه شود و مختصات طرح ریزی را می توان با تبدیل مختصات پیکسل تصویر به دست آورد.

با توجه به مدل سوراخ سوزن، رابطه تبدیل بین مختصات دوربین پایکس،y،zو مختصات پیکسل تصویر ممتر،nاست:

اسمترn1=fایکس0δایکس0fyδy001آر تیایکسyz1

جایی که اسعامل مقیاس است. fایکسو fyنشان دهنده فاصله کانونی موثر در جهت X و Y.δایکسو δyنشان دهنده مختصات مرکز تصویر. fایکس، fy، δایکس، و δyپارامترهای داخلی دوربین رنگی استریو هستند. R و T نشان دهنده موقعیت و جهت گیری دوربین در دنیای واقعی هستند که پارامترهای خارجی دوربین استریو هستند. مقادیر پارامتر بالا را می توان با کالیبراسیون دوربین رنگی استریو به دست آورد (به بخش 4 مراجعه کنید ). علاوه بر این، صفحه مختصات با صفحه فضایی همزمان است. در نظر گرفته می شود که مقدار z 0 است که می توان آن را به صورت زیر ساده کرد:

اسمترایکسمترy1=fایکس0δایکس0fyδy001آر تیایکسy1.
برای به دست آوردن به ترتیب مختصات پیکسلی تصاویر چپ و راست را جایگزین کنید پلایکسل،yلو پrایکسr،yrو رابطه معادلات (5)-(7) می تواند محاسبه مختصات سه بعدی سیستم مختصات دوربین ( X ، Y و Z ) را فعال کند.

2.3. تشخیص حرکت و استخراج

در این مقاله، از الگوریتم‌های همجوشی جریان نوری هرمی HS و مثلث‌سازی Delaunay [ 36 ] برای تشخیص هدف متحرک در تصاویر قاب مجاور استفاده شد. من1و من2توسط دوربین سمت چپ به دست آمده است. ابتدا اصطلاح داده مدل جریان نوری HS سنتی بهبود یافت، خطاهای ناشی از تغییرات نور و نویز تصویر کاهش یافت و دقت محاسبه مدل جریان نوری HS بهبود یافت. سپس، مثلث سازی Delaunay (در بخش 2.3.2 تأیید شد) برای تعیین اینکه آیا پیکسل ها دارای جریان نوری متعلق به یک پس زمینه یا منطقه هدف هستند استفاده شد. در حالی که همه مناطق در مرز ناحیه هدف متحرک رخ می دهند، انسداد ممکن است رخ ندهد. بنابراین، مثلث‌سازی Delaunay برای تشخیص ناحیه انسداد از ناحیه لبه تصویر استفاده شد، در نتیجه جریان نوری ناحیه انسداد را بهینه کرد و دقت و صحت میدان جریان نوری HS را بهبود بخشید تا دقت و صحت بهبود یابد. تشخیص هدف متحرک در نهایت، Otsu برای به دست آوردن مقدار آستانه جریان نوری برای به دست آوردن محدوده منطقه هدف متحرک به کار گرفته شد. ما این روش شناسایی و استخراج هدف متحرک را O-DHS نامیدیم.

2.3.1. ساخت مدل جریان نوری HS

(1) اصطلاح داده

گرادیان فضایی به صورت تعریف می شود ∇3من=منایکس منy منتیتی، مشتقات جزئی گرادیان فضایی با توجه به ایکسو yجهت ها هستند ∇3منایکس=منایکسایکس منایکسy منایکستیتی، ∇3منy=منایکسy منyy منyتیتی، و بردار جریان نوری است ω=تو v 1تی. دانستن از فرض روشنایی ثابت، (∇3من)تیω=0. اقلام داده را می توان به صورت زیر تعریف کرد:

EDآتیآ=🔻Ω{Λψωتی(کپ∗∇3من(∇3من)تی)ω}دایکس،

جایی که Λضریب انسداد است که یک تابع باینری بر اساس اطلاعات انسداد قبلی است که در آن Λ=1یعنی نقطه مسدود نیست و Λ=0به این معنی که نقطه مسدود شده است (تعیین انسداد به طور مفصل در بخش 2.3.2 توضیح داده شده است ). ψایکس=ایکس2+ξ2یک تابع جریمه غیر مربعی است که در آن 0<ξ≪1، و ξدر این مقاله 0.001 است. از آنجایی که جریان نوری HS توانایی ضعیفی در سرکوب نویز دارد، Weickert [ 37 ] پیشنهاد کرد که ثبات محلی جریان نوری Lucas Kanade (LK) را برای کاهش نویز معرفی کند. مدل های HS و LK را می توان با پیچیدگی تابع گاوسی ادغام کرد کپ، و کپیک تابع هسته گاوسی با شعاع را نشان می دهد ρ. حفاظت از گرادیان برای حل مشکل تغییرات نور که تنها با حفاظت در مقیاس خاکستری قابل حل نیست، معرفی شده است. اصطلاح داده عبارت است از:

EDآتیآ=🔻ΩΛψکρ∗ωتیγ1∇3من∇3منتی+γ2∇3منایکس∇3منایکستی+∇3منy∇3منyتیωدایکسدy،

جایی که γعبارت خاکستری متعادل کننده و ضریب ترم گرادیان است. اجازه دهید جی0=∇3من∇3منتی، جیایکس=∇3منایکس∇3منایکستی، و جیy=∇3منy∇3منyتی، سپس تابع به صورت زیر ساده می شود:

EDآتیآ=∬ΩΛψکρ∗ωتیγ1جی0+γ2جیایکس+جیyωدایکسدy.
(2) اصطلاح صافی

ما استراتژی همواری همسانگرد اصطلاح همواری جهانی را اتخاذ کردیم که عبارت است از:

Eاسمترooتیساعت=∬Ωψ”∇تو”2+”∇v”2دایکسدy.
∇تو=توایکس،توyتی، ∇v=vایکس،vyتی، و ضریب وزنی عبارت صافی است λسمترo=انقضا-5∇2منایکس.
(3) پالایش چند لایه با وضوح چندگانه

برای حل مشکل جریان نوری HS که قادر به تشخیص اهداف متحرک بزرگ نیست، لایه‌بندی هرمی با وضوح چندگانه را برای اصلاح جریان نوری معرفی کردیم و تصاویر فریم پیوسته را از پایین به بالا با درونیابی دوخطی برای ساخت هرم پایین‌آوری کردیم. تعداد لایه ها از پایین به بالا می باشد منک،ک=0،1،2،⋯n; مقدار جریان نوری ωک-1=توک-1 vک-1تیمحاسبه شده در لایه k -1 هرم، مقدار جریان نوری اولیه است ω0کاز لایه k بعدی که به آن اضافه می شودکمقدار جریان نوری لایه HS دωک=دتوک دvکتیبرای به دست آوردن مقدار جریان نوری اولیه لایه k +1 بعدی، تا انتهای انتهای هرم، و در نتیجه مقدار جریان نوری نهایی حاصل می شود. مقدار جریان نوری در بالای هرم به صورت تعریف شده است ω0=00تی. ضریب نمونه برداری از درون یابی دو خطی مورد استفاده در این مقاله 0.95 و تعداد لایه ها n=40. تابع این است:

ωک+1=ωک+دωک=توک+دتوک vک+دvکتی.

2.3.2. تعیین ناحیه انسداد مثلثی Delaunay

در این مقاله، با توجه به روش تشخیص انسداد هندسی Delaunay ارائه شده توسط کندی و همکاران. [ 37 ]، روش معرفی شده در [ 35 ] برای تشخیص انسداد اهداف متحرک استفاده شد. ما بیشتر آن را برای تشخیص و استخراج اهداف متحرک با حذف مقدار جریان نوری تشخیص خطا در انسداد مخلوط در منطقه پیش‌زمینه هدف متحرک اعمال کردیم. این باعث بهبود دقت بخش‌بندی و استخراج اهداف متحرک شد، بنابراین ما توانستیم دقت محلی‌سازی هدف را بهبود ببخشیم.

برای موقعیت نقطه پیکسل ب=من jتیکه در من1، به جریان نوری اضافه می شود ω=تو vتیدر نقطه به عنوان نقطه مربوطه من+تو j+vاز ایکس، بنابراین تفاوت خاکستری Δمنبین من1و من2است:

Δمن=من2ب+ω-من1ب.

چه زمانی Δمن=0، خاکستری موقعیت های متناظر فریم های متوالی ثابت است، که نشان می دهد نقطه p مسدود نشده است. Λ=1در معادلات (11) – (13). چه زمانی Δمن≠0برای تعیین انسداد، مثلث سازی Delaunay بر روی نقشه تفاوت خاکستری ساخته شده است. روش خاص این است: گرفتن هر نقطه ب1من،jدر تصویر قاب قبلی من1و نقاط مختصات محله ب2من+1،jو ب3من،j+1برای تشکیل یک مثلث منطقه، از رابطه (16) برای محاسبه مقدار جریان نوری مثلث مربوطه در من2، و سپس تغییر خاکستری این مساحت مثلث محاسبه می شود. معادله این است:

ΔمنΔ=φ1Δمنب1+φ2Δمنب2+φ3Δمنب3،

جایی که φ1، φ2، و φ3وزن سه نقطه را نشان می دهد. گرفتیم φ1=φ2=φ3=13. ما تفاوت مقیاس خاکستری را بین پیکسل‌های همسایه مقایسه کردیم 20×20دور مثلث با مثلث برای تعیین انسداد نقاط همسایه. روش خاص قضاوت عبارت است از: Δمنب>ΔمنΔ، به این معنی که نقطه مسدود شده است، Λ=0، Δمنب<ΔمنΔ، یعنی نقطه مسدود نیست و Λ=1.

2.3.3. استخراج منطقه هدف متحرک

ما از Otsu برای تعیین آستانه میدان جریان نوری هدف متحرک استفاده کردیم. بنابراین، منطقه پیش‌زمینه هدف متحرک را می‌توان از ناحیه پس‌زمینه در تصویر جدا کرد و محدوده درشت منطقه هدف متحرک استخراج شد. از آنجایی که تصویر تحت تأثیر نویز قرار می‌گرفت، میدان جریان نوری به‌دست‌آمده به‌طور یکنواخت توزیع نمی‌شد، که باعث می‌شد تصویر پیش‌زمینه باینری به‌دست‌آمده، لبه‌های هدف ناهموار، تخلخل و مناطق کوچک پیش‌زمینه غیرضروری به جز هدف متحرک داشته باشد. برای به دست آوردن یک هدف متحرک پیش زمینه با لبه های صاف، همانطور که در شکل 4 نشان داده شده است، ما عملیات مورفولوژیکی خوردگی، انبساط، عملیات باز کردن و بسته شدن را تجزیه و تحلیل کردیم، به این ترتیب تعیین کردیم که منطقه پیش زمینه هدف متحرک را می توان با ابتدا بستن و سپس عملیات باز کردن به دست آورد.

2.4. تطبیق عمیق استریو

تطبیق عمیق (DM)، پیشنهاد شده توسط Weinzaepfel و همکاران. [ 38 ، 39]، یک الگوریتم تطبیق سریع تصویر متراکم شبیه به ساختار شبکه عصبی کانولوشن است. این ویژگی‌های محلی تصویر را با ترکیب الگوریتم جریان نوری با نمونه‌گیری متراکم، ساختار هرمی، پیچیدگی متقاطع و ویژگی‌های محلی توصیفگر حداکثر ادغام توصیف می‌کند. این می تواند با تغییر شکل غیر صلب و مناطق با بافت های مکرر مطابقت داشته باشد و می تواند جفت های متراکم منطبق را به دست آورد. در مقایسه با سایر الگوریتم‌ها، DM از مزایای راندمان محاسباتی بالا و دقت بالا برخوردار است. الگوریتم DM از ناحیه بلوک پیکسل در اطراف یک نقطه به عنوان توصیف کننده این نقطه استفاده می کند، یک هرم همبستگی بین تصاویر چپ و راست با توجه به اندازه گیری شباهت بین ناحیه بلوک دو تصویر دوربین چپ و راست ایجاد می کند که باید مطابقت داده شود. در همان لحظه، و سپس یک رابطه تطبیقی ​​از بالای هرم ایجاد می کند تا به پایین هرم تکرار شود تا تطابق بین رابطه تصویر دوربین چپ و راست به دست آید، شامل دو مرحله: (1) محاسبه سطح کاشی همبستگی از پایین به بالا برای ایجاد هرم همبستگی؛ (2) انتقال تطبیق از بالا به پایین. این مقاله از پنج محدودیت تطبیق استریو استفاده کرد – محدودیت Epipolar، محدودیت منحصر به فرد، محدودیت سازگاری، محدودیت تداوم، و محدودیت نظم. اینها در الگوریتم تطبیق عمیق ادغام شدند تا با جفت‌های تصویر استریو مطابقت داشته باشند، و ما آن را تطبیق عمیق استریو (S-DM) نامیدیم. (1) محاسبه سطح کاشی همبستگی از پایین به بالا برای ایجاد هرم همبستگی. (2) انتقال تطبیق از بالا به پایین. این مقاله از پنج محدودیت تطبیق استریو استفاده کرد – محدودیت Epipolar، محدودیت منحصر به فرد، محدودیت سازگاری، محدودیت تداوم، و محدودیت نظم. اینها در الگوریتم تطبیق عمیق ادغام شدند تا با جفت‌های تصویر استریو مطابقت داشته باشند، و ما آن را تطبیق عمیق استریو (S-DM) نامیدیم. (1) محاسبه سطح کاشی همبستگی از پایین به بالا برای ایجاد هرم همبستگی. (2) انتقال تطبیق از بالا به پایین. این مقاله از پنج محدودیت تطبیق استریو استفاده کرد – محدودیت Epipolar، محدودیت منحصر به فرد، محدودیت سازگاری، محدودیت تداوم، و محدودیت نظم. اینها در الگوریتم تطبیق عمیق ادغام شدند تا با جفت‌های تصویر استریو مطابقت داشته باشند، و ما آن را تطبیق عمیق استریو (S-DM) نامیدیم.

2.4.1. ایجاد هرم انجمن

از آنجایی که الگوریتم HOG (Histogram of Oriented Gradient) [ 40 ] می تواند ویژگی های محلی یک تصویر را بهتر توصیف کند، از HOG برای توصیف ویژگی های تمام پیکسل های تصویر استفاده شد. ساختار هرمی می تواند مشکل اطلاعات ناقص ویژگی های تصویر را در یک مقیاس حل کند. استفاده از تصاویر در مقیاس کوچک برای پردازش تطبیق مناطق با بافت های تکراری آسان تر و دقیق تر است. بنابراین، برای به دست آوردن تطابق دقیق و متراکم بین تصاویر دوربین چپ و راست، هرم مرتبط با HOG و اهرام می تواند به طور دقیق و جامع تصاویر دوربین چپ و راست را مطابقت دهد.

تصویر منلو منrتصاویر دوربین های چپ و راست را به طور همزمان نشان می دهد و تعداد سطرها و ستون ها L و R است. پردازش در مقیاس خاکستری انجام می شود منلو منr. تصویر منلبه بخش های بدون همپوشانی با اندازه تقسیم می شود 4×4، و بخش بندی شده است 4×4تصاویر بلوک، تصاویر بلوک اولیه نامیده می شوند، به طوری که تأثیر نواحی تغییر شکل در آنها کاهش می یابد منلو منrناشی از زوایای مختلف یا جابجایی تصویر بلوک اولیه از 4×4به چهار زیرمنطقه هم اندازه تقسیم می شود و چهار زیر منطقه در محدوده -26درجه،26درجهچرخش داخلی و با تغییر شکل از 1/2،3/2تناسب، قسمت. شباهت را می توان به عنوان میانگین تشابه چهار واحد چهارگانه در نظر گرفت. بنابراین، شباهت بین منلو منrاست:

داچل،اچr=14∑من=14مترآایکس داچمنل،اچمنrnمن،

جایی که اچلو اچrهستند 4×4بلوک های اولیه همان ردیف در تصویر دوربین سمت چپ منلو تصویر دوربین مناسب منr; اچمنلو اچمنrnمنمطابق با توصیفگرهای ویژگی ربع منفرد. د·یک تابع متریک شباهت با محدوده مقدار است 0، 1.

سپس هموارسازی گاوسی بر روی بلوک اولیه قطعه‌بندی شده H با پارامتر انجام می‌شودσ1=1برای کاهش اعوجاج ناشی از فشرده سازی تصویر. یک هیستوگرام از گرادیان جهت هر بلوک محاسبه می‌شود که به دو مرحله تقسیم می‌شود: (الف) استفاده از عملگر لاپلاسی برای انحراف بلوک H برای به دست آوردن مقدار گرادیان. ∇ایکس،∇y، محاسبه مقدار گرادیان در هشت جهت cos(π/4)من،گناه(π/4)من|من=1،2،3⋯8نمایش غیر منفی برای به دست آوردن مقدار گرادیان هر پیکسل در هشت جهت گفته شده. ب) به منظور کاهش تأثیر نور و سایه های محلی تصویر، 1+ه-τایکس/1+ه-τایکس  τ=0.2برای اصلاح استفاده می شود. سپس، هموارسازی گاوسی دوباره برای به دست آوردن هیستوگرام جهت گرادیان استفاده می شود. با کاهش مقدار وزن در جهت کوچکتر و افزایش مقدار وزن در جهت بزرگتر می توان تاثیر مقدار جهت بزرگتر را افزایش داد. فرمول شباهت توصیفگر ویژگی پیکسل به صورت زیر است:

داچل،اچr=116∑من=14∑j=14(اچمن،jل)تی·اچمن،jr.

سپس نمودار ارتباطی زیرین هرم بر اساس آن محاسبه می شود داچل،اچrپیچیدگی اچمن،j·هیستوگرام جهت گرادیان را نشان می دهد و منمتر،پ،qrبرای نمایش تصویر بلوک مرتبط گراف تداعی تعریف شده است. {پ،q| پ∈2،6،10⋯L-2،q∈2،6،10⋯آر-2}به این معنی است که نقطه مرکزی تصویر بلوک است پ،q; m یعنی اندازه بلوک است متر×متر (متر=4⋅2تی. t تعداد تکرارهای فعلی را نشان می دهد). منqلنشان دهنده ناحیه جستجویی است که شکل در همان خط افقی در تصویر سمت راست قرار دارد. نمودار ارتباط سی4،پرا می توان از پیچیدگی به دست آورد من4،پ،qrو منqلمطابق با معادله (19). برای هر نقطه پrدر هواپیمای تصویربرداری سمت راست منل، سی4،پپrنشان دهنده درجه تطابق بین من4،پلو من4،پr.

سی4،پ،q=من4،پ،qrتی⊗منqل.

یک نمودار ارتباطی از لایه قبلی با تجمیع تصاویر بلوک کوچکتر در پایین برج طلایی نمودار انجمن در تصویر بلوک بزرگتر به دست می آید، به این معنی که متر×متربلوک توسط چهار بلوک اندازه تصاویر جمع می شود متر2×متر2. منمتر،پ،q=منمتر2، پ+متر4سمن،q+متر4سمن|من=1،2،3،4،، س1=-1،-1تی،س2=-1،1تی،س3=1،-1تی، و س4=1،1تی. نمودار ارتباط جمع‌آوری شده به صورت زیر است:

سیمتر،پ،qپ،qr=14∑من=14سیمتر2،پ+متر4سمن،q+متر4سمنپ،qr.
نمودار همبستگی انباشته به‌دست‌آمده برای به دست آوردن a زیرنمونه‌برداری می‌شود 1/2نمودار همبستگی لایه قبلی و روش max-pooling برای عبور حداکثر محلی استفاده می شود. سپس، هرم دو بار از پایین به بالا کاهش می یابد، که این است α: سی(پ،q)r→حداکثراس∈-1،0،12 سی(پ،q)r+اس.
با افزایش تعداد تکرارهای ناشی از نمونه گیری فرعی، تنوع فضایی نمودار ارتباط کاهش می یابد. برای حذف اثر دو کاهش در هر تکرار، یک ضریب ثابت 2 به تابع تکرار شده اضافه می شود، به عنوان: β:سی(پ،q)r → سی2(پ،q)r. این باعث می شود مقدار حرکت منطقه بلوک اسبودن -1،0،12، به این معنا که، {سمن|من=1⋯4}. نمونه گیری فرعی است: α:سی(پ،q)r → حداکثراس∈سمنمن=1،2،3،4 سی(پ،q)r+سمن+اس. Dℓمنبه عنوان مقدار ترجمه مربوطه تعریف می شود، Dℓمن:سی(پ،q)r→سی(پ،q)r-ℓمن،من=1،2،3،4.

از آنجا که max-pooling فقط حداکثر مقدار همبستگی را حفظ می کند، به منظور حفظ استحکام مقادیر همبستگی بزرگتر در طول فرآیند تکرار، یک نگاشت غیرخطی γ معرفی می شود: γ:سی(پ،q)r→سی(پ،q)rμو تابع تکرار همبستگی نهایی به صورت زیر است:

سیمتر،پ(پ،q)r=γ14∑من=14Dℓمن∗β∗α·سیمتر2، پ+متر4سمن،q+متر4سمنqr.

2.4.2. انتقال تطبیق هرم انجمن

با استفاده از تصویر بلوک مرتبط احتمالی در لایه های بالایی هرم به عنوان یک تصویر بلوک بریده، مطابقت مطابق به لایه پایین هرم منتقل می شود و به نمودار ارتباط لایه پایین بازگردانده می شود. تطابق بهینه یک تصویر در سطوح مختلف هرم برای تشکیل کمترین نتیجه تطابق انتخاب شده است. بلوک برش منمتر،پاز چهار ربع فرعی تشکیل شده است منمتر،پ،q،من|من=1،2،3،4; به دلیل نمونه گیری حداکثر جمع آوری،  منمتر،پ،qr،منمربوط به منطقه بلوک است منمتر2،پ،qr+سمن+ℓمندر لایه بعدی، و ℓمننشان دهنده جابجایی است:

ℓمن=argmax سیمتر2،پ،qr+سمن2پ،qr+سمن+ℓمن، سمن∈-1،0،12

پ،qمنبه عنوان … تعریف شده است پ،q+سمنو (پ،q)منrمانند 2(پ،q)r+سمن+ℓمن; اجازه دهید آرپ،q،پ،qr،متر،ℓنشان دهنده امتیاز انجمن است، با m نشان دهنده اندازه بلوک است متر×متر، مختصات پیکسل مرکزی p یا است پrو درجه منطبق بودن آن ℓ. بدین ترتیب، آراست:

آرپ،q،پ،qr،متر،ℓ=پ،q،پ،qr،متر متر=4،

یا

آرپ،q،پ،qr،متر،ℓ=پ،qمن،(پ،q)منr،متر2،ℓ+سیمتر2،پمنrپr متر≠4.

کبه عنوان … تعریف شده است پ،q،پ،qr،متر،ℓ; با در نظر گرفتن وضعیت تطبیق در بلوک برش ک=پ،q،پ،qr،متر،سیمتر2،پ،qپ،qrو سپس به پایین هرم بازگشت، انتقال تطبیق دارای بلوک های همپوشانی بسیاری است. در اینجا، ما فقط بلوکی را با بالاترین امتیاز ارتباطی عقب نشینی کردیم، در حالی که آنهایی که امتیاز کمتری داشتند حذف شدند. مطابق رابطه (23)، تطابق عمیق استریو به صورت زیر بدست می آید:

کE=آر∗آر∗⋯∗آرک

در نهایت، نتیجه تطبیق کEبرای یافتن بهترین جفت های منطبق فیلتر شده است. در جزئیات، با توجه به کEنتایج مطابق، تصاویر منلو منrبا مرکز برگردانده می شوند پ،qلو پ،qلبا اندازه میدان 4 × 4 به عنوان بهترین جفت تطبیق. حالت مطلوبپ،qل است تعریف شده است مانند حالت مطلوبپ،qr، به این معنی که پ،qلو پ،qrبهترین جفت تطبیق هستند، که در آن پ،qل=پ،qبلوک اولیه مربوطه در صفحه تصویربرداری دوربین سمت چپ مربوط به بلوک مرتبط است، بنابراین نتیجه تطبیق می تواند به صورت زیر بیان شود:

ک∗=پ،q،پ،qr،متر|Oپتیمنمترتومترپ،qل=Oپتیمنمترتومترپ،qr،پ،q،پ،qr،متر∈کE.
2.4.3. تست سازگاری
با توجه به محدودیت‌های سازگاری تطابق استریو، موقعیت منبع در تصویر سمت چپ در مقایسه با موقعیت هدف در تصویر سمت راست باید با موقعیت تطبیق پشت تصویر از سمت راست برای مطابقت با تصویر سمت چپ یکسان باشد. بر این اساس، تصویر سمت راست را به عنوان تصویر مبدأ و تصویر سمت چپ را به عنوان تصویر هدف گرفتیم، بخش 2.4.1 و بخش 2.4.2 را تکرار کردیم تا جفت نقاط تطبیق را تعیین کنیم تا مطابقت مشابه نتایج قبلی را انتخاب کنیم. آنها به عنوان بهترین نتایج تطبیق نهایی.

3. نتایج

3.1. تشخیص حرکت و تجزیه و تحلیل دقت استخراج

ما چهار مجموعه از تصاویر فریم پیوسته با وضوح 326 × 1024، شبیه سازی شده در مجموعه داده های MPI Sintel [ 41 ] گرفتیم. ما الگوریتم را در این مقاله با LK [ 42 ]، هرم HS [ 43 ]، Black and Anandan (B&A) [ 44 ] و Brox [ 45 ] مقایسه کردیم. نتایج تشخیص روش‌های رایج جریان نوری برای بررسی اینکه آیا الگوریتم دقت خاصی دارد یا خیر مقایسه شد. همانطور که در شکل 5 نشان داده شده است ، می توان مشاهده کرد که روش جریان نوری با جابجایی بزرگ HS که با Delaunay ترکیب شده است، نتایج تشخیص بهتری به دست آورد. نرخ حذف و نرخ نادرست هدف پیش زمینه به عنوان شاخص ارزیابی عملکرد تشخیص هدف استفاده شد. میزان حذف است هOآر=نoمترمنسسمنonننoمترمنسسمنon/ن×100%، نشان دهنده نرخ تعداد پیکسل های هدف متحرک شناسایی نشده به تعداد کل پیکسل ها است. نرخ کاذب است هافآر=نfآلسهن×100%، نشان دهنده نرخ تعداد پیکسل های هدف غیر متحرک به تعداد کل پیکسل هایی است که به اشتباه شناسایی شده اند. نتایج مقایسه میزان حذف و نرخ نادرست در شکل 6 نشان داده شده است. در شکل 6 الف، نرخ تشخیص از دست رفته الگوریتم ما کمتر از سایر الگوریتم‌ها است. در شکل 6ب، نرخ نادرست الگوریتم ما برای توالی کمین کمی بیشتر از هرم HS و روش‌های جریان نوری B&A است، اما نرخ تشخیص از دست رفته دنباله کمین به طور قابل‌توجهی کمتر از الگوریتم‌های دیگر است، همانطور که نادرست است. نرخ الگوریتم ما به طور خلاصه، روش شناسایی و استخراج هدف متحرک در این مقاله موثر بوده و قادر است خطای موقعیت یابی نهایی هدف ناشی از خطای استخراج منطقه هدف را کاهش دهد.

3.2. تجزیه و تحلیل تطبیق عمیق استریو

به منظور تأیید اثربخشی تطابق عمیق استریو، ما از 10 جفت تصویر استریو از مجموعه داده‌های کلی استریو Middlebury از مجموعه داده‌های 2014 [ 46 ] برای مجموعه آموزشی برای اثبات صحت استفاده کردیم. نتایج مقایسه با روش‌های S-Fast، S-Harris، S-Sift و S-Surf (نماینده روش‌های تطبیق Fast، Harris، Sift و Surf پس از فیلتر و اصلاح تحت محدودیت‌های تطبیق استریو) در شکل نشان داده شده است. 7 . با مقایسه تعداد نقاط تطبیق و میزان تطابق صحیح، نتایج در جدول 1 نشان داده شده است. دقت به معنای نسبت تطابق صحیح به کل نقاط تطبیق شناسایی شده است. از شکل 7 قابل مشاهده استکه نتایج تطبیق روش‌های دیگر در یک ناحیه خاص متمرکز شده‌اند، در حالی که نتایج روش ما با جفت‌های نقطه تطبیق به طور متراکم و یکنواخت در سراسر تصویر توزیع شده‌اند. از آنجایی که مکان‌یابی هدف، مقدار متوسط ​​موقعیت مختصات نقطه ناحیه هدف را اتخاذ می‌کند، روش ما در بهبود دقت محلی‌سازی بهتر است. همانطور که از جدول مشخص است، تعداد نقاط تطبیق روش ما بسیار بیشتر از الگوریتم های دیگر است و دقت اساساً بیشتر است. دقت تطبیق لوله 2.96 درصد کمتر از S-Fast است، اما تطبیق S-Fast تنها به 68 جفت نقطه که نسبتاً متمرکز هستند، بسیار کمتر از 3406 جفت نقطه روش ما، و دقت S-Fast در Play-Table تنها 73.33 درصد است که 18.96 درصد کمتر از ماست. دقت در Teddy 1.69٪ کمتر از F-Harris است، اما دقت F-Harris در Pipes تنها 45.33٪ است. بنابراین در مقایسه با روش های دیگر، تطبیق عمیق استریو در این مقاله از دقت و پایداری بالاتری برخوردار است و جفت نقاط تطبیق به طور یکنواخت متراکم هستند که برای مکان یابی اهداف متحرک مناسب تر است.

3.3. نتایج تجربی جفت تصاویر واقعی استریو

در این مقاله، دقت محلی‌سازی با محاسبه موقعیت اهداف متحرک در صحنه‌های واقعی، که عمدتاً شامل آزمایش‌های جامع کالیبراسیون دوربین، تشخیص و استخراج هدف متحرک، جفت‌های تصویر استریو، تطبیق عمیق استریو و موقعیت‌یابی هدف بود، تأیید شد. توالی جفت تصویر اولیه توسط 1280 × 720 پیکسل و 30 فریم بر ثانیه برای جفت تصاویر چپ و راست و ساختار موازی دوربین دوچشمی شامل دو لنز با فوکوس ثابت گرفته شد. داده های جفت تصویر توسط دوربین استریو (نشان داده شده در شکل 8 ) گرفته می شود. رایانه لنوو با پردازنده Intel Core i5 2.50 گیگاهرتز داده ها را پردازش می کند و دوربین دوچشمی از طریق یک خط usb3.0 با رایانه پردازش تصویر ارتباط برقرار می کند.
برای به دست آوردن محلی سازی صحیح، دوربین دوچشمی باید قبل از تطبیق استریو کالیبره شود تا تصویری که باید مطابقت داده شود اصلاح شود. در این مقاله دوربین دوچشمی با استفاده از جعبه ابزار کالیبراسیون MATLAB 2016b برای بدست آوردن پارامترهای داخلی کالیبره شد. fایکس، fy ، δایکس، و δyو پارامترهای خارجی R و t .

داده های تجربی با استفاده از یک حسگر USB دوچشمی با وضوح 1280 × 720 برای به دست آوردن توالی تصویر به دست آمد. ابتدا دوربین دوچشمی کالیبره شد و ماتریس پارامترهای داخلی دوربین های چپ و راست به صورت تعریف شد. ∗لهfتیو ∗rمنgساعتتی. روش کالیبراسیون Zhengyou Zhang مقدار ماتریس پارامتر داخلی دوربین دستگاه دوچشمی را در این آزمایش اندازه‌گیری کرد:

fایکس0δایکس0fyδy001لهfتی=1534.240560.7601532.80299.25001،(10)fایکس0δایکس0fyδy001rمنgساعتتی=1533.100516.5701531.20317.82001.

ماتریس ترجمه و بردار ترجمه عبارت بودند از:

آر=0.99-0.0160.030.010.990.01-0.03-0.010.99،تی=92.945.264.41.
پس از کالیبراسیون، از پارامترهای اعوجاج دوربین و ماتریس پارامتر داخلی برای تصحیح تصویر استفاده شد.
پس از پیش پردازش تصاویر فریم به دست آمده، محاسبه میدان جریان نوری روش بهبود یافته جریان نوری HS شیفت بزرگ با دوتایی کردن Otsu و ابتدا بسته شدن و سپس باز کردن عملیات مورفولوژیکی برای استخراج پیش زمینه متحرک هدف ترکیب شد. نتایج استخراج منطقه هدف در شکل 9 نشان داده شده است.
سپس، تطبیق استریو روی جفت تصویر استریوی تصحیح شده انجام شد و ناحیه استخراج هدف متحرک برای استخراج جفت نقطه تطبیق استریو از ناحیه هدف متحرک ترکیب شد. سپس، نتایج تطبیق استریو با نتایج تطبیق استریو Fast، Harris، Sift و Surf مقایسه شد. همانطور که در شکل 10 و جدول 2 نشان داده شده است ، تطبیق استریو هریس جفت نقاط تطبیقی ​​را در ناحیه هدف متحرک در تمام تصاویر 80-84 فریم تشخیص نداد. در همین حال، تطبیق سریع استریو تنها یک نقطه تطابق را در دنباله‌های تصویر 80 و 83 شناسایی کرد و مکان نقطه تشخیص در نیمه بالایی ناحیه هدف متحرک بود که باعث y اندازه‌گیری شد.بزرگتر باشد و فقط دو فریم نقاط تطبیق را در ناحیه هدف شناسایی کردند. تعداد زیادی از جفت نقطه تطبیق شناسایی شده توسط الگوریتم‌های تطبیق استریو Sift و Surf در یک منطقه کوچک در قسمت بالایی منطقه هدف متمرکز شدند. بیشتر مناطق هدف متحرک به سختی می‌توانستند جفت‌های نقطه تطبیق را تشخیص دهند، که باعث خطاهای اندازه‌گیری می‌شد. خطای بین مقادیر x و y زیاد بود. الگوریتم تطبیق استریو در این مقاله به استحکام بالایی حتی در نواحی بافت مکرر هدف متحرک دست یافت و جفت نقطه تطابق استریوی شناسایی شده در ناحیه هدف به طور مساوی در محدوده منطقه هدف متحرک توزیع شد و در نتیجه دقت بیشتری به دست آمد. مقادیر مختصات
در نهایت، مختصات سه بعدی جفت نقطه تطبیق استریو مطابق روش بخش 2.2 محاسبه شد و مختصات مرکزی ناحیه هدف متحرک به عنوان مقادیر مختصات سه بعدی هدف مطابق با روش مرکز به دست آمد. نقطه مرکزی اپتیکال دوربین سمت چپ مبدأ، موازی با محور پایه دوربین دوچشمی بود. جهت دوربین سمت راست جهت محور x مثبت بود ، در حالی که محور پایه دوربین دوچشمی عمودی جهت مثبت محور y بود و صفحه دوربین عمودی جهت مثبت محور z بود که مقدار مختصات سه بعدی را مشخص می کند. هدف متحرک نتایج در نشان داده شده استجدول 3 ، مقادیر x و z مختصات واقعی با نقاط مدفون و مقادیر y با تنظیم ارتفاع دوربین برای سازگاری با مرکز ثقل فرد به دست آمده است. مختصات محاسبه شده مقدار مختصات سه بعدی هدف متحرک بود که توسط جفت نقطه تطبیق استریو بدست آمده توسط هر الگوریتم تطبیق استریو به دست آمد، در حالی که مختصات واقعی مختصاتی بود که از اندازه گیری واقعی بدست می آمد. علاوه بر این، زمان های پردازش در جدول 4 نشان داده شده است. نتایج تجربی ثابت کرد که در مقایسه با سایر الگوریتم‌های تطبیق، استحکام و دقت بالاتر است و می‌تواند نیاز محلی‌سازی واقعی را برآورده کند.

4. بحث و نتیجه گیری

در این مقاله، یک دوربین نوری ساختار موازی دوچشمی برای به دست آوردن داده های تصویر دوچشمی برای اندازه گیری اطلاعات محلی سازی سه بعدی اجسام متحرک استفاده شد. با توجه به داده های تصحیح تصویر، برد ناحیه هدف متحرک با استفاده از تصویر قاب پیوسته دوربین سمت چپ شناسایی شد که بر مشکل فاصله استخراج شده از ناحیه سایه تشخیص هدف از فاصله واقعی غلبه کرد. در نهایت، با توجه به اصل اندازه گیری مختصات سه بعدی دید استریو و پارامترهای کالیبراسیون مربوطه، نقاط تطبیق ناحیه جسم متحرک محاسبه شد. با استفاده از داده های شبکه، مختصات سه بعدی اجسام متحرک با روش شکل قلب محاسبه شد.
هدف از تحقیق ما بهبود دقت بخش‌بندی و دقت تطبیق استریو اهداف متحرک برای افزایش دقت محلی‌سازی بود. دقت محلی سازی پایین دوربین های دید موازی دوچشمی حل شد. اگرچه الگوریتم ما در محیط های داخلی دقیق تر است، اجرای واقعی آن ممکن است به تحقیقات بیشتری نیاز داشته باشد. اول از همه، الگوریتم موثر نبود، زیرا استخراج میدان جریان نوری بر اساس روش HS زمان زیادی می برد. ما چگونگی بهبود کارایی تولید میدان‌های جریان نوری با دقت بالا را در مطالعات بعدی بررسی خواهیم کرد. دوم، ما قصد داریم یک سیستم دید استریو برای جهت گیری هدف متحرک بر اساس الگوریتم خود بسازیم. در نهایت، ما قصد داریم مطالعات جهت‌یابی را در محیط‌های داخلی پیچیده مانند مراکز خرید، موزه‌ها و گالری‌ها انجام دهیم.

منابع

  1. ظفری، ف. گکلیاس، ع. Leung، KK بررسی سیستم‌ها و فناوری‌های محلی‌سازی داخلی. IEEE Commun. Surv. آموزش 2019 ، 21 ، 2568–2599. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  2. یاسین، ع. ناصر، ی. عوض، م. الدبی، ع. لیو، آر. یوئن، سی. راولفس، آر. ابوتانیوس §، E. پیشرفت های اخیر در محلی سازی داخلی: بررسی روی رویکردها و کاربردهای نظری. IEEE Commun. Surv. Tutorials 2017 , 19 , 1327–1346. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  3. Furfari، F. بعدی برای محلی سازی داخلی چیست؟ طبقه بندی، پروتکل ها و الگوهای خدمات مبتنی بر مکان پیشرفته. در مجموعه مقالات کنفرانس بین المللی 2019 در موقعیت یابی داخلی و ناوبری داخلی (IPIN)، پیزا، ایتالیا، 30 سپتامبر تا 3 اکتبر 2019. [ Google Scholar ]
  4. کیم، جی. جون، اچ. موقعیت یابی مکان مبتنی بر ویژن با استفاده از واقعیت افزوده برای ناوبری داخلی. IEEE Trans. مصرف کنید. الکترون. 2008 ، 54 ، 954-962. [ Google Scholar ] [ CrossRef ]
  5. تئولیره، سی. مارچند، ای. Eck, L. ردیابی مبتنی بر مدل سه بعدی برای مکان یابی فضای داخلی پهپاد. IEEE Trans. سایبرن. 2014 ، 45 ، 869-879. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
  6. Barsocchi، P. ارزیابی راه حل های AAL از طریق معیارهای رقابتی: رقابت بومی سازی. محاسبات فراگیر IEEE Mag. 2013 ، 12 ، 72-79. [ Google Scholar ] [ CrossRef ]
  7. داوداق، اس.پ. بارسوچی، بی. Eda, M. معماری خصوصی با طراحی برای سیستم های محلی سازی داخلی. در مجموعه مقالات کیفیت فناوری اطلاعات و ارتباطات: سیزدهمین کنفرانس بین المللی، QUATIC 2020، فارو، پرتغال، 9 تا 11 سپتامبر 2020؛ Springer Nature: برلین/هایدلبرگ، آلمان، 2020. [ Google Scholar ]
  8. Manzo، M. تطبیق تصویر مبتنی بر نمودار برای محلی‌سازی فضای داخلی. ماخ فرا گرفتن. بدانید. اضافی 2019 ، 1 ، 46. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  9. Potortì, F. ارزیابی سیستم های محلی سازی داخلی: نظرات در مورد استاندارد ISO/IEC 18305. در مجموعه مقالات کنفرانس بین المللی 2018 در موقعیت یابی داخلی و ناوبری داخلی (IPIN)، نانت، فرانسه، 24 تا 27 سپتامبر 2018. [ Google Scholar ]
  10. زامپلا، اف. رویز، ARJ; Granja، موقعیت‌یابی FS در فضای داخلی با استفاده از تطبیق نقشه کارآمد، اندازه‌گیری‌های RSS و یک مدل حرکتی بهبودیافته. IEEE Trans. وه تکنولوژی 2015 ، 64 ، 1304-1317. [ Google Scholar ] [ CrossRef ]
  11. پوتورتی، اف. کریولو، آ. جیرولامی، م. بارسوچی، پی. Traficante، E. محلی سازی جمعیت از طریق کاوشگرهای Wi-Fi. Ad Hoc Networks 2018 ، 75-76 ، 87-97. [ Google Scholar ] [ CrossRef ]
  12. وانگ، دی. وانگ، تی. ژائو، اف. ژانگ، ایکس. یادگیری نیمه نظارتی مبتنی بر نمودار برای محلی‌سازی فضای داخلی بر اساس اثر انگشت بهبود یافته است. در مجموعه مقالات کنفرانس ارتباطات جهانی IEEE 2018 (GLOBECOM)، ابوظبی، امارات متحده عربی، 9 تا 13 دسامبر 2018؛ صص 1-6. [ Google Scholar ]
  13. پوتورتی، اف. پارک، اس. کریولو، آ. پالمبو، اف. جیرولامی، م. بارسوچی، پی. لی، اس. تورس-سوسپدرا، جی. رویز، ARJ; پرز-ناوارو، آ. و همکاران مسابقه محلی سازی داخلی IPIN 2019 – توضیحات و نتایج. دسترسی IEEE 2020 ، 8 ، 206674–206718. [ Google Scholar ] [ CrossRef ]
  14. لی، تی.-جی. کیم، سی.-اچ. Cho, D.-ID یک روش SLAM کارآمد مبتنی بر حسگر بینایی تک چشمی برای روبات های سرویس داخلی. IEEE Trans. الکترون صنعتی 2018 ، 66 ، 318-328. [ Google Scholar ] [ CrossRef ]
  15. وانگ، سی. زو، ایکس. تانگ، ی. لو، ال. Feng, W. محلی سازی لیچی در یک محیط بدون ساختار با استفاده از دید استریو دوچشمی. Biosyst. مهندس 2016 ، 145 ، 39-51. [ Google Scholar ] [ CrossRef ]
  16. ژنگ، L.-W. چانگ، Y.-H. لی، Z.-Z. مطالعه ردیابی و محلی سازی ویژگی های سه بعدی با استفاده از سیستم دید استریو در مجموعه مقالات سمپوزیوم بین المللی کامپیوتر 2010 (ICS2010)، تاینان، تایوان، 16-18 دسامبر 2010. ص 402-407. [ Google Scholar ]
  17. ژانگ، ی. سو، ی. یانگ، جی. پونس، جی. کنگ، اچ. وقتی دایکسترا با نقطه ناپدید شدن ملاقات می کند: رویکرد دید استریو برای تشخیص جاده. IEEE Trans. فرآیند تصویر 2018 ، 27 ، 2176-2188. [ Google Scholar ] [ CrossRef ]
  18. شی، س. لی، سی. وانگ، سی. لو، اچ. هوانگ، Q. فوکودا، تی. طراحی و اجرای یک سیستم دید همه جانبه برای ادراک ربات. مکاترونیک 2017 ، 41 ، 58-66. [ Google Scholar ] [ CrossRef ]
  19. یانگ، ال. وانگ، بی. ژانگ، آر. ژو، اچ. وانگ، آر. تجزیه و تحلیل در مورد دقت مکان برای سیستم بینایی استریو دوچشمی. IEEE Photonics J. 2017 ، 10 ، 1-16. [ Google Scholar ] [ CrossRef ]
  20. ودل، تی. پوک، سی. زک، اچ. Bischof، DC یک الگوریتم بهبود یافته برای جریان نوری TV-L 1 . در رویکردهای آماری و هندسی به تحلیل حرکت بصری ; Springer: برلین/هایدلبرگ، آلمان، 2009. [ Google Scholar ]
  21. شوستر، جنرال موتورز; Katsaggelos، AK نظریه ای برای تخصیص بیت بهینه بین میدان برداری جابجایی و اختلاف قاب جابجا شده. IEEE J. Sel. مناطق کمون. 1997 ، 15 ، 1739-1751. [ Google Scholar ] [ CrossRef ]
  22. فتحی، م. Siyal، MY یک تکنیک تشخیص تصویر مبتنی بر تشخیص لبه مورفولوژیکی و تفاوت پس‌زمینه برای تجزیه و تحلیل ترافیک در زمان واقعی. تشخیص الگو Lett. 1995 ، 16 ، 1321-1330. [ Google Scholar ] [ CrossRef ]
  23. ژانگ، سی. چن، ز. وانگ، ام. لی، ام. جیانگ، اس. تخمین جریان نوری غیر محلی TV-L 1 قوی با تشخیص انسداد. IEEE Trans. فرآیند تصویر 2017 ، 26 ، 4055-4067. [ Google Scholar ] [ CrossRef ]
  24. چن، جی. کای، ز. لای، جی. Xie، X. PatchMatch مبتنی بر تقسیم بندی کارآمد برای تخمین جریان نوری با جابجایی بزرگ. IEEE Trans. سیستم مدار. فناوری ویدئو 2018 ، 29 ، 3595–3607. [ Google Scholar ] [ CrossRef ]
  25. لی، ز. وانگ، ک. زو، دبلیو. منگ، دی. ژانگ، ال. بازسازی استریو چند نمای تنوعی با حفظ جزئیات و آگاه از محتوا. IEEE Trans. فرآیند تصویر 2015 ، 25 ، 864-877. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  26. دلار، P. اپل، آر. بلنگی، اس. Perona، P. Fast Feature Herramids for Object Detection. IEEE Trans. الگوی مقعدی ماخ هوشمند 2014 ، 36 ، 1532-1545. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  27. هریس، سی. استفنز، ام. آشکارساز گوشه و لبه ترکیبی. در مجموعه مقالات کنفرانس Alvey Vision، منچستر، انگلستان، 15-17 سپتامبر 1988; جلد 15، صص 147–151. [ Google Scholar ]
  28. ویژگی های تصویر متمایز Lowe، DG از نقاط کلیدی Scale-Invariant. بین المللی جی. کامپیوتر. Vis. 2004 ، 60 ، 91-110. [ Google Scholar ] [ CrossRef ]
  29. بی، اچ. تویتلارس، تی. Van Gool، L. Surf: سرعت بخشیدن به ویژگی های قوی. در کنفرانس اروپایی بینایی کامپیوتر ; Springer: برلین/هایدلبرگ، آلمان، 2006; ص 404-417. [ Google Scholar ]
  30. چن، جی. خو، دبلیو. خو، اچ. لین، اف. سان، ی. شی، ایکس. تشخیص سریع خودرو با استفاده از روش طرح ریزی نابرابری. IEEE Trans. هوشمند ترانسپ سیستم 2017 ، 19 ، 2801-2813. [ Google Scholar ] [ CrossRef ]
  31. باسارو، آر.آر. کودک، سی. آلونسو، ای. Slabaugh, G. بازیابی عمق دست مبتنی بر داده با استفاده از CRRF در تصاویر استریو. محاسبات IET. Vis. 2018 ، 12 ، 666-678. [ Google Scholar ] [ CrossRef ]
  32. توفیس، سی. کیرکو، سی. Theocharides, T. یک سیستم دید استریو تعبیه شده در زمان واقعی کم هزینه برای تخمین دقیق نابرابری بر اساس فیلتر هدایت شده تصویر. IEEE Trans. محاسبه کنید. 2015 ، 65 ، 2678-2693. [ Google Scholar ] [ CrossRef ]
  33. یانگ، ی. منگ، ایکس. Gao، M. Vision سیستم ربات متحرک ترکیبی از دوربین های دوچشمی و عمقی. J. Sensors 2017 ، 2017 ، 1-11. [ Google Scholar ] [ CrossRef ]
  34. ژانگ، سی. چن، ز. وانگ، ام. لی، ام. جیانگ، اس. تشخیص انسداد حرکتی از توالی تصویر بر اساس جریان نوری و مثلث سازی دلونای. Acta Electron. گناه 2018 ، 46 ، 479-485. [ Google Scholar ]
  35. Otsu، N. روش انتخاب آستانه از هیستوگرام های سطح خاکستری. IEEE Trans. سیستم مرد سایبرن. 1979 ، 9 ، 62-66. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  36. کندی، آر. Taylor، CJ جریان نوری با تخمین انسداد هندسی و ادغام چند فریم. در کارگاه بین المللی روش های کمینه سازی انرژی در بینایی کامپیوتری و تشخیص الگو ; Springer: Cham, Switzerland, 2015; صص 364-377. [ Google Scholar ]
  37. ویکرت، جی. ویکرت، جی. مبانی نظری انتشار ناهمسانگرد در پردازش تصویر . Springer Science and Business Media LLC: برلین، آلمان، 1996. [ Google Scholar ]
  38. Revaud, J.; واینزاپفل، پ. هارکاوی، ز. اشمید، سی. تطبیق عمیق: تطبیق متراکم تغییر شکل سلسله مراتبی. بین المللی جی. کامپیوتر. Vis. 2016 ، 120 ، 300-323. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  39. واینزاپفل، پ. Revaud, J.; هارکاوی، ز. Schmid, C. DeepFlow: جریان نوری با جابجایی بزرگ با تطبیق عمیق. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، سیدنی، استرالیا، 2 تا 8 دسامبر 2013. صص 1385–1392. [ Google Scholar ]
  40. دلال، ن. Triggs، B. هیستوگرام گرادیان های جهت یافته برای تشخیص انسان. در مجموعه مقالات کنفرانس IEEE Computer Society در سال 2005 در مورد دید رایانه و تشخیص الگوی CVPR، سن دیگو، کالیفرنیا، ایالات متحده آمریکا، 20-25 ژوئن 2005. [ Google Scholar ]
  41. باتلر، دی جی; وولف، جی. استانلی، GB; Black, MJ یک فیلم منبع باز طبیعی برای ارزیابی جریان نوری. در کنفرانس اروپایی بینایی کامپیوتر ; Springer: برلین/هایدلبرگ، آلمان، 2012; صص 611-625. [ Google Scholar ]
  42. Bouguet، JY هرمی پیاده سازی affine lucas kanade شرح ردیاب ویژگی الگوریتم. اینتل Corp. 2001 ، 5 ، 1-10. [ Google Scholar ]
  43. شاخ، BKP; Schunck، BG تعیین جریان نوری. آرتیف. هوشمند 1981 ، 17 ، 185-203. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  44. سیاه، MJ; Anandan، P. تخمین قوی حرکات چندگانه: میدان های جریان پارامتریک و تکه ای-صاف. محاسبه کنید. Vis. تصویر زیر. 1996 ، 63 ، 75-104. [ Google Scholar ] [ CrossRef ]
  45. براکس، تی. برون، ا. Papenberg، N. برآورد جریان نوری با دقت بالا بر اساس یک نظریه برای تاب. در کنفرانس اروپایی بینایی کامپیوتر ; Springer: برلین/هایدلبرگ، آلمان، 2004; صص 25-36. [ Google Scholar ]
  46. چارشتاین، دی. هیرشمولر، اچ. کیتاجیما، ی. کراتوول، جی. نشیچ، ن. وانگ، ایکس. Westling، P. مجموعه داده‌های استریو با وضوح بالا با حقیقت زمینی دقیق زیر پیکسل. در کنفرانس آلمان در مورد شناسایی الگوها ; Springer: Cham, Switzerland, 2014; صص 31-42. [ Google Scholar ]
شکل 1. چارچوب روش شناسایی و بومی سازی متحرک. روش O-DHS-Otsu Delaunay Horn-Schunck.
شکل 2. مدل محلی سازی دید استریو دوچشمی.
شکل 3. سطح طرح XOZ مدل محلی سازی استریو دوچشمی.
شکل 4. از چپ به راست، بالا به پایین: تصویر قاب فعلی، منطقه پیش زمینه هدف متحرک استخراج شده به روش جریان نوری با باینریزه کردن Otsu، منطقه پیش زمینه هدف استخراج شده توسط عملیات انبساط، عملیات خوردگی، عملیات باز، عملیات بسته، ابتدا باز و سپس عملیات را ببندید و ابتدا ببندید سپس عملیات را باز کنید.
شکل 5. نتایج استخراج پیش‌زمینه حرکت توالی تصویر MPI، از بالا به پایین، کوچه، بازار، کمین و توالی تصویر بامبو است و از چپ به راست تصویر فریم فعلی، ناحیه هدف پیش‌زمینه حرکت واقعی، LK، HS است. هرم، سیاه و آناندان (B&A)، براکس، و نتایج استخراج حرکت ما.
شکل 6. نتایج مقایسه خطای نتیجه تشخیص هدف، توالی تصویر MPI حرکت پیش زمینه: ( الف ) مقایسه میزان حذف. ( ب ) مقایسه نرخ نادرست.
شکل 7. نتایج تطبیق استریو مجموعه داده های استریو Middlebury. ( الف ) از چپ به راست جفت تصویر استریو Adirondack، Motorcycle، Piano و Pipes هستند. ( ب ) از چپ به راست جفت تصویر استریو PlayTable، Recycle، Teddy و Vintage هستند. ( a , b ) از بالا به پایین نتایج جفت تصویر استریو، استریو-سریع، استریو-هریس، استریو-Sift، استریو-سرفس و نتایج تطبیق عمیق استریو است.
شکل 8. ساختار موازی دوربین دوچشمی.
شکل 9. نتایج استخراج منطقه هدف 80~84 فریم. از بالا به پایین تصاویر تصحیح شده، تصویر باینریزه شده هدف متحرک استخراج شده با روش تشخیص هدف در این مقاله، نمایش روی هم قرار داده شده تصویر دودویی شده و تصویر تصحیح شده است.
شکل 10. نتایج تطبیق جفت نقطه استریو در ناحیه هدف متحرک فریم های 80~84. از بالا به پایین جفت‌های تصویر استریو تصحیح‌شده از 80 تا 84 فریم ( الف ) S-Fast، ( ب ) S-Harris، ( c ) S-Sift، ( d ) S-Surf و ( e ) هدف ما هستند . نتایج تطبیق

بدون دیدگاه

دیدگاهتان را بنویسید