خلاصه

:

ادغام داده های نظارت تصویری هوشمند و GIS (سیستم اطلاعات جغرافیایی) فرصت جدیدی برای نظارت و حفاظت از زمین های زیر کشت فراهم می کند. برای یک سیستم نظارت تصویری مبتنی بر GIS، پیش نیاز تراز کردن داده های GIS با تصویر ویدئویی است. با این حال، روش‌ها یا سیستم‌های موجود هنگام اجرا در نظارت بر زمین‌های زیر کشت، کاستی‌های خاص خود را دارند. برای پرداختن به این مشکل، این مقاله با در نظر گرفتن ویژگی‌های توپوگرافی زمین‌های زیر کشت در منطقه دشت، قصد دارد یک روش تطبیق دقیق برای طرح داده‌های برداری به ویدیوی نظارتی پیشنهاد کند. هنگامی که تعداد کافی از نقاط کنترل از داده های GIS دو بعدی (دو بعدی) و تصویر ویدیوی مرجع انتخاب شده شناسایی شد، هم ترازی داده های GIS دو بعدی و فریم های ویدئویی PTZ (پان شیب-زوم) را می توان با روش تطبیق خودکار ویژگی ها محقق کرد. بر اساس نتایج تراز، ما به راحتی می‌توانیم وقوع تخریب زمین‌های کشاورزی را با بازرسی بصری محتوای تصویری که ناحیه برداری دوبعدی را پوشش می‌دهد، شناسایی کنیم. علاوه بر این، یک نمونه اولیه از سیستم ویدیویی نظارت هوشمند برای زمین های زیر کشت ساخته شده است و چندین آزمایش برای اعتبار سنجی رویکرد پیشنهادی انجام می شود. نتایج تجربی نشان می‌دهد که روش‌های هم‌ترازی پیشنهادی می‌توانند به دقت بالایی دست یابند و الزامات پایش زمین زیر کشت را برآورده کنند. یک نمونه اولیه از سیستم هوشمند نظارت تصویری برای زمین های زیر کشت ساخته شده است و چندین آزمایش برای تایید رویکرد پیشنهادی انجام شده است. نتایج تجربی نشان می‌دهد که روش‌های هم‌ترازی پیشنهادی می‌توانند به دقت بالایی دست یابند و الزامات پایش زمین زیر کشت را برآورده کنند. یک نمونه اولیه از سیستم هوشمند نظارت تصویری برای زمین های زیر کشت ساخته شده است و چندین آزمایش برای تایید رویکرد پیشنهادی انجام شده است. نتایج تجربی نشان می‌دهد که روش‌های هم‌ترازی پیشنهادی می‌توانند به دقت بالایی دست یابند و الزامات پایش زمین زیر کشت را برآورده کنند.

 

چکیده گرافیکی

1. معرفی

چین با افزایش سطح شهرنشینی از 17.92 درصد در سال 1978 به 59.58 درصد در سال 2018، روند شهرنشینی بی سابقه ای را تجربه می کند [ 1 ]. با شتاب شهرنشینی، گسترش شهرنشینی و رشد جمعیت منجر به تقاضای فزاینده برای زمین های زیر کشت و در نتیجه استفاده غیر منطقی از زمین شده است. مقادیر زیادی از زمین های کشاورزی در طول دوره گسترش شهری اشغال شده و به کاربری های دیگر مانند کاربری های مسکونی، صنعتی، تجاری، زیرساختی و نهادی تبدیل شده است [ 2 ].]. این در حالی است که بیکاری زمین های زیر کشت به دلیل شهرنشینی یا مالکیت نامشخص در مناطق روستایی فراگیر شده است. از آنجایی که چین کشوری در حال توسعه با جمعیت زیاد و منابع زمین کمیاب است، از دست دادن زمین های زیر کشت، امنیت تامین غذا و ثبات جامعه را تهدید خواهد کرد. در این راستا، نظارت دقیق بر زمین های زیر کشت، نقش مهمی در حفظ زمین های کشاورزی ایفا می کند.
به منظور اطمینان از تامین غذای اولیه برای بقای انسان، دولت چین یک سری سیاست‌ها را برای حفاظت از کل زمین‌های زیر کشت، مانند تعیین مناطق حفاظتی اساسی زمین‌های کشاورزی (BFPZs) تدوین کرده است [ 3 ، 4 ، 5 ]. هنگامی که یک قطعه زمین به عنوان زمین کشاورزی اساسی توسط اداره مدیریت زمین تعیین می شود، به این معنی است که نوع کاربری زمین در محدوده های تعیین شده را نمی توان به کاربری غیر زیر کشت تبدیل کرد. در صورت تغییر، تصرف غیرقانونی مزارع تلقی خواهد شد. بنابراین، تمرکز نظارت بر زمین های زیر کشت این است که بررسی شود که آیا در یک دوره زمانی، مزارع کاهش یافته و نوع کاربری زمین در منطقه محدود شده تغییر می کند یا خیر.
به طور کلی روش‌های مورد استفاده برای پایش زمین‌های زیر کشت را می‌توان به دو دسته بررسی میدانی و فناوری‌های سنجش از دور طبقه‌بندی کرد. روش سنتی پیمایش میدانی می تواند نتایج دقیق تری نسبت به سایر روش ها ارائه دهد. با این حال، نیاز به نیروی انسانی قابل توجهی دارد که می تواند زمان بر و پرهزینه باشد. برای روش‌های استفاده از سنجش از دور ماهواره‌ای، مطالعات نوظهور عمدتاً بر طبقه‌بندی لندفرم متمرکز شده‌اند که روشی مؤثر برای پایش دینامیکی کاربری زمین و تغییرات پوشش زمین است. خاطرنشان می شود که مجموعه تصاویر لندست به طور گسترده ای برای تشخیص و نظارت بر تغییر کاربری زمین استفاده می شود، زیرا آنها به صورت رایگان در اشکال طیفی، وضوح و زمان مختلف در دسترس هستند و از نظارت مستمر و طولانی مدت تغییر کاربری زمین در مناطق بزرگ پشتیبانی می کنند [ 6 ]. ، 7]. با این حال، وضوح مکانی و زمانی پایین تصاویر ماهواره‌ای توانایی آن را برای شناسایی و نظارت بر استفاده از زمین در زمین‌های توزیع کوچک و پراکنده محدود می‌کند [ 8 ]. بعلاوه استفاده از تصاویر ماهواره ای برای شناسایی مشکلات تخریب اراضی، تصرف غیرقانونی و بیکاری زمین در مدت و زمان معین مشکل است. به نظر می رسد تصاویر پهپادها (وسایل نقلیه هوایی بدون سرنشین) به دلیل مزیت تحرک قوی و کارایی بالا، ابزار سنجش از راه دور جایگزین برای تشخیص تغییر کاربری زمین باشد [ 8 ، 9 ، 10 ، 11 ].]. با این وجود، پهپادها به دلایلی نمی توانند به طور مداوم برای نظارت بر زمین های زیر کشت کار کنند. پهپادها به راحتی تحت تأثیر شرایط آب و هوایی، زمین های پیچیده، مقررات فضای هوایی و سایر عوامل در برخی مکان ها قرار می گیرند. علاوه بر این، تصاویر به دست آمده توسط پهپادها ممکن است حاوی اعوجاج های شدید هندسی و رادیومتری باشد که پردازش خودکار تصاویر پهپادها را به چالش می کشد و مانع استفاده از پهپادها می شود [ 12 ، 13 ].
امروزه دوربین‌های نظارتی هوشمند متعددی در مکان‌های عمومی نصب شده‌اند که نقش مهم آن در نظارت بر ترافیک، امنیت عمومی و سایر کاربردها افزایش می‌یابد. نظارت تصویری هوشمند می تواند به طور خودکار اشیاء علاقه مند را شناسایی، ردیابی و تشخیص دهد و فعالیت های آنها را برای استخراج اطلاعات مفید از فیلم های جمع آوری شده تجزیه و تحلیل کند [ 14 ]]. علاوه بر این، می‌تواند از راه دور تصاویر، صدا و سایر داده‌ها را از طریق اینترنت به اتاق کنترل مرکزی منتقل کند، که پتانسیل زیادی برای نظارت بر زمین‌های زیر کشت ارائه می‌دهد. در مقایسه با فناوری سنجش از راه دور ماهواره ای و پهپادها، می تواند به طور مداوم با وضوح مکانی و زمانی بالاتر با مداخله دستی کمتر کار کند. علاوه بر این، برای نظارت بر زمین های توزیع پراکنده و اندازه کوچک مناسب تر است. با این حال، هنگامی که نظارت تصویری هوشمند معمولی به طور مستقیم برای نظارت بر زمین های زیر کشت اعمال می شود، مشکلات مختلفی وجود دارد. برای مثال، تبدیل غیرمجاز زمین‌های کشاورزی خاص را می‌توان با نظارت تصویری هوشمند زود تشخیص داد، در حالی که افراد عادی نمی‌توانند به سرعت مکان را شناسایی کنند، از جمله مختصات یا سایر اطلاعات معنایی زمین.15 ]. مهمتر از آن، تعیین مرز زمین های زیر کشت (منطقه مورد علاقه) در هر تصویر ویدیویی زمانی که دوربین در حالت حرکت، کج یا بزرگنمایی است، دشوار است.
BFPZ های محدود شده توسط بخش مدیریت زمین، مرز زمین های زیر کشت محافظت شده را مشخص می کنند، و معمولاً به شکل داده های برداری ارائه و ذخیره می شوند. ادغام نظارت تصویری هوشمند و داده های BFPZ بردار دوبعدی فرصت جدیدی برای حل مشکلات فوق فراهم می کند. از آنجایی که ویدیو از دنباله‌ای از فریم‌ها (تصاویر) جداگانه تشکیل شده است، ایجاد روابطی که پیکسل‌های فریم را با مکان‌های جغرافیایی مربوطه برای هر فریم ترسیم می‌کند، برای ادغام GIS و ویدئو ضروری است [ 16 ]. در حال حاضر، روش کلی این است که فریم‌های ویدئویی را مستقیماً در یک صحنه مجازی سه‌بعدی (سه بعدی) GIS بفرستید، که هم به مدل‌های سه‌بعدی دقیق محیط و هم تخمین موقعیت دوربین نیاز دارد [ 15 ، 16 ، 17 ]]. در این حالت، فریم‌های ویدیویی با احساس شهودی چشم انسان مطابقت ندارند زیرا از نظر هندسی در صحنه GIS سه بعدی تصحیح شده‌اند. علاوه بر این، به دلیل تغییر در فاصله کانونی و زوایای دوربین‌های PTZ (پان شیب، زوم) به‌دست آوردن اطلاعات فیزیکی دقیق از تصاویر به دست آمده دشوار است. علاوه بر این، DEM با وضوح بالا (مدل ارتفاعی دیجیتال) یا DSM (مدل سطح دیجیتال) همیشه در دسترس نیستند. روش دیگر مبتنی بر تبدیل هموگرافی است که یک زمین مسطح در فضای جغرافیایی را فرض می کند و حداقل به چهار نقطه متناظر برای محاسبه پارامترهای ماتریس هموگرافی نیاز دارد [ 18 ]. هر دو روش متکی به تطبیق نقاط متناظر در فضای تصویر ویدئویی و فضای جغرافیایی هستند [ 19 ]]. تطبیق خودکار ویژگی‌های تصویر ویدیویی و داده‌های GIS یک چالش است. برای دوربین های PTZ، انتخاب دستی نقاط با توجه به هزینه و کارایی کار توصیه نمی شود.
بر اساس تجزیه و تحلیل فوق، هدف اصلی این مقاله ارائه یک روش تطبیق دقیق برای نمایش داده‌های برداری به ویدیوی نظارتی برای نظارت و حفاظت از زمین زیر کشت است. عمدتاً متکی به تطبیق مختصات تصویر دو بعدی از فریم‌های ویدیوی PTZ با نقشه‌های ارتوفوتو و نقشه برداری برداری و داده‌های نقشه‌برداری است. بر اساس روش پیشنهادی، ما یک نمونه اولیه از سیستم پایش زمین کشت را طراحی و اجرا می کنیم. سپس، نمونه اولیه پیاده‌سازی شده برای نظارت بر زمین‌های کشت شده در شهر Dongyang، استان ژجیانگ، چین اعمال می‌شود.

2. کارهای مرتبط

در حال حاضر، چندین سیستم نظارت تصویری مبتنی بر GIS در زمینه‌های مدیریت ایمنی شهر و برگ‌زدایی و تغییر رنگ حشرات جنگلی توسعه و اعمال شده‌اند [ 17 ، 18 ]. با الهام از این سیستم‌ها، این مقاله یک سیستم نظارت یکپارچه ویدئویی و GIS را برای زمین‌های زیر کشت توسعه می‌دهد، که می‌تواند کاستی‌های فن‌آوری‌های سنتی نقشه برداری میدانی و سنجش از دور را جبران کند. در این بخش، ما به طور عمده به معرفی کارهای مربوط به یکپارچه سازی ویدئو و GIS می پردازیم.
این مطالعه عمدتاً بر ایجاد رابطه نگاشت هندسی بین مجموعه نقطه فضایی نمونه برداری شده از فریم ویدئو و مجموعه نقطه مکانی نمونه برداری شده از تصاویر مرجع کالیبره شده ژئودتیکی تمرکز دارد. از آنجایی که ویدیو از یک سری فریم (تصاویر) مستقل تشکیل شده است، رابطه نگاشت هندسی باید برای هر فریم ایجاد شود.
در حال حاضر، روش‌های ارجاع جغرافیایی ویدئویی را می‌توان به دو دسته طبقه‌بندی کرد: روش‌های مبتنی بر تقاطع خط دید با DEM و روش‌های مبتنی بر تبدیل هموگرافی [ 18 ، 19 ، 20 ]. برای روش‌های مبتنی بر تقاطع بین دید و DEM، پارامترهای دقیقی از جمله پارامترهای دوربین داخلی و خارجی و DEM مورد نیاز است تا فریم‌های ویدئویی را در یک مدل سه‌بعدی از منطقه‌ای که در حال تماشا است، نمایش دهد. به عنوان مثال، ژائو و همکاران. [ 17] یک چارچوب نظارتی مبتنی بر ویدئو برای برگ‌زدایی و تغییر رنگ حشرات جنگلی پیشنهاد کرد. داده‌های GIS و نظارت تصویری می‌توانند برای تعیین موقعیت جغرافیایی آسیب حشرات جنگلی در سیستم نظارتی خود، که به یک مدل ارتفاعی دیجیتال (DEM) و پارامترهای برگشتی از دوربین PTZ نیاز دارد، ادغام شوند. میلوساولیویچ و همکاران [ 19] روشی را برای تخمین مرجع جغرافیایی هر دو دوربین ثابت و PTZ پیشنهاد کرد که بر تطبیق مختصات تصویر دو بعدی از فریم های ویدئویی با مختصات ژئودتیک سه بعدی برای تخمین موقعیت و جهت گیری دوربین در فضای جغرافیایی تکیه داشت. در این شرایط، فریم‌های ویدیویی با احساس شهودی چشم انسان مطابقت ندارند، زیرا از نظر هندسی به صحنه 2 بعدی یا 3 بعدی GIS اصلاح شده‌اند. علاوه بر این، به دلیل تغییر در فاصله کانونی و زوایای دوربین های PTZ، به دست آوردن اطلاعات فیزیکی واقعی واقعی از تصاویر به دست آمده دشوار است. در همین حال، DEM یا DSM با وضوح بالا همیشه در دسترس نیستند و نمی توان همه اشیاء در دنیای واقعی را مدل کرد، که باعث شکست نقشه برداری متقاطع می شود.
روش‌های مبتنی بر یک ماتریس هموگرافی، یک زمین مسطح را در یک فضای جغرافیایی فرض می‌کنند، بنابراین حداقل به چهار نقطه تطبیق برای تخمین ماتریس هموگرافی مربوطه نیاز دارند [ 21 ]. تشخیص خودکار و تطبیق ویژگی‌ها از تصاویر زمینی یا فیلم‌های ثابت، مانند فیلم‌های دوربین‌های نظارتی، و تصاویر ماهواره‌ای یا هوایی را می‌توان به عنوان تطبیق تصویر متقاطع تعریف کرد [ 22 ، 23 ، 24]. تطبیق خودکار ویژگی‌های چنین تصاویری به دلیل تفاوت‌های چشمگیر در هر مجموعه از تصاویر، تقریباً غیرممکن است، زیرا آنها از دیدگاه‌های مختلف و در وضوح‌های متفاوت گرفته می‌شوند. بنابراین، نقاط تطبیق به صورت دستی از تصاویر متقاطع انتخاب می شوند. تعداد، دقت و توزیع مکانی نقاط انتخاب شده بسیار مهم است و به طور مستقیم بر دقت ثبت تصویر تأثیر می گذارد. برای GIS دو بعدی، نگاشت از فضای جغرافیایی دوبعدی به فضای تصویر ویدئویی دو برابر است، اما برای GIS سه بعدی، تبدیل تک است [ 18 ]]. هنگام استفاده از این روش ها، مدل زمین معمولاً برای فرض زمین مسطح در نظر گرفته می شود. اشکال اصلی این روش ها نامناسب بودن آنها برای دوربین های PTZ است. با تغییر پان شیب زوم، تعامل بیشتر کاربر برای انتخاب ویژگی های مربوطه مورد نیاز است و از اتوماسیون جلوگیری می کند.

3. روش شناسی

روش پیشنهادی برای ادغام یک ویدیوی نظارتی و BFPZ ها (داده های برداری GIS دو بعدی) بر ثبت BFPZ ها در تصویر ویدیویی نظارتی تکیه دارد. این را می توان با ماتریس نقشه برداری تخمین زده شده با تطبیق مختصات ژئودتیکی دوبعدی با مختصات تصویر دوبعدی در فریم های ویدئویی محقق کرد. در مقایسه با دوربین های ثابت، دوربین های PTZ را می توان برای چرخش افقی و عمودی کنترل کرد و میدان دید را می توان تغییر داد. مختصات تصویر هر فریم ویدیو مستقل از سایر تصاویر است. بنابراین، ما باید رابطه نگاشت بین داده‌های BFPZ و هر تصویر ویدیویی ایجاد کنیم.
از آنجایی که وضوح و تفاوت هندسی زیادی در دو نوع داده وجود دارد، تشخیص خودکار و مطابقت ویژگی ها غیرممکن است. بنابراین، همانطور که در شکل 1 نشان داده شده است، فرآیند یکپارچه سازی را به دو مرحله تقسیم می کنیم. در مرحله پیکربندی، رابطه نگاشت بین BFPZ و تصویر ویدئویی از پیش تعیین شده را تعیین خواهیم کرد من0. با شناسایی ویژگی های متناظر از دو الگوریتم داده و تخمین. DOM (نقشه اورتوفوتو دیجیتال) برای کمک به شناسایی نقاط مربوطه در BFPZ ها و تصویر ویدیویی از پیش تعیین شده استفاده می شود، زیرا داده های برداری گرافیکی هستند و به سختی قابل تشخیص هستند. بر اساس این ویژگی ها، ماتریس تبدیل را می توان توسط الگوریتم ها تخمین زد. سپس، مختصات BFPZ های دو بعدی را می توان از فضای ژئودتیک به فضای تصویر ویدئویی تبدیل کرد. در مرحله نگاشت پویا، نگاشت بین BFPZ های دو بعدی و تصاویر ویدئویی PTZ را می توان به عنوان مشکل تطبیق تصویر چند نمای مشاهده کرد، زیرا BFPZ ها در فضای تصویر نمایش داده شده اند. متفاوت از مرحله پیکربندی، می‌توانیم از یک روش تطبیق برای شناسایی و مطابقت خودکار نقاط بدون دخالت دستی استفاده کنیم. هنگامی که رابطه هندسی نسبی بین فریم های ویدئویی برآورد شد، سپس مختصات BFPZ های دو بعدی را می توان بین فضای تصویر ویدئویی مختلف تبدیل کرد. در بخش‌های بعدی، جزئیات مربوط به تبدیل هموگرافی، SIFT (تبدیل ویژگی متغیر مقیاس) را معرفی خواهیم کرد.25 ] و ASIFT (affine-SIFT) [ 26 ] الگوریتم های تطبیق و استراتژی های یکپارچه سازی.

3.1. تبدیل هموگرافی

تبدیل هموگرافی یک تکنیک ارجاع جغرافیایی محبوب است که در سراسر جهان استفاده می شود. حسگرهای ویدیوی نظارتی و سنجش از راه دور (RS) همان صحنه را در دو نما، به عنوان مثال، نمای جلو و نمای جانبی، همانطور که در شکل 2 نشان داده شده است، به طور متفاوتی ثبت می کنند. معمولاً تصاویر سنجش از راه دور به صورت هندسی تصحیح می شوند و برای تولید DOM استفاده می شوند. هنگامی که زمین یک زمین مسطح است یا نقش برجسته توپوگرافی کوچک است، روابط هندسی پیچیده بین تصویر ویدئویی نظارتی و تصویر سنجش از دور را می توان با تبدیل هموگرافی مدل کرد.
با فرض اینکه پنقطه ای در سیستم مختصات فضایی DOM است و نقطه متناظر آن در سیستم مختصات تصویر ویدئویی است س:

پ=[ایکسY1]تی،
س=[توv1]تی،

جایی که ایکسو Yمختصات دنیای واقعی هستند، توو vدر مختصات تصویر به ترتیب ستون و سطر هستند.

با توجه به یک ماتریس هموگرافی اچ، رابطه بین پو سرا می توان به صورت زیر بیان کرد:

س=اچپ،
اچهست یک 3×3ماتریس و می تواند به صورت زیر نمایش داده شود:

اچ=(آبسیدیEافجیاچ1)،
مانند اچدارای هشت مجهول، حداقل چهار جفت نقطه تصویر ویدئویی غیر خطی و نقاط جغرافیایی برای محاسبه پارامترهای مورد نیاز است. اچ. یک بار اچمشخص می شود، مختصات هر نقطه در سیستم مختصات فضایی را می توان در مختصات تصویر پیش بینی کرد.

[توv1]تی=اچ[ایکسY1]تی،
نقشه برداری دو جهته است و مختصات تصویر را می توان به سیستم مختصات فضایی نیز نمایش داد. این روش مدل سازی برای ارائه هندسی، محاسبات و سادگی پیاده سازی مناسب است.

3.2. تطبیق SIFT و ASIFT

هنگامی که دوربین مداربسته PTZ پانل، کج یا بزرگ‌نمایی می‌شود، اعوجاج هندسی بین این دنباله‌های ویدیویی ایجاد می‌شود. برای ادغام خودکار داده‌های GIS و ویدئوهای نظارتی، ما از الگوریتم تطبیق تصویر برای شناسایی و مطابقت خودکار ویژگی‌های مربوطه، به جای انتخاب دستی نقاط ویژگی استفاده می‌کنیم.
SIFT [ 25 ] یک الگوریتم تطبیق تصویر شناخته شده است که نسبت به مقیاس بندی، چرخش، روشنایی، و تبدیل affine با دقت زیر پیکسل ثابت است. الگوریتم اصلی SIFT ابتدا از مکان زیرپیکسل، مقیاس، و جهت گیری غالب برای توصیف یک نقطه مشخصه شناسایی شده استفاده می کند. می توان آن را بیان کرد f=(L، σ، θ، د)، جایی که Lنشان دهنده مکان ویژگی است، σو θبه ترتیب مقیاس مشخصه نقطه و جهت گیری غالب را مشخص کنید و دیک توصیفگر ویژگی ثابت 128 بردار است. سپس، نقاط ویژگی با استفاده از روش حداقل فاصله اقلیدسی بین توصیفگرهای آنها مطابقت داده می شوند. برای اطمینان از تطابق صحیح، Lowe [ 25 ] استراتژی تطبیقی ​​دیگری به نام NNDR (نسبت فاصله نزدیکترین همسایه) پیشنهاد کرد، که به این معنی است که نسبت نزدیکترین به دومین همسایه نزدیک می تواند برای به دست آوردن تطابقات صحیح اعمال شود. می توان آن را به شرح زیر توصیف کرد:

نن1/نن2≤دrآتیمنo

جایی که، نن1به معنای فاصله اقلیدسی از نزدیکترین بردار در نقشه ویژگی تصویر حس شده تا بردار در نقشه ویژگی تصویر مرجع و نن2فاصله اقلیدسی از دومین بردار نزدیک در نقشه ویژگی تصویر حس شده تا بردار در نقشه ویژگی تصویر مرجع است. زمانی که نسبت فاصله کمتر از دrآتیمنo، می توان آن را به عنوان یک جفت مطابقت صحیح مشاهده کرد.

با این حال، زمانی که اعوجاج هندسی بین تصاویر شدید باشد، SIFT عملکرد خوبی ندارد. به منظور بهبود عملکرد در این وضعیت، ASIFT [ 26 ] پیشنهاد شده است که چرخش دوربین را حول محور نوری شبیه‌سازی می‌کند. در روش آنها، تبدیل وابسته به تصویر برای مدل سازی تغییرات دیدگاه ها اعمال می شود که می تواند به صورت زیر بیان شود:

تو(ایکس،y)→تو(آایکس+بy+ه،جایکس+دy+f)
مراحل پردازش ASIFT را می توان به صورت زیر خلاصه کرد: اول، مجموعه ای متراکم از تبدیل چرخش برای هر دو تصویر A و B اعمال می شود. سپس یک سری تبدیل شیب به همه تصاویر چرخانده اعمال می شود. در نهایت، SIFT برای مطابقت با تمام جفت تصاویر شبیه سازی شده انجام می شود.

3.3. ادغام BFPZ های برداری دو بعدی و تصاویر ویدئویی نظارتی

در روش پیشنهادی، نگاشت بین BFPZ های بردار دو بعدی و ویدئوی نظارتی PTZ به روش نیمه خودکار ساخته شده است. برای حل ماتریس هموگرافی بین داده های BFPZ و قاب از پیش تعیین شده دوربین PTZ، ما یک ابزار تعاملی برای انتخاب نقاط کنترل ارائه می دهیم. هنگامی که تعداد کافی از نقاط تطبیق داده شد، بهینه سازی تکراری لونبرگ-مارکوارت [ 27 ، 28 ]، برای محاسبه ماتریس هموگرافی اعمال می شود.
با فرض اینکه 2D Vector BFPZs مجموعه ای از چند ضلعی است {پ1،پ2،…،پn}، برای یک چند ضلعی معین پمن{(ایکسمن1،Yمن1)،(ایکسمن2،Yمن2)،…،(ایکسمنس،Yمنس)}،من=1،2،…،n، و مختصات رأس آن است V(ایکسمنj،Yمنj)،j=1، 2، …،س. سپس این راس را می توان در یک سیستم مختصات تصویر ترسیم کرد و مختصات آن نیز می باشد V“(ایکسمنj“،yمنj“)، که به صورت زیر قابل محاسبه است.

{ایکسمنj“=آ0ایکسمنj+ب0Yمنj+سی0جی0ایکسمنj+اچ0Yمنj+1yمنj“=دی0ایکسمنj+E0Yمنj+اف0جی0ایکسمنj+اچ0Yمنj+1،

جایی که، آ0، ب0، سی0، دی0، E0، اف0، جی0، اچ0، پارامترهای هستند اچ0.

دقت، تعداد و توزیع مکانی نقاط انتخاب شده نقش حیاتی در فرآیند محاسبه ماتریس هموگرافی دارد که مستقیماً بر دقت ماتریس برآورد شده تأثیر می گذارد. بهتر است نقاط نسبی دائمی مانند تقاطع جاده را انتخاب کنید، همانطور که در شکل 3 نشان داده شده است.
هنگامی که دوربین PTZ پانل، کج یا زوم می شود، ماتریس هموگرافی بین داده های GIS و فریم های ویدئویی را می توان به صورت زیر محاسبه کرد. اول، روش تطبیق ASIFT برای شناسایی و مطابقت ویژگی‌های دنباله‌های ویدیویی استفاده می‌شود. سپس، اجماع نمونه تصادفی (RANSAC) [ 29 ] برای تخمین ماتریس هموگرافی بین فریم‌های ویدیویی اعمال می‌شود، با توجه به اینکه ویژگی‌های متناظر به‌دست‌آمده حتی با استفاده از بهترین روش تطبیق خودکار ناهماهنگی دارند. RANSAC پارامترهای مدل هموگرافی را از مجموعه ای از داده های مشاهده شده حاوی مقادیر پرت به روشی تکراری تخمین می زند. در نهایت می توان نگاشت بین BFPZ های 2 بعدی Vector و هر فریم ویدیویی را محاسبه کرد.
به طور خاص، مکان BFPZ های برداری دوبعدی در هر سیستم مختصات فریم ویدئویی را می توان با دو استراتژی محاسبه کرد. آنچه مهم است، انتخاب فریم ویدئوی مرجع است. اگر فریم ویدیویی از پیش تعیین شده به عنوان تصویر مرجع انتخاب شود، روش‌های ASIFT و RANSAC برای تخمین ماتریس نگاشت بین فریم‌های ویدئو و تصویر از پیش تعیین‌شده اعمال می‌شوند. همانطور که در شکل 4 نشان داده شده است ، با فرض اینکه ماتریس تبدیل تخمین زده شده بین قاب مرجع و قاب منتیاست اچتیو هر رأس Vتی“از چند ضلعی های BFPZ در قاب ویدیو منتیرا می توان با استفاده از راس مربوطه آن محاسبه کرد V“از چند ضلعی های BFPZs در چارچوب مرجع به صورت معادله زیر.

Vتی“=اچتیV“،
مطابق شکل 5 ، مطابقت تصویر بین فریم ویدیوی مجاور انجام می شود . در این شرایط راس Vتی“از چند ضلعی های BFPZ در قاب ویدیو منتیرا می توان به صورت معادله (10) محاسبه کرد.

Vتی“=اچتی⋯اچ2اچ1V“،

جایی که اچمنماتریس تبدیل بین فریم ویدیو است منمن–1و منمن.

4. چارچوب سیستم نظارت بر زمین های زیر کشت

بر اساس روش یکپارچه سازی BFPZ های برداری دوبعدی و ویدئو نظارت PTZ در زمان واقعی، ما یک نمونه اولیه از سیستم نظارت را طراحی و پیاده سازی می کنیم. این سیستم می‌تواند داده‌های مکانی و ویدئویی را جمع‌آوری، مدیریت کند و نمایش و تحلیل کلی را انجام دهد. از طریق نظارت تصویری از زمین های زیر کشت، ناظران می توانند کار نظارت را به طور موثر بهبود بخشند. همانطور که در شکل 6 نشان داده شده است ، چارچوب یکپارچه سازی عمدتا شامل سه لایه است: لایه ارائه، لایه میانی و لایه داده.
  • لایه داده : لایه داده عمدتاً برای ذخیره و مدیریت داده های ویدئویی مکانی و نظارتی استفاده می شود. در سیستم پیشنهادی، داده‌های مکانی حاوی BFPZ‌هایی هستند که در قالب برداری دو بعدی و تصاویر ارتو با وضوح بالا در قالب شطرنجی ارائه شده‌اند. اولی برای تعریف مناطق ROI در ویدیوی بلادرنگ استفاده می شود و دومی برای ایجاد رابطه نقشه برداری بین فضای جغرافیایی و مختصات پیکسل تصویر استفاده می شود.
  • لایه میانی : لایه میانی دارای عملکردهای جمع آوری، پردازش و تجزیه و تحلیل داده ها است. از آنجایی که داده‌های مکانی و داده‌های ویدیویی داده‌های بدون ساختار هستند، از یکدیگر مستقل هستند. در این لایه، اجزای GIS برای واکشی داده‌های مکانی و اجزای جریان ویدیویی برای خواندن داده‌های ویدیویی بلادرنگ استفاده می‌شوند. نگاشت دوبعدی بین BFPZ ها و تصاویر ویدئویی جزء اصلی است و داده های BFPZ را می توان به ویدئوی بلادرنگ برای تولید ناحیه بازگشت سرمایه نمایش داد. برای منطقه خاص، تجزیه و تحلیل ویدئویی را می توان انجام داد.
  • لایه ارائه : در لایه ارائه، ادغام تعاملی داده‌های BFPZ دو بعدی و ویدیوی نظارتی و همچنین هشدار بلادرنگ برای مرکز فرماندهی و کنترل را فراهم می‌کند.
ساختار نرم افزاری سیستم نظارت بر زمین های زیر کشت شامل پنج بخش بازیابی ویدئو، کنترل ویدئو، ثبت تصویر، تطبیق تصویر و تجزیه و تحلیل ویدئو می باشد. بازیابی ویدیو عمدتاً برای بارگیری ویدیوی بلادرنگ با استفاده از پروتکل HTTP و نمایش فریم ویدیوی فعلی استفاده می شود. همچنین می‌تواند BFPZ‌های دوبعدی را که روی فریم‌های ویدئویی پوشانده شده‌اند، تجسم کند. کنترل ویدئو به کاربر اجازه می دهد دوربین PTZ را حرکت دهد، کج کرده و بزرگنمایی کند و فریم ویدیوی فعلی، قبلی یا بعدی را واکشی کند. ثبت تصویر یک ابزار تعاملی برای ساخت ماتریس نگاشت بین BFPZ های برداری دوبعدی و تصویر ویدئویی از پیش تعیین شده با انتخاب تناظر بین فضای تصویر و فضای جغرافیایی و حل پارامترهای ماتریس فراهم می کند. سپس، BFPZ های برداری 2 بعدی به تصویر ویدئویی از پیش تعیین شده نمایش داده می شود. تطبیق تصویر روشی خودکار را ارائه می دهد که می تواند از روش تطبیق تصویر چند نمای ASIFT برای ساختن نقشه بین تصاویر ویدئویی نظارتی استفاده کند. مطابقت بین تصاویر ویدئویی را می توان بدون دخالت انسان شناسایی و مطابقت داد. BFPZهای بردار دوبعدی پیش‌بینی‌شده در تصویر ویدیویی از پیش تعیین شده را می‌توان به تصاویر ویدیویی بلادرنگ با استراتژی‌های تطبیق متفاوت نگاشت. در نهایت، چند ضلعی BFPZ بردار دوبعدی را می توان به عنوان منطقه دفاعی برای نظارت تصویری هوشمند تنظیم کرد، که می تواند به طور موثر اطلاعات مفیدی را از تعداد زیادی ویدیو با شناسایی، ردیابی، و تشخیص خودکار اشیا و تجزیه و تحلیل فعالیت ها استخراج کند. BFPZهای بردار دوبعدی پیش‌بینی‌شده در تصویر ویدیویی از پیش تعیین شده را می‌توان به تصاویر ویدیویی بلادرنگ با استراتژی‌های تطبیق متفاوت نگاشت. در نهایت، چند ضلعی BFPZ بردار دوبعدی را می توان به عنوان منطقه دفاعی برای نظارت تصویری هوشمند تنظیم کرد، که می تواند به طور موثر اطلاعات مفیدی را از تعداد زیادی ویدیو با شناسایی، ردیابی، و تشخیص خودکار اشیا و تجزیه و تحلیل فعالیت ها استخراج کند. BFPZهای بردار دوبعدی پیش‌بینی‌شده در تصویر ویدیویی از پیش تعیین شده را می‌توان به تصاویر ویدیویی بلادرنگ با استراتژی‌های تطبیق متفاوت نگاشت. در نهایت، چند ضلعی BFPZ بردار دوبعدی را می توان به عنوان منطقه دفاعی برای نظارت تصویری هوشمند تنظیم کرد، که می تواند به طور موثر اطلاعات مفیدی را از تعداد زیادی ویدیو با شناسایی، ردیابی، و تشخیص خودکار اشیا و تجزیه و تحلیل فعالیت ها استخراج کند.14 ].

5. آزمایش ها و نتایج

جزئیات آزمایشات بر روی هم ترازی داده های برداری دوبعدی و تصاویر ویدئویی در این بخش ارائه شده است. ما سیستم خود را در زمین های کشت شده با چشم انداز نسبتا صاف آزمایش کردیم و نتایج هم ترازی را با حقیقت زمین ساخته دست بشر مقایسه کردیم.

5.1. مجموعه داده ها و معیارهای ارزیابی

به منظور ارزیابی بصری و کمی روش پیشنهادی، دو دوربین نظارت هوشمند (PTZ) بر روی برج سیگنال China Mobile در شهر Dongyang، استان ژجیانگ، چین مستقر شدند. یکی در شهر Woodcarving و دیگری در جامعه Wangfeng، خیابان Jiangbei واقع شده است. در همین حال، دو مجموعه داده ویدیویی از دو دوربین مداربسته ضبط و جمع‌آوری شد که اطلاعات دقیق در جدول 1 قابل مشاهده است. Dataset MDXZ شامل صحنه های زمین های زیر کشت در شهر Woodcarving است، در حالی که JBWF شامل صحنه های جامعه Wangfeng است. این دو مجموعه داده با چرخش دوربین ها به صورت عمودی و افقی و همچنین تغییر سطح زوم ایجاد شده اند. همانطور که در نشان داده شده است شکل 7 نشان داده شده است، چشم انداز کشت شده در دو مکان نسبتا صاف است.
نقشه برداری بین BFPZ های برداری دوبعدی و فریم های ویدئویی به عنوان موضوع ثبت تصویر در نظر گرفته می شود. بنابراین، ریشه میانگین مربعات خطا (RMSE) برای واجد شرایط بودن دقت نتایج تراز استفاده می‌شود، که انحراف بین مقدار مشاهده‌شده و حقیقت زمین را اندازه‌گیری می‌کند. می توان آن را به صورت زیر محاسبه کرد:

آرماسE=(ایکس–ایکس“)2+(y–y“)2م،

جایی که (ایکس، y)مختصات انتخاب شده است منقاط در داده های GIS دو بعدی تبدیل شده و (ایکس“، y“)ارزش های واقعی پایه را کاهش می دهد.

از آنجایی که ما فاقد مقادیر حقیقت زمینی هستیم، تعیین خطای طرح ریزی رابطه نگاشت برآورد شده دشوار است. علاوه بر این، سیستم مختصات پیکسل بین فریم های ویدئویی مستقل است. برای مقابله با چالش فوق، ما به صورت دستی برای هر فریم ویدیویی حقیقت را به صورت زیر ساختیم:
(1)
20 نقطه را در BFPZ های برداری دو بعدی انتخاب کنید و مختصات پیش بینی شده آنها را در سیستم مختصات پیکسل تصویر ثبت کنید.
(2)
برای هر نقطه در (1)، نقطه متناظر آن را با بازرسی بصری پیدا کنید و مختصات آن را در سیستم پیکسل تصویر فعلی ثبت کنید.
سپس برای هر فریم ویدئو، خطای پروجکشن با استفاده از RMSE قابل محاسبه است. توجه داشته باشید که در انتخاب امتیاز باید اصولی رعایت شود. به عنوان مثال، نقاط انتخاب شده باید به خوبی توزیع شوند.

5.2. پیاده سازی ها و نتایج تجربی

سیستم مانیتورینگ زمین کشت شده به عنوان یک پروژه Visual C# در Microsoft Visual Studio 2017 پیاده سازی شد و در محیط کلاینت/سرور کار می کند. این برنامه عمدتاً برای دوربین های شبکه PTZ (یعنی IP) طراحی شده است. برای دوربین های ثابت نیز مناسب است. همانطور که در شکل 8 نشان داده شده است، کاربر می تواند با استفاده از پروتکل HTTP ویدیوی بلادرنگ را بازیابی کند. URL، نام کاربری و رمز عبور برای دسترسی به API دوربین برای بازیابی فریم ویدیوی فعلی مورد نیاز است.
رابط کاربری از دو جزء به هم پیوسته تشکیل شده است. اولین مورد شامل ثبت داده های 2 بعدی BFPZ از سیستم مختصات مکانی به سیستم مختصات پیکسل تصویر ویدئویی است که با عملکرد ثبت تصویر مطابقت دارد. دوم شامل ثبت داده های BFPZ های دو بعدی در فضای تصویر ویدیویی مختلف است که با عملکرد تطبیق تصویر مطابقت دارد.
برای بررسی بصری مناسب بودن روش پیشنهادی، چندین مثال در شکل 8 و شکل 9 آورده شده است. اگرچه هدف این مقاله ثبت BFPZ های دوبعدی در ویدیوی بلادرنگ برای تعیین مرز دفاعی زمین های زیر کشت است، در واقع، این یک فرآیند برگشت پذیر است، به این معنی که تصویر ویدیویی بلادرنگ نیز در فضای جغرافیایی نقشه برداری می شود. . این نقشه برداری می تواند نیازهای تحلیل فضایی مانند اندازه گیری زمین های زیر کشت را برآورده کند. شکل 9 نتایج نگاشت متقاطع BFPZ های دو بعدی (چند ضلعی ها به رنگ قرمز) و تصویر ویدئویی از پیش تعیین شده را نشان می دهد، در حالی که شکل 10نتایج تطبیق بین تصاویر ویدئویی و نتایج BFPZ های دو بعدی پیش بینی شده را در فضای تصویر ویدئویی مختلف با استفاده از روش ASIFT و RANSAC نشان می دهد. از این شکل‌ها، می‌توان دید که روش پیشنهادی می‌تواند با موفقیت تبدیل بین BFPZ‌های دو بعدی و تصویر ویدیویی را ایجاد کند و مرزهای زمین زیر کشت محافظت‌شده را در تصویر ویدئویی به‌طور دقیق مشخص کند.

5.3. تجزیه و تحلیل دقت

نمونه های ارائه شده در شکل 9 و شکل 10 دقت عملی و قابل دستیابی راه حل را برای نمایش BFPZ های برداری 2 بعدی در فریم های ویدئویی بلادرنگ نشان می دهد. در این بخش، ما عمدتاً بر ارزیابی روش پیشنهادی به روش کمی تمرکز می‌کنیم و به طور جامع تأثیر تصویر مرجع انتخاب شده بر نتایج تراز را تحلیل می‌کنیم.
در این آزمایش، فریم‌های ویدئویی تصویر با نام‌های MDXZ05 و JBWF05 در دو مجموعه داده به ترتیب به عنوان تصویر از پیش تعیین شده انتخاب شدند. ما به صورت دستی 6 تا 8 نقطه کنترل را برای نگاشت BFPZ های دوبعدی از سیستم مختصات مکانی به سیستم پیکسل تصویر از پیش تعیین شده انتخاب کردیم. سپس دو استراتژی منطبق (Strategy-A: تصویر مجاور به عنوان تصویر مرجع تنظیم می شود؛ Strategy-S: تصویر از پیش تعیین شده به عنوان تصویر مرجع تنظیم می شود؛) برای شناسایی و مطابقت خودکار نقاط کنترل برای تخمین ماتریس نگاشت اعمال می شود. رابطه بین تصاویر را می توان در شکل 11 و شکل 12 با در نظر گرفتن مجموعه داده MDXZ به عنوان مثال نشان داد.
مقایسه کمی استراتژی های تطبیق مختلف و دو مجموعه داده با استفاده از RMSE به ترتیب در جدول 2 و جدول 3 گزارش شده است. RMSE-A نتایج Strategy-A را نشان می دهد و RMSE-S نتایج Strategy-S را نشان می دهد.
از جدول 2 و جدول 3 ، می بینیم که میانگین خطای طرح ریزی دو مجموعه داده در 13 پیکسل است. همانطور که دوربین مداربسته تصاویر را در نمای جانبی دریافت می کند، GSD (فاصله نمونه زمین) با فاصله بین جسم تا دوربین متفاوت است. با ارجاع به GSD TDOM ها (نقشه های ارتوفتو دیجیتال واقعی) تولید شده از تصاویر پهپادهای ارتفاع پایین [ 30]، اعتقاد بر این است که روش ادغام پیشنهادی می تواند به دقت متر دست یابد و الزامات پایش زمین کشت شده در زمان واقعی را در منطقه آزمایشی برآورده کند. در همین حال، می توان مشاهده کرد که میانگین دقت ثبت تصویر مجموعه داده MDXZ بالاتر از مجموعه داده JBWF است، که همچنین می تواند نشان دهد که تفاوت هندسی بین تصاویر ویدیویی در MDXZ بیشتر از JBWF است.
با مقایسه نتایج آزمایشی فریم‌های ویدئویی در مجموعه داده MDXZ، روند واضحی مشخص می‌شود: هر دو RMSE-A و RMSE-S زمانی که فرآیند تطبیق از MDXZ05 به MDXZ00 و از MDXZ05 تا MDXZ09 تغییر می‌کند، افزایش می‌یابند، که در آن اعوجاج هندسی بزرگ‌تر می‌شود. دوربین PTZ حرکت، کج و بزرگنمایی شده است. علاوه بر این، می توان دریافت که Strategy-S می تواند دقت بالاتری نسبت به Strategy-A به دست آورد. این به این دلیل است که با افزایش زمان تطبیق، خطای تطبیق جمع می شود. یک کشف جالب این است که بهترین نتایج ثبت تصویر ممکن است بین نزدیکترین تصویر به دست نیاید، اما ممکن است دومین یا سومین تصویر نزدیک باشد، مانند نتایج MDXZ02، MDXZ03 و MDXZ04 در جدول 2 . نتیجه مشابهی را می توان در جدول 3 بدست آورد.

6. بحث و گفتگو

برای یک سیستم نظارت تصویری مبتنی بر GIS، پیش نیاز تراز کردن داده های GIS با تصاویر ویدئویی است. به منظور انجام این تراز، لازم است یک رابطه نقشه برداری بین قاب ویدئو و داده های GIS ایجاد شود. در این مطالعه، ما روشی را برای ثبت داده‌های برداری دوبعدی زمین زیر کشت حفاظت‌شده بر روی تصاویر ویدئویی نظارتی پیشنهاد می‌کنیم. نتایج تجربی در زمین‌های زیر کشت با چشم‌انداز نسبتاً مسطح نشان می‌دهد که روش پیشنهادی می‌تواند با دقت BFPZ‌های برداری دوبعدی را بر روی فریم‌های ویدئویی بلادرنگ نمایش دهد و دقت موقعیت‌یابی در سطح متر را برای برآورده کردن الزامات نظارت بر زمین‌های کشت شده به دست آورد.
در حال حاضر مطالعاتی بر روی سیستم های نظارت تصویری مبتنی بر GIS انجام شده است. سیستم GeoScopeAVS طراحی شده توسط Milosavljevic و همکاران. [ 16] GIS یکپارچه و نظارت تصویری برای بازیابی در زمان واقعی اطلاعات در مورد اشیاء جغرافیایی مشاهده شده. در سیستم آنها، نماهای سه بعدی GIS و دوربین به گونه ای تراز شدند که امکان استخراج تجسم اشیاء مجازی سه بعدی مناسب و قرار دادن آنها روی ویدیو وجود داشته باشد. با این حال، این روش ممکن است برای زمین های زیر کشت قابل اجرا نباشد، زیرا مدل های سه بعدی از ویژگی های جغرافیایی و DEM دقیق منطقه ضروری است. همانطور که می دانیم مردم بیشتر به الگوسازی محیط شهری به ویژه ساختمان ها توجه می کنند، اما الگوسازی محیط روستایی تا حد زیادی نادیده گرفته می شود. علاوه بر این، همه اشیاء در دنیای واقعی را نمی توان به طور کامل مدل سازی کرد، مانند وسایل نقلیه، مردم، درختان و چراغ های خیابان. 15 ]. ژائو و همکاران [ 17] یک سیستم نظارت تصویری مبتنی بر GIS برای حذف و تغییر رنگ حشرات جنگل طراحی کرد. اگرچه GIS 2D و 3D GIS به طور همزمان در سیستم خود یکپارچه شده اند، اما این یک ترکیب واقعی نیست زیرا این داده ها از نظر جغرافیایی به هم مرتبط هستند و به طور جداگانه در پنجره خود نمایش داده می شوند. با این وجود، تفسیر این داده ها برای افراد غیرمتخصص دشوار است، زیرا آنها در یک لایه ارائه نمی شوند. میلوساولیویچ و همکاران [ 19] روشی را برای ارجاع جغرافیایی تصاویر ویدیویی پیشنهاد کرد که بر تطبیق مختصات فریم ویدیویی ویژگی‌های نقطه‌ای خاص با مکان‌های جغرافیایی سه بعدی آن‌ها متکی بود. به طور کلی، روش های ذکر شده در بالا دارای یک ویژگی مشترک هستند: همه آنها به پارامترهای داخلی و خارجی دوربین و داده های جغرافیایی سه بعدی با دقت بالا نیاز دارند که به دست آوردن دقیق برای مورد زمین های زیر کشت دشوار است و باعث خرابی می شود. ژانگ و همکاران [ 18] یک سیستم نمونه اولیه مبتنی بر GIS برای مدیریت ایمنی شهر ارائه کرد. آنها یک روش نقشه برداری متقابل نیمه خودکار را بر اساس GIS دو بعدی و برخی محدودیت ها توصیف کردند. اما مورد دوربین PTZ در سیستم آنها در نظر گرفته نشده بود که آنها را برای نظارت بر زمین های زیر کشت نامناسب می کرد. در مقایسه با آنها، راه حل ما در نظارت بر زمین های زیر کشت امکان پذیرتر است. از یک طرف، اجرای آن سریع و آسان است. هیچ یک از پارامترهای دوربین و مدل سه بعدی اشیا برای ادغام داده های GIS دو بعدی و تصاویر ویدئویی PTZ مورد نیاز نیست. هنگامی که تعدادی از نقاط کنترل از داده‌های GIS دوبعدی و تصویر ویدیوی مرجع انتخاب شده شناسایی می‌شوند، تراز داده‌های GIS دو بعدی و فریم‌های ویدئویی PTZ را می‌توان با روش تطبیق خودکار ویژگی‌ها محقق کرد. از سوی دیگر،
عواملی وجود دارد که ممکن است بر عملکرد سیستم ما تأثیر بگذارد: انتخاب تصاویر مرجع و همچنین دامنه و سرعت حرکت دوربین فیلمبرداری ممکن است همپوشانی بین تصاویر را تغییر دهد و بر تطابق ویژگی ها تأثیر بگذارد. اگر همپوشانی بین تصاویر خیلی کم باشد، بدست آوردن ویژگی های متناظر با توزیع یکنواخت برای تخمین ماتریس تبدیل هندسی دشوار است. علاوه بر این، یک استراتژی تطبیق متفاوت ممکن است بر دقت تصاویر ویدیویی و نتایج ثبت داده‌های GIS تأثیر بگذارد. همانطور که در بخش 5.2 توضیح داده شد، یک استراتژی تطبیق معقول می تواند انتشار خطای تطبیق را کاهش دهد. به طور جامع، بهتر است Strategy-S را به جای Strategy-A برای ادغام BFPZ های برداری دو بعدی و تصاویر ویدیویی انتخاب کنید. یکی از دلایل انتشار خطا در Strategy-A است و دلیل دیگر این است که تعیین فاصله بین تصاویر مجاور دشوار است. نقص اصلی Strategy-S این است که حرکت دوربین PTZ را می توان محدود کرد. اگر همپوشانی بین قاب از پیش تعیین شده و فریم فعلی خیلی کم باشد، این استراتژی ممکن است شکست بخورد. علاوه بر این، روش پیشنهادی برای مناطق با زمین های پیچیده، مانند مناطق کوهستانی مناسب نیست. در چنین مناطقی، رابطه نگاشت هندسی بین صفحه تصویر ویدئویی و داده های GIS دو بعدی را نمی توان به سادگی با تبدیل هموگرافی مدل کرد. ممکن است در تراز کردن تصاویر ویدئویی با داده های GIS شکست بخورد،
بر اساس نتایج تراز، ما به راحتی می‌توانیم وقوع تخریب زمین‌های کشاورزی را با بازرسی بصری محتوای تصویری که ناحیه برداری دوبعدی را پوشش می‌دهد، شناسایی کنیم. در چین، تبدیل زمین های کشاورزی دائمی در BFPZ ها به سایر کاربری ها ممنوع است، در حالی که ماهیت کاربری زمین های کشاورزی غیر دائمی را می توان با تایید ادارات مربوطه، به عنوان مثال، به زمین های ساختمانی تغییر داد. از آنجایی که این دو نوع زمین کشاورزی در تصاویر ویدیویی بسیار شبیه و غیرقابل تشخیص هستند، لازم است منطقه حفاظت شده را روی تصویر ویدیویی برچسب گذاری کنید. روش پیشنهادی راه حلی برای حل مشکل برچسب زدن زمین های کشاورزی اساسی در ویدئوهای PTZ ارائه می دهد. چند ضلعی ها در داده های GIS دوبعدی مرز زمین های زیر کشت حفاظت شده را مشخص می کنند. اگر محتوای تصویری که توسط چند ضلعی محدود شده است به عنوان زمین ساخت و ساز شناخته شود،
با این حال، تلاش کمی برای شناسایی خودکار تخریب زمین های کشاورزی یا تغییر غیرمجاز کاربری زمین های کشاورزی از تصاویر ویدیویی انجام شده است. در ادبیات کنونی تقریباً هیچ تحقیق و گزارشی در این زمینه وجود ندارد. علاوه بر این، این موضوع یک مشکل پیچیده است که نیازمند فناوری‌هایی در موضوعات و زمینه‌های مختلف مانند بینایی کامپیوتر، تحلیل هوشمند ویدئو، پردازش تصویر و داده‌کاوی است. در آینده، ما سعی خواهیم کرد استحکام سیستم خود را بهبود بخشیم و در مورد شناسایی خودکار اشغال غیرقانونی زمین‌های کشاورزی از تصاویر ویدیویی PTZ در زمان واقعی که توسط داده‌های برداری GIS دوبعدی ترسیم شده‌اند، مطالعه بیشتری کنیم.

7. نتیجه گیری

هدف این مقاله ادغام دو بعدی GIS و نظارت PTZ در زمان واقعی، و اجرای نمونه اولیه یک سیستم نظارت بر زمین های کشت شده بر اساس روش ادغام پیشنهادی است. این ادغام می تواند به کاربران در شناسایی تصرف غیرقانونی زمین های تحت کشت حفاظت شده در اسرع وقت کمک کند. از آنجایی که زمین های زیر کشت دائم و زمین های کشاورزی غیردائم بسیار شبیه و غیرقابل تشخیص در تصاویر ویدئویی هستند، داده های GIS دوبعدی می توانند مرزها و سایر اطلاعات معنایی زمین کشاورزی حفاظت شده را ارائه دهند. برای فرآیند یکپارچه سازی، همسویی داده های GIS و فریم های ویدئویی ضروری است. در روش پیشنهادی، داده‌های برداری GIS دوبعدی توسط ماتریس تبدیل، که از جفت‌های استخراج‌شده از ویژگی‌های متناظر تخمین زده می‌شود، بر روی تصویر ویدئویی پیش‌بینی می‌شود. در مقایسه با روش ها یا سیستم های موجود، روش یکپارچه سازی پیشنهادی دارای مزایای زیر است: (1) اجرای آن سریع و آسان است. هیچ یک از پارامترهای دوربین و مدل سه بعدی اشیا یا زمین برای ادغام داده های GIS دو بعدی و تصاویر ویدئویی PTZ مورد نیاز نیست. (2) تشخیص تصرف غیرقانونی زمین حفاظت شده از ویدیوی بلادرنگ برای افراد غیر متخصص و بی تجربه آسان تر است. علاوه بر این، موارد دیگری نیز وجود دارد که قابل تامل است. به عنوان مثال، نحوه شناسایی خودکار تخریب زمین های کشاورزی یا تغییر غیرمجاز کاربری زمین های کشاورزی از تصاویر ویدئویی با کمک داده های GIS دو بعدی پیش بینی شده. این مطالعات آینده ما خواهد بود. هیچ یک از پارامترهای دوربین و مدل سه بعدی اشیا یا زمین برای ادغام داده های GIS دو بعدی و تصاویر ویدئویی PTZ مورد نیاز نیست. (2) تشخیص تصرف غیرقانونی زمین حفاظت شده از ویدیوی بلادرنگ برای افراد غیر متخصص و بی تجربه آسان تر است. علاوه بر این، موارد دیگری نیز وجود دارد که قابل تامل است. به عنوان مثال، نحوه شناسایی خودکار تخریب زمین های کشاورزی یا تغییر غیرمجاز کاربری زمین های کشاورزی از تصاویر ویدئویی با کمک داده های GIS دو بعدی پیش بینی شده. این مطالعات آینده ما خواهد بود. هیچ یک از پارامترهای دوربین و مدل سه بعدی اشیا یا زمین برای ادغام داده های GIS دو بعدی و تصاویر ویدئویی PTZ مورد نیاز نیست. (2) تشخیص تصرف غیرقانونی زمین حفاظت شده از ویدیوی بلادرنگ برای افراد غیر متخصص و بی تجربه آسان تر است. علاوه بر این، موارد دیگری نیز وجود دارد که قابل تامل است. به عنوان مثال، نحوه شناسایی خودکار تخریب زمین های کشاورزی یا تغییر غیرمجاز کاربری زمین های کشاورزی از تصاویر ویدئویی با کمک داده های GIS دو بعدی پیش بینی شده. این مطالعات آینده ما خواهد بود. نحوه شناسایی خودکار تخریب زمین های کشاورزی یا تغییر غیرمجاز کاربری زمین های کشاورزی از تصاویر ویدیویی با کمک داده های GIS دو بعدی پیش بینی شده. این مطالعات آینده ما خواهد بود. نحوه شناسایی خودکار تخریب زمین های کشاورزی یا تغییر غیرمجاز کاربری زمین های کشاورزی از تصاویر ویدیویی با کمک داده های GIS دو بعدی پیش بینی شده. این مطالعات آینده ما خواهد بود.

مشارکت های نویسنده

مفهوم سازی، ژنفنگ شائو و کونگمین لی. روش شناسی، ژنفنگ شائو و کونگمین لی. اعتبار سنجی، کونگمین لی، لین دینگ و لی ژانگ. تحلیل رسمی، ژنفنگ شائوند کونگمین لی؛ Data Curation، Congmin Li، Lei Zhang و Lin Ding. نگارش – آماده سازی پیش نویس اصلی، ژنفنگ شائو و کونگمین لی. نوشتن- بررسی و ویرایش، کونگمین لی، درن لی، اورهان آلتان و لی ژانگ. نظارت، Congmin Li; تامین مالی، ژنفنگ شائو و لی ژانگ. همه نویسندگان نسخه منتشر شده نسخه خطی را خوانده و با آن موافقت کرده اند.

منابع مالی

این کار توسط برنامه تحقیق و توسعه کلید ملی چین (2018YFB0505401)، پروژه تحقیقاتی وزارت منابع طبیعی چین تحت گرنت 4201-240100123، بنیاد ملی علوم طبیعی چین تحت کمک های مالی 41771452، 41771494، 41771494، حمایت می شود. و 41901340، صندوق علوم طبیعی استان هوبی در چین تحت Grant 2018CFA007، صندوق باز آزمایشگاه کلیدی پایش و شبیه‌سازی منابع زمین شهری، وزارت منابع طبیعی تحت Grant KF-2019-04-048.

قدردانی

نویسندگان صمیمانه از ویراستاران و همچنین داوران ناشناس به خاطر پیشنهادها و نظرات ارزشمندشان که به ما در بهبود چشمگیر این مقاله کمک کردند، سپاسگزاری می کنند.

تضاد علاقه

نویسندگان هیچ تضاد منافع را اعلام نمی کنند.

منابع

  1. سالنامه آماری چین 2019 ؛ اداره ملی آمار جمهوری خلق چین: پکن، چین، 2019. در دسترس آنلاین: https://www.stats.gov.cn/tjsj/ndsj/2019/indexch.htm (در 13 مه 2020 قابل دسترسی است).
  2. یوان، ی. لین، ال. چن، جی بی. سهلی، HC; چن، YX; وانگ، سی. Wu, B. چارچوبی جدید برای مدل‌سازی و نظارت بر تبدیل زمین‌های زیر کشت به زمین ساخته‌شده بر اساس مدل نیمه مارکوف پنهان سلسله مراتبی با استفاده از سری زمانی تصاویر ماهواره‌ای. Remote Sens. 2019 , 11 , 210. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  3. وانگ، ی. گائو، جی ایکس؛ Zou، CX; Xu، DL; وانگ، LX؛ جین، ی. وو، دی. لین، NF؛ Xu، MJ شناسایی مناطق با ارزش و حساس اکولوژیکی: تجزیه و تحلیل مطالعه موردی از چین. جی. نات. حفظ کنید. 2017 ، 40 ، 49-63. [ Google Scholar ] [ CrossRef ]
  4. چنگ، QW; جیانگ، پی اچ. Cai، LY; شان، جی ایکس؛ ژانگ، YQ; وانگ، LY; لی، ام سی; Li، FX; زو، تبر; چن، دی. ترسیم یک منطقه حفاظت از زمین های کشاورزی پایه دائمی در اطراف مرکز شهر: مطالعه موردی شهر چانگژو، چین. کاربری اراضی Pol. 2017 ، 60 ، 73-89. [ Google Scholar ] [ CrossRef ]
  5. Coughlin، دوباره فرموله کردن و ارزیابی برنامه های منطقه بندی کشاورزی. مربا. طرح. دانشیار 1991 ، 57 ، 183-192. [ Google Scholar ] [ CrossRef ]
  6. دو، پ. چن، YB نظارت پویا از تغییر کاربری زمین/پوشش زمین و گسترش شهری در شنژن با استفاده از تصاویر Landsat از سال 1988 تا 2015 . J. Remote Sens. 2017 , 38 , 5388–5407. [ Google Scholar ] [ CrossRef ]
  7. حسین، م. چن، DM; چنگ، ا. وی، اچ. Stanley, D. تغییر تشخیص از تصاویر سنجش از راه دور: از رویکردهای مبتنی بر پیکسل به رویکردهای مبتنی بر شی. Isprs J. Photogramm. Remote Sens. 2013 ، 80 ، 91-106. [ Google Scholar ] [ CrossRef ]
  8. وی، ZQ; هان، YF; لی، من؛ یانگ، ک. یانگ، ی. لو، ی. Ong، SH یک پهپاد کوچک مبتنی بر ثبت تصویر چند زمانی برای نظارت بر تراس کشاورزی پویا. Remote Sens. 2017 , 9 , 904. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  9. آهنگ، اف. دن، تی تی; یو، آر. یانگ، ک. یانگ، ی. چن، وای. گائو، XY؛ تشخیص تغییرات چند زمانی مبتنی بر پهپاد کوچک Ong، SH برای نظارت بر تغییرات پوشش زمین کشت شده در زمین های کوهستانی. سنسور از راه دور Lett. 2019 ، 10 ، 573-582. [ Google Scholar ] [ CrossRef ]
  10. آهنگ، اف. لی، من؛ یانگ، ی. یانگ، ک. گائو، XY؛ ثبت تصاویر چند نقطه ای مبتنی بر پهپاد کوچک Dan, TT برای نظارت بر تغییرات زمین های کشت شده در زمین های کوهستانی. بین المللی J. Remote Sens. 2018 , 39 , 7201–7224. [ Google Scholar ] [ CrossRef ]
  11. ما، ال. چنگ، ال. هان، WQ; ژونگ، LS; Li, MC استخراج اطلاعات زمین کشت شده از داده‌های تصاویر هواپیمای بدون سرنشین با وضوح بالا. J. Appl. Remote Sens. 2014 , 8 , 25. [ Google Scholar ] [ CrossRef ]
  12. آی، من؛ هو، QW; لی، جی. وانگ، ام. یوان، اچ. وانگ، SH یک روش پردازش فتوگرامتری قوی تصاویر پهپاد در ارتفاع پایین. Remote Sens. 2015 ، 7 ، 2302-2333. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  13. ژانگ، YJ; Xiong، JX; Hao, LJ پردازش فتوگرامتری تصاویر در ارتفاع پایین بدست آمده توسط وسایل نقلیه هوایی بدون خلبان. فتوگرام ضبط 2011 ، 26 ، 190-211. [ Google Scholar ] [ CrossRef ]
  14. نظارت تصویری چند دوربینه هوشمند وانگ، XG: یک بررسی. تشخیص الگو Lett. 2013 ، 34 ، 3-19. [ Google Scholar ] [ CrossRef ]
  15. میلوساولیویچ، آ. رانچیچ، دی. دیمیتریویچ، آ. پردیک، بی. Mihajlovic، V. یکپارچه سازی GIS و نظارت تصویری. بین المللی جی. جئوگر. Inf. علمی 2016 ، 30 ، 2089-2107. [ Google Scholar ] [ CrossRef ]
  16. میلوساولیویچ، آ. دیمیترییویک، آ. Rancic، D. نظارت تصویری افزوده شده با GIS. بین المللی جی. جئوگر. Inf. علمی 2010 ، 24 ، 1415-1433. [ Google Scholar ] [ CrossRef ]
  17. ژائو، FF; وانگ، YF; Qiao, YY Framework برای نظارت ویدئویی بر روی برگ‌زدایی و تغییر رنگ حشرات جنگلی. J. Appl. Remote Sens. 2015 ، 9 ، 15. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  18. ژانگ، ایکس. لیو، ایکس. Song, H. نظارت تصویری GIS: یک برنامه جدید. در مجموعه مقالات بیست و یکمین کنفرانس بین المللی IEEE در زمینه ژئوانفورماتیک، کایفنگ، چین، 20 تا 22 ژوئن 2013. صص 1-4. [ Google Scholar ]
  19. میلوساولیویچ، آ. رانچیچ، دی. دیمیتریویچ، آ. پردیک، بی. Mihajlovic, V. A Method for Evetimating Surveillance Video Georeferences. Isprs Int. J. Geo-Inf. 2017 ، 6 ، 211. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  20. Xie، YJ; وانگ، MZ; لیو، XJ; Wu، YG ادغام GIS و اجسام متحرک در ویدئوهای نظارتی. Isprs. بین المللی J. Geo-Inf. 2017 ، 6 ، 94. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  21. رولکه، آر. بائر، اس. دورینگ، تی. Meysel, F. نظارت بر ترافیک با استفاده از تشخیص چند دوربین و ردیابی چند هدف. در مجموعه مقالات محاسبات تصویر و چشم انداز، همیلتون، نیوزلند، 5-7 دسامبر 2007. صص 175-180. [ Google Scholar ]
  22. تیان، ی. چن، سی. شاه، ام. تطبیق تصویر متقاطع برای مکان‌یابی جغرافیایی در محیط‌های شهری. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو (CVPR)، هونولولو، HI، ایالات متحده آمریکا، 21 تا 26 ژوئیه 2017؛ صفحات 1998-2006. [ Google Scholar ]
  23. رگمی، ک. شاه، ام. پل زدن شکاف دامنه برای تطبیق تصویر زمین به هوایی. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر (ICCV)، سئول، کره، 27 اکتبر تا 2 نوامبر 2019؛ صص 470-479. [ Google Scholar ]
  24. لین، تی. بلنگی، اس. هیز، جی. موقعیت جغرافیایی تصویر متقاطع. در مجموعه مقالات کنفرانس IEEE در مورد دید کامپیوتری و تشخیص الگو، پورتلند، OR، ایالات متحده آمریکا، 23 تا 28 ژوئن 2013. صص 891-898. [ Google Scholar ]
  25. Lowe, DG ویژگی های تصویر متمایز از نقاط کلیدی تغییرناپذیر مقیاس. بین المللی جی. کامپیوتر. Vis. 2004 ، 60 ، 91-110. [ Google Scholar ] [ CrossRef ]
  26. مورل، جی.ام. Yu، GS ASIFT: چارچوبی جدید برای مقایسه تصویر ثابت و کاملاً یکسان. سیام. J. Imaging Sci. 2009 ، 2 ، 438-469. [ Google Scholar ] [ CrossRef ]
  27. Marquardt, DW الگوریتمی برای برآورد حداقل مربعات پارامترهای غیرخطی. J. Soc. Ind. Appl. ریاضی. 1963 ، 11 ، 431-441. [ Google Scholar ] [ CrossRef ]
  28. لونبرگ، ک. روشی برای حل مسائل غیر خطی معین در حداقل مربعات. Q. Appl. ریاضی. 1944 ، 2 ، 164-168. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  29. فیشلر، MA; بولس، اجماع نمونه تصادفی RC – الگویی برای تطبیق مدل با کاربردهای آنالیز تصویر و کارتوگرافی خودکار. اشتراک. Acm. 1981 ، 24 ، 381-395. [ Google Scholar ] [ CrossRef ]
  30. لیو، ی. ژنگ، ایکس. آی، جی. ژانگ، ی. Zuo, Y. ایجاد یک نقشه ارتوفوتوی دیجیتال واقعی با دقت بالا بر اساس تصاویر پهپاد. Isprs. بین المللی J. Geo-Inf. 2018 ، 7 ، 333. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
Ijgi 09 00448 g001 550
شکل 1. فلوچارت ادغام پیشنهادی داده های GIS 2 بعدی و نظارت تصویری PTZ (پان شیب-زوم).
Ijgi 09 00448 g002 550
شکل 2. نماهای مختلف فیلم نظارتی و حسگرهای سنجش از راه دور هنگام ثبت یک صحنه.
Ijgi 09 00448 g003 550
شکل 3. ( الف ) توزیع نقاط کنترل انتخاب شده. ( ب ) تصویر ویدئویی محلی از ویژگی های انتخاب شده. ( ج ) تصویر سنجش از راه دور محلی از ویژگی‌های انتخاب شده با مناطق حفاظتی اساسی زمین‌های کشاورزی بردار دوبعدی (BFPZs) روکش شده است. ( د ) تصویر ویدئویی محلی از ویژگی‌های انتخاب شده با BFPZ‌های برداری دو بعدی.
Ijgi 09 00448 g004 550
شکل 4. تبدیل بین فریم های ویدئویی و تصویر از پیش تعیین شده.
Ijgi 09 00448 g005 550
شکل 5. تبدیل بین فریم های ویدئویی مجاور.
Ijgi 09 00448 g006 550
شکل 6. نمودار چارچوب روش نظارت جامع پیشنهادی برای پایش زمین های زیر کشت.
Ijgi 09 00448 g007 550
شکل 7. صحنه های دو مجموعه داده. ( الف ) MDXZ و ( ب ) JBWF.
Ijgi 09 00448 g008 550
شکل 8. رابط کاربری سیستم نظارت تصویری برای زمین های زیر کشت.
Ijgi 09 00448 g009 550
شکل 9. نگاشت متقاطع بین BFPZ های 2 بعدی و فریم ویدیویی از پیش تعیین شده مجموعه داده MDXZ (ردیف بالا) و JBWF (ردیف پایین). ( الف ) قاب ویدیویی از پیش تعیین شده. ( ب ) تصویر ارتو مربوطه با BFPZ های برداری دوبعدی پوشانده شده است. ( ج ) فریم ویدئویی از پیش تعیین شده که به فضای جغرافیایی نمایش داده می شود. ( د ) BFPZهای بردار دوبعدی که در فضای تصویر نمایش داده می شوند.
Ijgi 09 00448 g010 550
شکل 10. BFPZ های دوبعدی با استفاده از روش پیشنهادی در مجموعه داده MDXZ به فضای تصویر مختلف نمایش داده می شوند. ( الف ) بخش فریم های ویدئو. ( ب ) نتایج تطبیق، که در آن نقاط متناظر با یک خط مستقیم متصل می شوند. ( ج ) فریم های ویدئویی با BFPZ های پیش بینی شده پوشانده شده اند.
Ijgi 09 00448 g011 550
شکل 11. رابطه بین فریم های ویدئویی هنگام استفاده از Strategy-A.
Ijgi 09 00448 g012 550
شکل 12. رابطه بین فریم های ویدئویی هنگام استفاده از Strategy-S.

مقالات داخلی و بین المللی

مطالب مرتبط ...

بدون دیدگاه

دیدگاهتان را بنویسید