زیرساخت تجزیه و تحلیل داده های مکانی برای نقشه برداری موضوعی در مقیاس بزرگ

خلاصه

پدیده های فیزیکی به دست آمده از تجزیه و تحلیل تصاویر سنجش از دور، درک واضح تری از تغییرات طیفی تعداد زیادی از طبقات کاربری و پوشش زمین (LUC) ارائه می دهند. ایجاد نقشه های LUC این دیدگاه را با قادر ساختن جامعه علمی برای تخمین ناهمگنی پارامتر سطح زمین تأیید کرده است. همراه با توصیف ویژگی‌ها و آمار برای تجمیع اطلاعات مکانی-زمانی، برنامه‌های دولتی نقشه‌های موضوعی را برای پیشبرد اجرای سیاست‌های عمومی مؤثر و تقویت توسعه پایدار منتشر کرده‌اند. در برزیل، PRODES و DETERنشان داده اند که آنها متعهد به نظارت سیستماتیک مناطق نقشه برداری جنگل زدایی در مقیاس بزرگ و با استفاده از تضمین کیفیت داده ها هستند. با این حال، این برنامه‌ها به قدری پیچیده هستند که نیاز به طراحی، پیاده‌سازی و استقرار زیرساخت داده‌های مکانی مبتنی بر ویژگی‌های تجزیه و تحلیل داده‌های گسترده دارند تا کاربرانی که فاقد درک لازم از رابط‌های فضایی استاندارد هستند، همچنان بتوانند در مورد آنها تحقیق کنند. با در نظر گرفتن این موضوع، موسسه ملی تحقیقات فضایی برزیل (INPE) TerraBrasilis را طراحی کرده است، یک زیرساخت تجزیه و تحلیل داده های فضایی که رابط هایی را فراهم می کند که نه تنها در سیستم های اطلاعات جغرافیایی سنتی، بلکه در محیط های تجزیه و تحلیل داده ها با الگوریتم های پیچیده یافت می شوند. برای اطمینان از دستیابی به بهترین عملکرد خود، ما از یک معماری میکرو سرویس با منابع رایانه مجازی استفاده کردیم تا امکان دسترسی بالا، اندازه کمتر، سادگی برای ایجاد افزایش، قابل اعتماد برای تغییر و تحمل خطا در سناریوهای شبکه کامپیوتری ناپایدار را فراهم کنیم. علاوه بر این، ما پایگاه‌های داده خود را تنظیم و بهینه‌سازی کردیم تا هم با قالب ورودی الگوریتم‌های پیچیده تنظیم شود و هم سرعت بارگذاری برنامه وب را افزایش دهیم تا سریع‌تر از سایر سیستم‌ها باشد.

کلمات کلیدی: زیرساخت داده های مکانی تجزیه و تحلیل داده ها ؛ نقشه برداری موضوعی

1. معرفی

از زمان پرتاب اولین ماهواره‌های مصنوعی، پیشرفت‌های متعددی در زمینه پایداری محیط‌زیست به‌ویژه در کشورهای در حال توسعه مانند برزیل صورت گرفته است [ 1 ]. آژانس‌های فضایی ماهواره‌های منفرد را که در مدار قرار گرفته‌اند، ردیابی کرده‌اند تا یک نمای همدیدی با تعداد زیادی امضای طیفی به دست آورند که برای ارائه درک سریع از پویایی تغییرات کاربری/پوشش زمین (LUC)، از منطقه‌ای تا مقیاس قاره ای [ 2 ]. کیفیت و انعطاف پذیری حجم زیادی از اطلاعات مکانی می تواند به جامعه علمی در طیف گسترده ای از کاربردهای زیست محیطی کمک کند: مدل سازی جنگل زدایی [ 3 ]، نظارت بر بلایا [ 4 ].]، برآورد حجم کل آب [ 5 ] و انجام ارزیابی تنوع زیستی کشاورزی [ 6 ، 7 ]. در نتیجه، برخی از مطالعات منجر به طراحی نقشه‌های موضوعی برای کمک به تحقیقات علمی آن‌ها با برجسته‌سازی الگوهای مکانی – زمانی در مناطق شهری و روستایی شده است.

برزیل یکی از نمونه های تضمین شده کیفیت [ 8 ] و از لحاظ مکانی گسترده از کشوری است که با ایجاد نقشه های موضوعی با نرم افزار منبع باز، از سنجش از دور برای حفظ منابع طبیعی زمین استفاده کرده است. برنامه‌های نظارت مستمر مبتنی بر داده‌های برزیل برای جنگل‌زدایی واضح ( PRODES ) [ 9 ]، و سیستم هشدار هشدار برای تشخیص جنگل‌زدایی در زمان واقعی ( DETER ) [ 10 ، 11 ]]، که توسط موسسه ملی تحقیقات فضایی برزیل (INPE) انجام شده است، در پاسخ به شواهد دال بر تغییرات در انسان شناسی ناشی از تغییرات در پوشش گیاهی بومی عمل کرده و زمینه را برای بررسی دقیق فراهم کرده است. از سال 1988، PRODES به طور سیستماتیک نرخ رسمی سالانه ( https://www.obt.inpe.br/OBT/assuntos/programas/amazonia/prodes ) را بر اساس مناطق افزایش جنگل زدایی شناخته شده تخمین زده است. DETER به فعالیت های جنگل زدایی پراکنده و پراکنده به صورت روزانه بر خلاف PRODES [ 12 ] می پردازد.

الزامات فنی باعث نگرانی سازمان‌های دولتی برای بهبود سرویس‌های وب قابل‌کاربرد شده است تا بتوان از آن‌ها برای کشف، بازیابی، ادغام و اشتراک‌گذاری حجم زیادی از داده‌های مکانی دیجیتالی شده در مکان‌های مختلف به روشی مؤثر استفاده کرد. 13 ، 14 ، 15 ]. این رویکرد از بالا به پایین، که به عنوان زیرساخت داده‌های مکانی (SDI) شناخته می‌شود، بر فناوری‌ها، اصول، سیاست‌ها، مشخصات و افراد درگیر در رویه‌ها و مکانیسم‌های تعیین‌شده در هر ابتکار (مانند INSPIRE ( https://inspire.ec ) متکی است. .europa.eu/ )، NSDI ایالات متحده ( https://www.fgdc.gov/nsdi/nsdi.html)) برای ارائه دسترسی غیر اختصاصی به داده های دارای مهر زمانی و ساختار توپولوژیکی [ 16 ، 17 ]. اولین تلاش‌ها برای توسعه SDI بر فرآیندهای یکپارچه (یعنی برنامه‌های کاربردی وب بزرگ) با حاکمیت متمرکز و مدیریت داده‌ها بر اساس مکان، زمان و ویژگی‌های موضوعی متمرکز بود [ 18 ]. با این حال، SDIها در تلاش خود برای پاسخگویی به سؤالات دقیق تر (مثلاً در دسترس بودن داده ها در مناطق خاص، یا استفاده از پارامترهای موضوعی خاص در دوره های زمانی مشخص) که توسط آن دسته از کاربران مطرح می شود، از روندهای فناوری اخیر پیروی نکردند. یا سابقه ای در زمین انفورماتیک ندارند یا به دنبال تجزیه و تحلیل این داده ها به روشی آسان تر هستند [ 19 ]].

دلیل این امر این است که SDIها برای تبادل داده های فضایی از طریق پروتکل حمل و نقل Hyper Text (HTTP) به استانداردهای رابط وب سرویس متکی هستند، که مانع تقویت قدرت تجزیه و تحلیل با توجه به کتابخانه های از پیش تعریف شده طراحی شده برای زبان های اسکریپت مانند Python و R می شود. این بدان معنی است که هنوز نیاز به تبدیل رویکردهای مبتنی بر زیرساخت فعلی به استراتژی های الگوریتمی با روش های تحلیلی انعطاف پذیر، مدولار شده و پیشرفته وجود دارد [ 20 ]]. جدای از این واقعیت که رابط های شی گرا جدید که توسط تجزیه و تحلیل آماری هدایت می شوند، شامل پیکربندی جزئی از پیشرفت های هسته و پشتیبان هستند (مثلاً مدیریت مجموعه داده های نیمه ساختاری و بدون ساختار)، هنوز هم ممکن است بتوانند بر چالش های مطرح شده غلبه کنند. با قابلیت تحلیل داده ها علاوه بر این، عصر جدید داده های بزرگ به خدمات پیچیده کمتر و محیط های قابل تکرار برای تجزیه و تحلیل سریع نیاز دارد [ 21 ، 22 ].

آنچه در اینجا باید بر آن تاکید شود این است که تجزیه و تحلیل داده های علمی ناهمگن [ 19 ، 20 ] که به صورت پویا مقیاس می شوند [ 23 ] منجر به تلاش زیادی برای هماهنگ کردن، پیش پردازش و تجزیه و تحلیل داده های مکانی جفت شده پس از دانلود آنها از SDI می شود [ 24 ] . به طور خلاصه، چالش‌هایی که هنگام توسعه SDI برای انتشار داده‌های جنگل‌زدایی با آن مواجه می‌شوند، اهداف بسیار متمایز زیر را دارند: (1) انطباق برنامه‌های محیطی ناهمگون با ظهور و گسترش SDI‌های جدید [ 25 ]. (2) مدیریت یکپارچه و تطبیقی داده های مکانی [ 26]؛ و (3) آگاهی از پیشرفت‌های فن‌آوری نوآورانه ثابت بدون توجه به پلتفرمی که استفاده می‌شود، تا زمانی که عمومی و انعطاف‌پذیر با درجه خاصی از مدولاریت باقی بماند [ 27 ].

فرضیه ما این است که بر اساس یافته های تحقیق یک مطالعه قبلی [ 28 ] و طراحی زیرساخت تجزیه و تحلیل داده های مکانی به نام TerraBrasilis ( https://terrabrasilis.dpi.inpe.br )) که اجزای اصلی SDI را به خدمات خرد تقسیم می کند. این یک پروژه در حال انجام است تا جایی که هم برای یک ساختمان کاملاً خودکار و هم برای فرآیند استقرار طراحی شده است تا از سناریوهای پویا مانند مواردی که به وضوح مکانی-زمانی خوب نیاز دارند، طراحی شده است. TerraBrasilis یک پلت فرم مبتنی بر وب است که به دنبال ترتیب، دسترسی و انتشار داده های مکانی از نقشه های موضوعی تولید شده توسط پروژه های زیست محیطی INPE است. این به دنبال برآوردن الزامات استانداردهای قابلیت همکاری GIS (سیستم اطلاعات جغرافیایی) و اطمینان از انطباق با زیرساخت داده‌های مکانی ملی برزیل (INDE) است، در حالی که در عین حال از رابط‌های برنامه‌نویسی کاربردی تحلیلی (API) همه جا حاضر و مقرون به صرفه‌تر استفاده می‌کند. هدف اساسی از توسعه این APIها افزایش در دسترس بودن داده ها است زیرا به کاربران اجازه می دهند تا تجزیه و تحلیل خود را در مناطق خاص بدون فیلتر کردن بیشتر از برش هندسی تنظیم کنند. هدف دوم متکی بر تجزیه و تحلیل مبتنی بر قابلیت‌های تحلیلی در محیط است که می‌تواند روش‌های آماده برای استفاده را آسان‌تر کند، و بنابراین، امکان تغییر از SDI‌های سنتی به زیرساخت‌های تجزیه و تحلیل داده‌های مکانی را فراهم کند. در نتیجه، زمان پردازش کمتری برای جمع‌آوری داده‌های مختلف در فضای درخواستی و نمایش آنها در لایه‌های تجسم لازم است. اجازه تغییر از SDI های سنتی به زیرساخت های تجزیه و تحلیل داده های مکانی را می دهد. در نتیجه، زمان پردازش کمتری برای جمع‌آوری داده‌های مختلف در فضای درخواستی و نمایش آنها در لایه‌های تجسم لازم است. اجازه تغییر از SDI های سنتی به زیرساخت های تجزیه و تحلیل داده های مکانی را می دهد. در نتیجه، زمان پردازش کمتری برای جمع‌آوری داده‌های مختلف در فضای درخواستی و نمایش آنها در لایه‌های تجسم لازم است.

بنابراین، مشارکت های اصلی پژوهشی انجام شده توسط این مطالعه را می توان به شرح زیر خلاصه کرد:

مهندسی و طراحی الزامات در سطح معماری برای پیاده‌سازی و ارزیابی یک SDI منبع باز در مجموعه‌ای از منابع رایانه مجازی. این مستلزم استفاده از یک معماری میکرو سرویس است (الف) برای بهبود تحمل خطا در سناریوهای شبکه کامپیوتری ناپایدار، (ب) برای افزودن سادگی به طوری که بتوان تغییرات جدید را افزایش داد، و (ج) برای سهولت استقرار و نگهداری آن.
در دسترس‌تر کردن پروژه‌های نقشه‌برداری موضوعی پیوسته (مانند DETER و PRODES ) برای ارائه اطلاعات نه تنها از طریق قابلیت همکاری متعارف GIS، بلکه همچنین از طریق قالب‌های نیمه ساختاری و بدون ساختار در محیط تحلیلی.
ایجاد بهبود در پلت فرم TerraBrasilis. این بر اساس درس هایی است که می توان از بررسی مناطق جنگل زدایی از یک سناریوی جنگل زدایی در دنیای واقعی مانند آنچه در برزیل یافت می شود آموخت.

2. زیرساخت داده های مکانی برای تجزیه و تحلیل داده های رصد زمین بزرگ

SDIs را می توان به عنوان ابزاری برای به کارگیری فناوری ها، سیاست ها، استانداردها و سهامداران برای کمک به ارائه دسترسی به داده های مکانی [ 29 ] و امکان انتشار آنها تعریف کرد. SDIها از نقطه نظر مدیریت داده متمرکز هستند. آنها همچنین از مشارکت چند شرکت کننده در پروژه های طولانی مدت زیست محیطی حمایت می کنند. نمونه‌هایی از ابتکارات مانند INSPIRE و NSDI نشان‌دهنده تلاش‌های سازمان‌های دولتی برای فهرست‌نویسی، کشف و دانلود مجموعه‌های داده با مقیاس‌های مختلف است [ 17 ]. با این حال، SDI ها هنوز برای تجزیه و تحلیل داده های علمی نیاز به پیشرفت دارند [ 19 ، 20 ]، که به صورت پویا از منابع ناهمگن مقیاس می شوند [ 23 ]] و زمانی که به مقدار زیاد ظاهر می شوند باید هماهنگ و از قبل پردازش شوند [ 24 ]. یک راه حل شامل انجام یک نوع پردازش سازگار با مدل سمت سرور است که می تواند از سربار ارتباط داده بین مشتری و سرور جلوگیری کند. این ویژگی به رویکردهای جدیدی به نام معماری داده‌های بزرگ زمین (BEOD) نیاز دارد.

معماری‌های BEOD برای جدا شدن از سرویس‌های وب استاندارد مورد استفاده در SDI طراحی شده‌اند، زیرا هنوز مشخص نیست که آیا آنها می‌توانند با عصر جدید Big Data که ظهور کرده است سازگار شوند یا خیر [ 30 ]. این مورد در مورد موتور Google Earth (GEE) است که بر روی مدل Map-Reduce، یکی از کارآمدترین پلتفرم‌های کاربرپسند برای محاسبات گسترده و همزمان و تجزیه و تحلیل در مقیاس بزرگ ساخته شده است [ 31 ]. تغییرات فضایی غیر اختصاصی آن [ 32 ، 33 ، 34 ] و رابط های جایگزین برای پردازش تصویر [ 35 ، 36 ]] چالش های پیشرو را برای محاسبات پشتیبان ایجاد کنید. از آنجایی که کمبود نیروی کار ماهر در زیرساخت های محاسباتی وجود دارد (مثلاً برای تکرار، افزونگی و ارتباطات)، دانشمندان برای مجازی سازی منابع رایانه به ارائه دهندگان ابر متکی هستند. مثال کلاسیک در حوزه خصوصی که رویکردی مستقل از پلت فرم را اتخاذ می کند، ابر محاسباتی الاستیک آمازون (EC2) [ 37 ، 38 ] است که با افزایش تکرارپذیری علمی و آماده سازی داده های آماده تجزیه و تحلیل، حوزه علوم زمین را متحول می کند. نسل بعدی GIS مانند CloudGIS [ 39 ].

از آنجایی که داده‌های مکانی-زمانی برای مدت طولانی از فقدان نمایش علمی رنج می‌بردند، پایگاه‌های داده آرایه‌ای چند بعدی به عنوان جایگزین‌های مفید ظاهر شده‌اند. SciDB [ 40 ] بر مفهوم ریاضی یک آرایه 3 بعدی متکی است و قابلیت همکاری را در سطح جبری بهبود می بخشد [ 41 ]. در مثالی دیگر، Rasdaman [ 42 ] ویژگی های مشابهی را با یک رابط سبک SQL-مانند ارائه می دهد که شامل پارامترهای تنظیم مانند پارتیشن بندی عمودی و فشرده سازی در مکانیزم ذخیره سازی مبتنی بر تکه می شود [ 43 ، 44 ].]. این قابلیت‌ها یک استراتژی همپوشانی برای متعادل کردن بار محاسباتی و مصرف حافظه به کار می‌گیرند. این بدان معنی است که آنها می توانند داده ها را بین بسیاری از گره های محاسباتی با در دسترس بودن بالا ذخیره کنند و چندین کار جمع آوری شده با پیچیدگی زیاد را به طور مستقل انجام دهند. یک مدل منطقی در حال ظهور به نام مکعب داده وجود دارد که همچنین برای برداشتن بار دانشمندان از کامپایل BEOD و ارائه “داده های آماده تجزیه و تحلیل” (ARD) طراحی شده است [ 45 ]. این اصطلاح مخفف ارائه داده‌های رصد زمین با منحنی یادگیری کاهش‌یافته در زمان واقعی برای تصاویر ماهواره‌ای بحث‌برانگیز و استفاده مجدد از روش‌های پردازش برای تجزیه و تحلیل است [ 46 ، 47 ، 48 ].

با توجه به این موضوع، مطالعه ما با افزایش قابلیت‌های مورد نیاز برای انجام یک تحلیل پیچیده در SDIs [ 49 ] پیشرفت چشمگیری داشته است. محدودیت های آنها در رابطه با برنامه نویسی افزایشی و انجام یک تجزیه و تحلیل خلاقانه مقیاس پذیر را می توان با بسته های نرم افزاری آماری مانند موارد موجود در مخزن CRAN غلبه کرد ( https://cran.r-project.org/). علاوه بر این، اگر یک طراحی پایگاه داده ایجاد شود، انجام آنالیز سریعتر و آسانتر از استفاده از قالبهای داده ساختاریافته ارائه شده توسط سرویسهای وب استاندارد (مثلاً، سرویس مشاهده حسگر) می شود. این الزامات تحلیلی و عملکردی توسط SDI ها همراه با خدمات نقشه برداری وب و فهرست نویسی گنجانده شده است. این بدان معنی است که یک محیط تحلیل پسند اجازه می دهد تا داده های مکانی و ویژگی های خاص آنها به روشی بسیار پیچیده تر از تنها اتکا به پیاده سازی های مبتنی بر زیرساخت مورد استفاده قرار گیرند.

3. الزامات زیرساخت داده های مکانی برای تهیه نقشه های موضوعی برای انتشار

الزامات SDI برای نقشه برداری موضوعی با ساختار و الگوهای رفتاری مورد نیاز برای تعیین اولویت ها و ترسیم دستورالعمل های توسعه یک سیستم مطابقت دارد [ 50 ]. با استفاده از یک مدل تحلیلی در حال تکامل که از دیدگاه تجاری طراحی شده است، این کار الزامات عملکردی و غیر عملکردی اساسی را ترکیب می کند که می تواند پویایی برنامه های LUC و ویژگی های اضافی ذاتی نرم افزارهای مرتبط با دامنه را نشان دهد. با در نظر گرفتن این موضوع، هدف ما خلاصه کردن عملکردهای اصلی است ( شکل 1) توسط سه بازیکن کلیدی مشخص شده است: توسعه دهنده، مدیر و کاربر. الزامات عملکردی شامل موارد زیر است: تجسم داده های مکانی با نقشه ها و داشبوردها، خدمات یکپارچه مختلف، مکانیسم های کنترل دسترسی امنیتی، مدیریت مدیریت و مدیریت، ابزارهای پرس و جو و ذخیره سازی ابرداده، صادرات پایگاه های داده بزرگ، و تجزیه و تحلیل داده ها. در عین حال، رویکرد اتخاذ شده برای الزامات غیرعملکردی شامل ویژگی‌های زیر است: (1) کیفیت، (2) عملکرد، (3) امنیت، (4) قابلیت استفاده، (5) آزمایش‌پذیری، و (6) قابلیت ردیابی.

علاوه بر این، ما یک نمودار ساختاریافته ( شکل 2 ) با سه بسته (رابط، زیرساخت و ذخیره سازی) طراحی کردیم تا اجزای نرم افزار را در سطح تجاری و فنی معماری نشان دهد. هر یک از این مؤلفه‌ها شامل کلیشه‌هایی است که با «» نشان داده می‌شوند.و به یک کانکتور نصب وصل می شود تا ارائه دهنده یا مشتری اطلاعات/خدمت را نشان دهد. بسته رابط شامل مؤلفه اصلی برنامه وب است که هم به رابط بصری و هم به چارچوب مدل-نما-کنترلر (MVC) متصل است. چارچوب MVC نقش کلیدی ایفا می کند زیرا استفاده از سرویس را واسطه می کند و به جزء متعادل کننده بار در بسته زیرساخت متصل است. علاوه بر این، چارچوب MVC به کتابخانه های کمکی، همراه با منابع نقشه برداری و ارائه دهندگان نقشه وب آنها متصل است.

در بسته زیرساختی، رویکرد میکرو سرویس به بهبود مقیاس پذیری و پویایی از طریق مدیریت خدمات فردی بر اساس بار مورد نیاز کمک می کند. این بدان معنی است که هر چه میزان خدماتی که به صورت جداگانه تغییر می کنند بیشتر باشد، تأثیر آن بر زیرساخت کمتر است. مؤلفه متعادل کننده بار و مسیریابی پویا قادر است بار را برای هر سرویس متعادل کند. جزء مسیریابی از رجیستری سرویس استفاده می کند که به عنوان یک پایگاه داده با نمونه های سرویس و مکان آنها در نظر گرفته می شود. رجیستری این امکان را می دهد که نمونه های سرویس در هنگام راه اندازی فعال شوند و در هنگام خاموش شدن لغو شوند. علاوه بر این، رجیستری سرویس یکپارچگی نمونه های سرویس را بررسی می کند تا درخواست های آنها را فعال کند. خدمات خرد کسب و کار می توانند به درخواست هایی که شامل منطق تجاری برنامه هستند کمک کنند. در حالی که خدمات داده های جغرافیایی تمام درخواست هایی را که شامل داده های مکانی می شود پوشش می دهد. هر دو سرویس با بسته ذخیره سازی ارتباط برقرار می کنند که شامل سه جزء کلیدی است: پایگاه داده پیکربندی، پایگاه داده جغرافیایی و سیستم فایل.

4. TerraBrasilis: زیرساخت تجزیه و تحلیل داده های مکانی

ما TerraBrasilis را بر اساس مجموعه ای از شش سرویس توزیع شده زیر در مجموعه ای از ماشین ها ساخته ایم: (1) نقشه برداری وب. (2) فهرست نویسی؛ (3) تجزیه و تحلیل؛ (4) فیلتر کردن؛ (5) نظارت؛ و (6) احراز هویت. آنها از محدودیت های تکنولوژیکی ناشی از SDI های مبتنی بر دامنه خاص جدا شده اند. TerraBrasilis دارای معماری شش ضلعی با آداپتورهایی است که پیچیدگی درونی مدل دامنه خود را از هر سرویس پنهان می کند. این آداپتورها داده های مبادله شده را به اشیاء فراخوانی عمومی تبدیل می کنند تا بتوان آنها را با منطق برنامه وب درک کرد و با استفاده از یک فرمت خروجی خاص به سرویس مربوطه ارسال کرد. این سبک سلسله مراتبی توسعه اجازه می دهد تا خدمات قابل جایگزینی (مثلاً با دستخوش تغییرات در فناوری) و توسعه پذیر (مثلاً، شکل 3 نمایش سطح بالای معماری لایه ای TerraBrasilis را نشان می دهد.

این خدمات با استفاده از مجازی سازی سطح سیستم عامل سبک در بسته های مجازی سازی شده به نام کانتینر پیچیده می شوند. علاوه بر این، در این روش می توان یک رویکرد نرم افزار به عنوان یک سرویس اتخاذ کرد که از طریق آن می توان خدمات را با وابستگی های آنها کنار هم قرار داد. خدمات را می توان تقریباً به چهار حوزه کلیدی با توجه به قابلیت اطمینان محیط محاسباتی و استقرار آینده در زیرساخت های مختلف فناوری اطلاعات (IT) تقسیم کرد. اول، TerraBrasilis قابلیت همکاری GIS را با پیروی از استانداردهای باز شناخته شده بین المللی برای تبادل داده های مکانی، که در یک پایگاه داده شی-رابطه ای ذخیره می شود و به یک پلاگین سرویس فضایی متصل می شود، حفظ می کند (به بخش 4.1 مراجعه کنید).). دوم، TerraBrasilis با مشخصات INDE مطابقت دارد زیرا یک پورتال وب دولتی است که برای انتشار داده های مکانی طراحی شده است (به بخش 4.2 مراجعه کنید ). سوم، طرح‌های گرافیکی ساختاری را با فیلتر کردن سریع مجموعه داده‌های چند بعدی ارسال شده در واسط تحلیلی توسط یک انتقال وضعیت نمایندگی (REST) ارائه می‌دهد (به بخش 4.3 مراجعه کنید ). چهارم، ما خدمات مدولار شده و تایید شده دیجیتالی را برای ارائه معیارهای منابع اندازه گیری و در نتیجه ایجاد فرهنگ مبتنی بر داده (به بخش 4.4 مراجعه کنید ) نظارت می کنیم. در نهایت، TerraBrasilis می تواند تجزیه و تحلیل فضایی سنتی را بهبود بخشد زیرا الگوریتم های کارآمد را برای حل مشکلات بین رشته ای قادر می سازد (به بخش 4.5 مراجعه کنید.).

4.1. قابلیت همکاری سیستم اطلاعات جغرافیایی

TerraBrasilis حاوی یک سرور نقشه منبع باز ( GeoServer ( https://terrabrasilis.dpi.inpe.br/geoserver/web/ ) برای نمایش داده های فضایی قابل همکاری است. این سرور نقشه برای قابلیت همکاری GIS طراحی شده است. این یک نرم افزار جاوا است و سازگار است. با استانداردهای کنسرسیوم فضایی باز (OGC) مانند سرویس ویژگی های وب (WFS) و سرویس نقشه وب (WMS).با استفاده از این پروتکل ها، کاربران می توانند دستکاری مجموعه داده های برداری و شطرنجی را برای ارائه نقشه های سبک سفارشی تقریباً واقعی و انعطاف پذیر سفارشی کنند. قابلیت های آن شامل مکانیسم های امنیتی در یک محیط تولید قوی و مقیاس پذیر است .امکان کاوش کارآمد گزینه‌های پیکربندی (به عنوان مثال، ادغام اتصال پایگاه داده، کاشی کاری سرور حافظه پنهان و یک ظاهر طراحی ویژگی‌های نقشه در صورت درخواست) از طریق اسکریپت‌نویسی کم‌هزینه را فراهم می‌کند. در نهایت، پردازش درخواست‌های اضافی را حذف می‌کند و از نیاز به انطباق با طرح‌های پیچیده اجتناب می‌کند.

TerraBrasilis همچنین رویه‌ها و ابزارهای کاربردی نقشه برداری سفارشی شده https://github.com/Terrabrasilis/terrabrasilis-api ( https://github.com/Terrabrasilis/terrabrasilis-util ) را به عنوان ابزاری ساده برای ایجاد نقشه‌های تعاملی ادغام می‌کند. این نقشه‌ها را می‌توان در پلتفرم‌هایی با وضوح صفحه‌نمایش مختلف استفاده کرد و در هنگام راه‌اندازی پارامترهای پیکربندی داده می‌شود. سپس آنها در یک پایگاه داده No-SQL به نام MongoDB ذخیره می شوند که توسط یک API کسب و کار پیاده سازی شده در جاوا ارائه شده است. کد منبع آن به خوبی مستند شده است و به سایر کارکنان فنی اجازه می دهد تا افزونه های موجود خود را گسترش دهند. شکل 4کنترل‌های نقشه کلی را نشان می‌دهد که در جاوا اسکریپت برای مدیریت، تغییر، انتخاب، افزودن و حذف لایه‌های پایه ماهواره‌ای و لایه‌های جنگل‌زدایی پیاده‌سازی می‌شوند. گزینه‌های نقشه شامل روش‌های کنترلی قابل کلیک/کشیدن برای مقابله با سطح بزرگ‌نمایی نقشه، ترسیم چند ضلعی و نشانگر، و تبدیل نام مکان به مختصات فضایی با استفاده از یک روزنامه‌نگار با فرم کوتاه است. یک منوی ناوبری جانبی شامل یک درخت لایه، با لیستی از موضوعات، که در آن هر لایه حاوی ابزارهای خاصی مانند اطلاعات اولیه در پنجره‌های بازشو، ابرداده، یک نوار لغزنده شفافیت، یک جزء زمان و یک دکمه دانلود است.

با کمک پروتکل های استاندارد، کاربران همچنین می توانند لایه ها را با استفاده از هر پلتفرم GIS (مانند QGIS و ArcGIS ) بازیابی کنند. به عنوان مثال، آنها می توانند یک اتصال WMS برای اضافه کردن یک لایه جدید از سرور نقشه TerraBrasilis در دسکتاپ خود بدون پیکربندی احراز هویت ایجاد کنند، یعنی بدون نیاز به ذخیره اعتبار رمزگذاری شده در پایگاه داده GIS. شکل 5 یک اتصال WMS فعلی را نشان می دهد که از QGIS برای بدست آوردن لایه های جنگل زدایی استفاده می کند.

4.2. مطابقت با زیرساخت داده های مکانی ملی برزیل

TerraBrasilis اطلاعات فنی و جزئیات مربوط به هر لایه را از طریق یک برنامه کاتالوگ قوی ارائه می‌کند که به هر کسی که به اینترنت دسترسی دارد، اجازه می‌دهد تا این داده‌ها را هماهنگ و مدیریت کند، حتی اگر فاقد دانش تخصصی باشند. این یک موتور جستجوی متن کامل با نمایشگر نقشه برای لایه‌های ارجاع‌شده مکانی دارد، اگرچه مجموعه داده‌های غیرمکانی را توصیف می‌کند. ویرایشگر ابرداده که به نام Geonetwork نیز شناخته می شود ( https://terrabrasilis.dpi.inpe.br/geonetwork/srv/eng/catalog.search#/home)، با مجموعه ای از استانداردهای ISO (به عنوان مثال، 19110/115/119) با دستورالعمل های ابرداده جغرافیایی برای انتشار هر نوع محتوا به صورت آنلاین مطابقت دارد. با این حال، فقط مدیران می‌توانند مجوزهای حساب کاربری و گروه‌بندی را مدیریت کنند، یا برای بهبود کیفیت ابرداده، پیشرفت‌هایی را اضافه، تأیید و پیشنهاد کنند. علاوه بر این، آنها می توانند از داشبورد برای برنامه ریزی برداشت ابرداده استفاده کنند و دسترسی سریع به پیکربندی کاتالوگ داشته باشند. همانطور که در شکل 6 مشاهده می شود ، هر لایه نقشه دارای اطلاعات مربوط به موارد زیر است: فرکانس به روز رسانی، نوع نمایش، مقیاس، سیستم مرجع مختصات، قالب، اصل و نسب، تماس، شناسه و اطلاعات فراداده. این نوع اطلاعات بر اساس اجرای نمایه ابرداده جغرافیایی برزیل (نمایه MGB) درخواست شده توسط INDE است.

INDE دارای پورتال جغرافیایی خود برای تجسم سرورهای فهرست ثبت شده با پایگاه داده و خدمات داده آنها است. همچنین دارای مکانیزم موتور جستجو برای دریافت اطلاعات از چندین موسسه دولتی برزیل مانند IBGE، IBAMA و INPE است. این به این دلیل است که مشخصات INDE مطابق با استانداردهای بین المللی خدمات وب فضایی است. شکل 7 نشان می دهد که چگونه یک تجسم کننده INDE که با لایه جنگل زدایی Cerrado ادغام شده است را می توان در سرور نقشه که متعلق به TerraBrasilis است ذخیره کرد.

4.3. گرافیک برای تجسم داده های چند بعدی

TerraBrasilis به عنوان یک ویژگی تکمیلی لایه‌های نقشه، داشبوردهایی را ارائه می‌کند که نشان می‌دهد چگونه داده‌های چند بعدی را می‌توان با اتخاذ یک رویکرد فیلترینگ مبتنی بر داده افزایشی تجسم کرد. با پیاده سازی این داشبوردها می توان یک میلیون رکورد را به طور موثر کاوش کرد. آنها حاوی نمودارهای انعطاف پذیر با نماهای هماهنگ و انتقال صاف هستند. علاوه بر این، ویژگی‌های تغییر یافته طراحی گرافیکی ابزاری برای خلاصه کردن رفتارها و انیمیشن‌های پویا است. آنها یک قالب پر جنب و جوش و سبک پسند برای تعاملات سریع ارائه می دهند. کد منبع آنها شامل اجزای قابل استفاده مجدد است و در یک رجیستری نرم افزار باز https://www.npmjs.com/package/terrabrasilis-api قرار دارد.فایل. علاوه بر این، برنامه‌نویسی و اجرای عملکردی آن، هزینه‌های اضافی تغییرات گرافیکی را کاهش می‌دهد.

پیاده‌سازی نوعی از گرامر گرافیک [ 51 ] (گرامر لایه‌ای گرافیک [ 52 ]) است که در یک جاوا اسکریپت غیر اختصاصی تعبیه شده است. کتابخانه ای که می تواند قابلیت های کامل استانداردهای وب را ارائه دهد. هدف اصلی آن ساخت گرافیک در یک ساختار رسمی برای اهداف آماری است. از طریق درک عناصر گرافیکی اولیه (مثلا موقعیت، طول، زاویه، شیب، مساحت، حجم، رنگ و چگالی) و درجه دقت مربوط به آنها، کاربران می توانند اطلاعات کمی را به روشی مختصر تجسم کنند. این نوع تجسم به کسب ادراکات معنی دارتر و عمیق تر از داده های مکانی کمک می کند. نمودارهای زیر این مورد را از طریق تجزیه و تحلیل داده های جنگل زدایی نشان می دهد ( شکل 8 را ببینید ).

تجزیه و تحلیل داشبورد برای انتشار جنگل زدایی شامل یک برگه برای هر مکان مورد علاقه، از جمله واحدهای فدراسیون، شهرداری ها، مناطق حفاظت شده و مناطق بومی است. این یک نمودار میله ای عمودی با داده های تجمع زمانی، یک نمودار میله ای افقی با مقادیر مطلق، یک نقشه choropleth با داده های انباشته مکانی، یک مقایسه سری زمانی و یک جدول با مناطق جنگل زدایی در هر سال نشان می دهد https://terrabrasilis.dpi.inpe. br/app/dashboard/forestation/biomes/amazon/incrementsنشان دادن تغییرات سالانه همه نمودارها عکس های فوری از یک بیوم خاص (به عنوان مثال، سرادو یا آمازون) ارائه می دهند. علاوه بر ارائه مناطق و نرخ‌های افزایش جنگل‌زدایی، ابزارهای اضافی نیز برای رفع نیازهای کاربران خاص مانند دانلود داده‌های فیلتر شده متقابل (به عنوان مثال، کدام شهرداری‌ها بر اساس ایالت‌ها) وجود دارد.

یک پایگاه داده مدل برای تعمیم و پاسخگویی به سؤالات نظرسنجی سه پایه بر اساس کلمات سؤالی “چه” (مثلاً کدام کلاس ها )، “کجا” (مثلاً، کدام مکان مورد علاقه یا محل ) و “وقتی” (مثلاً کدام دوره ها) ایجاد شد.) موجود در داشبورد، و این شامل مجموعه داده های مختلف است که فیلترهای اضافی (مثلاً ویژگی های بیش از 6.5 هکتار) و اطلاعات برنامه ها (مثلاً PRODES Cerrado) را ارائه می دهند. از آنجایی که تقاطع تعداد زیادی از چند ضلعی های فضایی با ماهیت پیچیده که در طول زمان و در مکان های مختلف علایق تغییر می کنند زمان بر است، ما یک جدول ویژگی ها ایجاد کردیم تا خروجی نهایی را با کلاس ها ، دوره ها و محلی علایق ذخیره کنیم. شکل 9این سازمان و اقدامات انجام شده برای انتزاع این مفاهیم و تجمیع عملیات داده های مکانی که اغلب در نقشه های موضوعی مختلف رخ می دهد را نشان می دهد.

4.4. یک پلت فرم نظارت غیرمتمرکز، مجازی و مجاز

TerraBrasilis شامل مجموعه نظارتی پیشرفته ای از خدمات است که برای مقابله با معیارهای یکپارچه دارایی های فیزیکی در طول زمان بهینه شده است. این پلتفرم استقرار سریع و ایمن خدمات را خودکار می کند، از جمله تجزیه و تحلیل در دسترس بودن (به عنوان مثال، قابلیت دسترسی)، پاسخگویی (مثلاً تأخیر)، و مصرف (مثلاً، بار پهنای باند) منابع محاسباتی مانند حافظه، CPU، سیستم فایل. ، و شبکه بر اساس این اطلاعات، نه تنها می تواند یک نمای کلی از TerraBrasilis را به روشی سالم ارائه دهد، بلکه هشدارهای هشداردهنده ثابت و قابل پیش بینی را قبل از رسیدن کامل به نقطه اشباع خود ارائه می دهد. این اقدامات در یک پایگاه داده سری زمانی به نام InfluxDB متمرکز شده اند. این پایگاه داده داده های مربوط به نظارت بر عملکرد را ذخیره می کند، که به ویژه در محیط هایی با سناریوهای ناپایدار اهمیت دارد. مقاومت ثابت شده آن در برابر حملات بالقوه و سوء استفاده از منابع، به این معنی است که می تواند تغییرات مداوم را به شیوه ای پایدار و مقیاس پذیر ارائه دهد.

کانتینرهای مجازی شده با سرویس ها (به عنوان مثال، Geoserver ، Geonetwork ، MongoDB ، Redis ، PostgreSQL ) امکان جمع آوری، تجمیع و پردازش استفاده از منابع خود را توسط پلت فرم نظارت در پس زمینه فراهم می کند. یک برنامه Google به نام Cadvisor این نوع وظایف را انجام می دهد و اطلاعات را در InfluxDB ذخیره می کند. کادویزرهمچنین به بازیابی خودکار از خرابی سرویس کمک می کند. تمام اطلاعات تاریخی با استفاده از یک سرویس انعطاف پذیر به نام Grafana خلاصه شد تا نشان دهد کدام داده با InfluxDB مرتبط است. امنیت خدمات کانتینر با ارائه رمزگذاری بین طرفینی که از احراز هویت فشرده و مستقل در سمت مشتری استفاده می‌کنند که بر اساس توکن‌های امضا شده است، تضمین می‌شود.

4.5. انجام تجزیه و تحلیل داده های مکانی

یک API برای همراهی با این پارادایم جدید به نام Data Science طراحی شده است. این شامل دانشمندان می‌شود که ابتدا داده‌های خام را جمع‌آوری می‌کنند و سپس آن‌ها را تمیز و پیش پردازش می‌کنند تا تجزیه و تحلیل داده‌های اکتشافی را با آمار و نمودارهای اولیه انجام دهند. به دنبال این، مدل‌های آماری با استفاده از الگوریتم‌های یادگیری ماشین طبقه‌بندی و اعتبارسنجی می‌شوند. هدف API تنها تامین لایه تجسم مورد بحث در بالا با داده های چند بعدی نیست، بلکه توانمندسازی دانشمندانی است که در یک محیط تجزیه و تحلیل اسکریپت ها مانند R کار می کنند.. این API تجزیه و تحلیل داده‌های نگاشت موضوعی موجود را افزایش می‌دهد، که قبلاً فقط در پاسخ به درخواست‌های WMS و WFS HTTP برای کارشناسان GIS ارسال می‌شد. API از یک الگوی طراحی پیروی می کند که در آن بین جایی که به روز رسانی ها در داده های نگاشت موضوعی خام (آنهایی که در یک پایگاه داده رابطه ای و “نرمال” به نام PostgreSQL ذخیره می شوند ) و داده های خروجی آماده برای نمایش، تفکیک مسئولیت وجود دارد. پرس و جو شد (آنهایی که در یک پایگاه داده درون حافظه و “غیر عادی” به نام Redis ذخیره می شوند). این لایه کش اضافی به ما اجازه می دهد تا عملیات «نوشتن» و «خواندن» را به طور مستقل از هم جدا کنیم. این نمایش بازیابی داده ها را سرعت می بخشد و از تنگناها در زمانی که دسترسی روزانه و فصلی به داده های تخت به اوج خود می رسد جلوگیری می کند، بنابراین، ما تصمیم گرفتیم داده های نقشه برداری موضوعی را تکرار کنیم.

به‌روزرسانی‌ها در مدل «نوشتن» ناهمزمان و پراکنده هستند و زمانی که تغییری در قوانین دامنه ایجاد می‌شود، در حالی که لایه حافظه پنهان اطلاعات به‌روزرسانی‌شده را همگام‌سازی می‌کند، ایجاد می‌شود تا بتواند لایه تجسم را در یک فرآیند دوره‌ای و زمان‌بندی شده تغذیه کند. علاوه بر این، هر زمان که یک برنامه راه اندازی می شود، نیازی به پرس و جو و بازگرداندن همه داده ها نیست. در مقابل، ما فقط می‌توانیم کسری از داده‌ها را برای صرفه‌جویی در زمان گرانبها در لایه تجسم جستجو کنیم. برای مثال، کاربران می‌توانند داده‌های جنگل‌زدایی را از طیف وسیعی از مکان‌های دیدنی و دوره‌هایی که نیازی به بارگیری همه آن‌ها در یک زمان وجود ندارد، بررسی کنند. برنامه کاربردی که وظیفه تغذیه داده ها از PostgreSQL به Redis را بر عهده دارد یک جاوا استبرنامه، در حالی که مسئول پرس و جو داده ها از Redis و تحویل آنها به صورت پویا در لایه تجسم یک برنامه جاوا اسکریپت است.

این API تجزیه و تحلیل جایگزین را می توان برای پاسخ به سؤالات زیر استفاده کرد: (1) مجموعه داده های نقشه برداری موضوعی ذخیره شده (مثلاً PRODES از Cerrado) چیست؟، (2) کدام مکان ها (به عنوان مثال، واحدهای فدراسیون، شهرداری ها، مناطق حفاظت شده، و بومی) مناطق) و مکان های دیدنی (مثلاً ماتو گروسو، آمازوناس، پارا) شامل چه دوره های زمانی (مثلاً از 1988 تا 2000، از 2010 تا 2012، از 2016 تا 2017) هستند؟ ?، آنها (مثلاً جنگل زدایی، مرتع، سویا) با کدام دسته ها مرتبط هستند؟، و (4) از کدام فیلترها (مثلاً برای مناطق بالای 6.5 هکتار) برای پردازش استفاده می کنند؟ با این پیشرفت‌های back-end، API تجزیه و تحلیل می‌تواند یک تحویل انعطاف‌پذیر و سریع از مجموعه داده‌های نیمه ساختاریافته و بدون ساختار، به‌ویژه برای آن‌هایی که تخصص GIS ندارند، ارائه دهد. فهرست 1 ).

فهرست 1: فراخوانی API تجزیه و تحلیل TerraBrasilis.

از آنجایی که محیط های تجزیه و تحلیل به بهبود قابلیت همکاری API تجزیه و تحلیل کمک می کند، ما یک کلاینت R ایجاد کردیم (در اینجا با استفاده از یک نوت بوک Jupyter نشان داده شده است ، که برای کشف تکرارپذیری ضروری است. بسته R دستکاری کنترل کننده ها با هدرهای سفارشی شده را به عنوان ورودی برای پیچیدن https:/ خلاصه می کند. /curl.haxx.se/ به منابع نقطه پایانی درخواست می کند. این پاسخ های سرور در JSON هستندفرمت و تبدیل به یک داده نسخه مرتب، یک جدول دارای تمام ویژگی های مورد نیاز است که در آن هر مشاهده نشان دهنده ستونی با نام مناسب و هر مشاهده نشان دهنده یک ردیف است. با این اطلاعات، می‌توانیم تمام داده‌های نگاشت موضوعی را بررسی کنیم. شکل 10 اولین مراحل نصب و بارگذاری بسته terrabrasilisAnalyticsAPI R را نشان می دهد. یک متغیر apiPath مسئول تعریف مسیر API Analytics است. پس از این، امکان فهرست بندی مجموعه داده ها وجود دارد. بر اساس این اطلاعات، کاربران می توانند درخواست های خاصی را به سایر نقاط پایانی API ارسال کنند. این درخواست ها شامل فواصل، مکان ها و کلاس های موجود در مجموعه داده ها است.

شکل 11 نحوه به دست آوردن داده های نهایی را از طریق کسب سایر پارامترها نشان می دهد. پس از به دست آوردن مکان هایی مانند ایالت، شهرداری، منطقه حفاظت شده و مناطق بومی، با توجه به مکان های دیدنی، دانه بندی کمتری را لحاظ کردیم. به دلیل سازگاری آنها با سایر برنامه های محیطی، فیلترهای خاصی برای همه داده ها در دسترس هستند. با در نظر گرفتن این موضوع، کاربران می توانند آن اطلاعات را به عنوان پارامتر در تابع وارد کنند تا بتوانند به اندازه دلخواه داده دریافت کنند.

5. آزمایشات

در این بخش، ما با طراحی تنظیمات آزمایشی شروع می‌کنیم و نحوه پیکربندی محیط زمان اجرا سرور هنگام استقرار میکرو سرویس‌های TerraBrasilis را شرح می‌دهیم. علاوه بر این، مجموعه داده‌های استفاده از منابع را که از سیستم نظارت کار TerraBrasilis جمع‌آوری شده‌اند به تصویر می‌کشیم. پس از این، تجزیه و تحلیل یک گزارش تست بار وجود دارد که تاخیر و مقیاس پذیری را با توجه به درخواست های کاربران برای برنامه های کاربردی وب با اهداف مشابه در نظر می گیرد که سپس با عملکرد TerraBrasilis مقایسه می شود. ما همچنین SDI تست عملکرد APIهای خود (کسب و کار، تجزیه و تحلیل و همگام سازی) را در شرایط بار واقعی نشان می دهیم. پس از این، توضیحی در مورد اینکه چگونه پایگاه داده فضایی خود را تنظیم کردیم تا عملیات پیچیده داده مکانی را بدون بارگذاری بیش از حد سرور انجام دهیم، وجود دارد. سرانجام،

این تست ها بر اساس پارامترهای اولیه ای که برای پردازش داده های مکانی سمت سرور تعریف شده بودند انتخاب شدند. ما می‌خواستیم عملکرد آنها را با مواردی که برای پردازش داده‌های مکانی در سمت مشتری استفاده می‌شوند، مقایسه کنیم. تست عملکرد به عنوان وسیله ای برای اندازه گیری کیفیت TerraBrasilis عمل می کند زیرا برای ارزیابی نحوه مدیریت منابع طراحی شده است. با توجه به این موضوع، ما API تجزیه و تحلیل خدمات میکرو، پایگاه داده تحلیلی و تغذیه کننده تجزیه و تحلیل را برای نشان دادن مؤلفه تجزیه و تحلیل مرتبط کردیم. API کسب و کار، پایگاه داده کسب و کار، حالت خوشه سرور نقشه و حالت تک سرور نقشه، جزء نقشه برداری وب را تشکیل می دهند. کاتالوگ فراداده نشان دهنده جزء فهرست نویسی است. Home، Core Web Application و Daily Data Sync در تمام اجزای خدمات میکرو نشان داده شده است.

5.1. راه اندازی آزمایشی

محیط زمان اجرا: TerraBrasilis با استفاده از Proxmox ( https://www.proxmox.com/en/ ) با دو هسته Xeon (R) CPU E5-2650 v3 2.3GHz و حافظه رم 96 گیگابایت بر روی یک سرور مجازی استقرار یافته است. سرور شامل دو دیسک با 600 گیگابایت SAS plus و شش دیسک با 1.2 ترابایت SAS 10K است. این نسخه PROXMOX 5.1 را اجرا می کند.

مجموعه داده: این بر اساس ISO/IEC 9126 است که مجموعه ای از پارامترها را برای استانداردسازی ارزیابی کیفیت نرم افزار تعریف می کند. اطلاعات دقیق در مورد CPU، حافظه، سیستم فایل و استفاده از شبکه در هر یک از میکرو سرویس‌های کانتینر ما برای اندازه‌گیری کارایی TerraBrasilis جمع‌آوری شد. بازه زمانی مورد تجزیه و تحلیل از 1 ژانویه 2019 به وقت (UTC 00:00:00) تا 22 ژوئیه 2019 به وقت UTC 10:00:00 بود.

5.2. تجزیه و تحلیل عملکرد

هر اندازه گیری شامل یک شرح منبع SDI، شناسه نام میزبان کانتینر مرتبط با آن و یک مجموعه فیلد حاوی مقادیر متوالی با مهرهای زمانی است. مجموعه‌های داده‌ای که از نظارت زمان واقعی سرویس‌های خرد خاص به دست می‌آیند از InfluxDB با یک نحو پرس و جو آشنا با استفاده از Grafana گرفته شده‌اند . ریز خدمات اصلی مسئول هسته کاری TerraBrasilis تجزیه و تحلیل شد. اینها شامل موارد زیر است: API تجزیه و تحلیل، پایگاه داده تجزیه و تحلیل ( Redis )، تغذیه کننده تجزیه و تحلیل، API کسب و کار، پایگاه داده کسب و کار ( MongoDB، سرویس گیرنده همگام سازی هشدارهای جنگل زدایی که هشدارهای نقشه و داشبورد را ارائه می دهد، هر دو پیکربندی سرور نقشه ( GeoServer ) که در آن اولین در حالت خوشه ای بود در حالی که دومی در حالت تک نمونه بود، کاتالوگ ابرداده ( Geonetwork )، هسته برنامه وب و وب سایت خانگی.

شکل 12 نشان می دهد که چگونه سرور نقشه ( GeoServer) از CPU و منابع حافظه بیشتر از سایر سرویس های میکرو استفاده می کند. پیکربندی‌های سرور نقشه (حالت‌های خوشه‌ای و تکی) دارای پیک‌های بسیار بالایی هستند، زیرا قابلیت همکاری نقشه‌ها نیاز به دسترسی به داده‌های آن‌ها هر زمان که کاربر وارد می‌شود، بخشی از درخواست‌های تأیید معمول TerraBrasilis است. هم CPU و هم حافظه تمایز واضحی بین تماس‌های اپیزودیک و دوره‌ای ایجاد می‌کنند، اولی مربوط به API تجاری است در حالی که دومی در مورد API تحلیلی است. دومی هر 5 دقیقه از برنامه تغذیه کننده خود ورودی های متناوب را دریافت می کند. ما فقط داده‌های ژانویه 2019 را تجزیه و تحلیل کردیم، اگرچه انتشار آلفا TerraBrasilis در اکتبر 2018 رخ داد. نسخه بتا در مارس 2019 با وصله‌های جدید بعدی رخ داد. این شامل، به عنوان مثال، سرور نقشه کاهش، از حالت خوشه ای به حالت تک نمونه ای به دلیل پیچیدگی بالای آن در حالت اول. منابع سیستم فایل با حدود 70 گیگابایت در حال استفاده ثابت ماند. سرور نقشه حالت خوشه ای، با این حال، مقادیر بالایی را عمدتاً با توجه به شبکه به دست آورد، اگرچه داده های نویز نظارت شده رد شدند. به عنوان مثال، ما شش مقدار بیش از حد گرم شده و یک مقدار گرم نشده استفاده از CPU را پیدا کردیم. ما همچنین هرگونه اقداماتی را که در دسترس نبود، مانند مواردی که در زمان ناپایدار بودن عملیات TerraBrasilis به دست آمده بود، حذف کردیم.

جدول 1 خلاصه ای از نحوه استفاده از این منابع خدمات خرد را ارائه می دهد. CPU در هسته برنامه وب کمتر استفاده می شود، در حالی که حالت تک نمونه سرور نقشه بالاترین نرخ ها را با بالاترین میانگین و انحراف استاندارد دارد. علاوه بر این، یک بار در روز باید کارایی سرویسی که مسئول (1) همگام سازی داده های هشدار از راه دور، و (2) ترکیب آن در سیستم ذخیره سازی داده های فضایی TerraBrasilis ( PostgreSQL ) است را تخمین بزنیم.) و سرور نقشه. استفاده از منابع حافظه نیز رفتار مشابهی دارد. علاوه بر برنامه وب، پایگاه داده کسب و کار و پایگاه داده تحلیلی کارآمدترین هستند زیرا تقریباً 0 مگابایت استفاده دارند. در حالی که سیستم فایل مقادیر یکنواختی را برای تمام سرویس‌های خرد تحلیل شده نمایش می‌دهد، آنها مقادیر شبکه جایگزین مشابهی دارند. به دلیل تعداد زیاد ارقام مانتیس، حداقل مقادیر را در شبکه و سیستم فایل به 0 تقریب زدیم.

5.3. تست بارگذاری برنامه وب

شرایط ناپایدار مانند مواردی که توسط آزمایش بار برای شناسایی و تعمیر هر گونه ویژگی که عملکرد زمان اجرا TerraBrasilis را مختل می کند، ارائه شد. این استراتژی به ما کمک کرد تا مشخص کنیم که آیا مخاطبان ما آن را رضایت بخش تر از سایر برنامه های کاربردی وب مشابه می دانند یا خیر. ما عملکرد زمان متوسط را برای واکشی همه فایل‌های استاتیک (مانند CSS ، جاوا اسکریپت ) تخمین زدیم.، تصاویر) تا کاربران بتوانند یک تجربه تعاملی روان داشته باشند. این معیارها 100 درخواست نمونه را نشان می‌دهند که به طور مکرر توسط 10 کاربر با دوره افزایش 10 ثانیه برای اجرای یک حلقه 10 بار شبیه‌سازی می‌شوند. این رفتار یک مرورگر وب را شبیه سازی می کند. TerraBrasilis در مقایسه با زیرساخت‌های داده‌ای که تعداد مشابهی از بایت‌های دریافتی در ثانیه را دریافت می‌کنند، به سرعت بارگذاری می‌شود ( شکل 13 را ببینید ). این فهرست شامل برنامه های نقشه برداری وب مانند برنامه های ارائه شده توسط: IBGE ( https://bdiaweb.ibge.gov.br/#/consulta/vegetacao )، INPE ( https://terrabrasilis.dpi.inpe.br )، Terraclass ( https://www.terraclass.gov.br/webgis/ )، INDE ( https://visualizador.inde.gov.br/ )، LAPIG ( https://maps.lapig.iesa.ufg.br/lapig.html )، MapBiomas ( https://mapbiomas.org/map )، CAR ( https://www.car.gov.br/publico/imoveis/index )، نقشه خیابان باز (OSM) LUC ( https://osmlanduse.org/#8/8.18828/49.16024/0/ )، اینکرا ( http: //acervofundiario.incra.gov.br/i3geo/interface/openlayers.htm )، و Amazonia Protege ( https://www.amazoniaprotege.mpf.mp.br/ ).

MapBiomas یک پروژه مشترک است که از یک گروه بین رشته ای بر اساس موتور Google Earth ( https://earthengine.google.com/ ) تشکیل شده است.) سکو. هدف اصلی آن ارائه قابلیت های طبقه بندی خودکار برای انجام نقشه برداری موضوعی از زیست بوم های برزیل در سرتاسر سری LUC سالانه است. Amazonia Protege پروژه ای با هدف مبارزه با جنگل زدایی غیرقانونی در جنگل های بارانی آمازون برزیل با استفاده از تصاویر ماهواره ای و اعتبارسنجی متقابل بر اساس داده های عمومی است. برخلاف Amazonia Protege، CAR روشی را برای فیلتر کردن داده های مکانی از سیستم ملی ثبت محیط زیست روستایی (SICAR) ارائه می دهد. علاوه بر این، Incra دارای یک پورتال وب برای نمایش پایگاه داده سرزمین برزیل و خدمات یکپارچه است تا بتوان به داده های جغرافیایی و آماری دسترسی داشت.

از دیدگاه دانشگاهی تر، OSM LUC می تواند به عنوان ابزاری با داده های ارائه شده توسط داوطلبان عمل کند. IBGE همچنین دارای یک پورتال داده تعاملی LUC است. ویژگی متمایز آن این است که می تواند امکان انجام تحلیلی را فراهم کند که بر اساس شبکه های فضایی باشد. همچنین می تواند با سایر پایگاه های داده آماری ادغام شود و هدف اصلی آن ارزیابی فعالیت های اقتصادی با منابع طبیعی برزیل است. با توجه به رابط کاربری، پورتال سازمانی geo-forestry منبع خوبی از ایده ها بود، اگرچه آزمایش GIS وب آن ممکن نبود زیرا یک ابزار تحلیلی به اندازه کافی پیچیده برای داده های بزرگ نیست.

جدول 2اشاره به نرم افزار استماع ایجاد شده برای ارائه نکات قابل اجرا در مورد پیاده سازی های جلویی ما است. Incra Map از آنجایی که در هنگام راه‌اندازی هیچ لایه بارگذاری ندارد، به حداقل مقادیر دست یافت، در حالی که OSM LULC بدترین نتایج را به دلیل فاصله آن از سرور و مقدار داده OSM برای بارگیری به دست آورد. تمام توان عملیاتی بسیار مشابه است زیرا از قابلیت شبکه استفاده می شود. Embrapa TerraClass و INDE Visualizador به ترتیب در 2 و 1 درخواست پاسخ ندادند، که ممکن است نشان دهنده این باشد که آنها به نقطه اشباع خود رسیده اند. ما مبنای آزمایش را در 25 ژوئیه در ساعت 19:00 قرار دادیم. UTC 3. ما قصد نداشتیم یک تست استرس اجرا کنیم، اگرچه برخی از برنامه های وب به نقطه اشباع خود رسیده اند. در نهایت، برنامه های کاربردی تحت وب در طول آزمایش ها فعال شدند،

آزمایش بارگذاری برنامه وب که در اینجا به عنوان یک آزمایش جلویی در نظر گرفته می‌شود، با آزمایش پیاده‌سازی پشتیبان تکمیل شد که شامل سه API (API کسب‌وکار، API تجزیه و تحلیل، و هماهنگ‌سازی هشدارهای جنگل‌زدایی با مشتری) بود. همچنین برای حفظ پاسخگویی موثر خود بدون توجه به اینکه منابع ما چقدر گسترده بودند، نظارت زیادی بر عملکرد شبکه انجام داد. شکل 14 تفاوت عملکرد به دست آمده توسط این سه ریز سرویس را نشان می دهد.

به طور خلاصه، مانند آزمایش قبلی، 100 درخواست را با شبیه سازی 10 کاربر به طور همزمان با 10 ثانیه افزایش در تعداد حلقه 10 بار انجام دادیم ( جدول 3 را ببینید ). همه آنها با درجه مناسبی از در دسترس بودن پاسخ دادند (# خطا 0٪ برابر با 0.00). از آنجایی که API کسب و کار اطلاعاتی را در مورد لایه‌هایی که در داخل نقشه بارگذاری می‌شوند ارائه می‌کند، ما فکر کردیم که این نوع آزمایش می‌تواند مستقیماً مکمل آزمایش قبلی برای یافتن عملکرد TerraBrasilis از طریق اجرای کامل پشته باشد. از آنجایی که ما هیچ اطلاعاتی در مورد پیشرفت‌های بک‌اند سایر برنامه‌های کاربردی وب نداشتیم، آزمایش APIهای بک‌اند آن‌ها را در نظر نگرفتیم.

5.4. تقسیم بندی داده های خام برای سرعت بخشیدن به عملیات داده های مکانی

هنگام مدیریت داده‌های افزایشی برداری با ویژگی‌های بزرگ تولید شده توسط PRODES، ایجاد نمایه‌های فضایی از قبل بسیار مهم بود، زیرا پایگاه‌های داده سریع‌تر از هر فرمت ویژگی دیگری در مقایسه با جعبه مرزی عمل می‌کنند. بیشتر از این، جعبه‌های محدودکننده کوچک به جای بزرگ، زمان پردازش بهتری را فراهم می‌کنند. با توجه به این موضوع، ما هر یک از ویژگی های PRODES را به صورت بازگشتی کوچک کرده ایم تا زمانی که (حداکثر) 256 راس ( https://postgis.net/docs/ST_Subdivide.html ) داشته باشند تا عملیات تقاطع خود را بهینه کنند. شکل 15 مقایسه ای بین داده های PRODES خام و تقسیم شده انجام می دهد.

5.5. از مبانی تا تجزیه و تحلیل پیشرفته با استفاده از TerraBrasilis Analytics API

پس از تعریف مسیر برای TerraBrasilis Analytics API و به دست آوردن تمام مجموعه داده‌ها، متغیرهای مورد نیاز برای جمع‌آوری داده‌های مربوط به دوره‌ها، مکان‌ها، مکان‌های دیدنی، کلاس‌ها و فیلترها را از PRODES Cerrado تعریف کردیم. با در نظر گرفتن این موضوع، ما یک داده مرتب برای درخواست ورودی ایجاد کردیم و داده های جنگل زدایی را از همه مکان های مورد علاقه (Tocantins، Minas Gerais، سائوپائولو، Piauí، Paraná، Rondonia، Maranhão، Mato Grosso، Para، Bahia، Goiás، Mato) به دست آوردیم. Grosso do Sul) یا از یک مکان خاص (ایالت). شکل 16 یک حلقه به روز رسانی از نمودارها را نشان می دهد ( https://github.com/Terrabrasilis/terrabrasilisAnalyticsAPI/blob/master/demo/linear-regression.R) برای جمع‌آوری داده‌های API تحلیلی از همه ایالات بیوم سرادو، به جز ناحیه فدرال، و یک رگرسیون خطی ساده در داخل آن.

شکل 17 نیز روندی را نشان می دهد که از تجزیه و تحلیل ناپارامتری هر سال PRODES در شهرداری های سرادو پدید آمده است. از الگوی توزیع موجود در همه مناطق جنگل زدایی، مانند پراکندگی، چولگی در داده ها و نقاط پرت پیروی می کند. دومی دیدگاه گرافیک را برون یابی می کند. کد آزمایشی در بسته R موجود است ( https://github.com/Terrabrasilis/terrabrasilisAnalyticsAPI/blob/master/demo/boxplot.R ). ما از طرح رنگی گرادیان آبی برای تمایز بین هر سال استفاده کردیم.

6. بحث و گفتگو

6.1. استفاده از محاسبات توزیع شده برای استفاده از زیرساخت داده های مکانی

استفاده از میکرو سرویس ها منجر به توسعه یک برنامه کاربردی وب توزیع شده شده است [ 53 ]. این ترکیب سرویس میکرو مجموعه ای از معماری های نرم افزاری جدید مبتنی بر وب را به SDI ها ارائه می دهد. برخلاف انواع سنتی، که به دلیل سیستم مدیریت و مدیریت داده متمرکز [ 18 ]، پیاده سازی مجدد و استقرار مجدد خدمات دشوار بود ، ما به عملیات تعمیر و نگهداری بهتری دست یافته ایم. ارتباط بین میکرو سرویس‌ها به معماری REST متکی است زیرا وسیله‌ای ساده برای غلبه بر مشکل رابط‌های ناسازگار است. ما این خدمات خرد را با اتخاذ یک رویکرد مجازی برای ارائه دسترسی بیشتر در یک محیط پهنای باند شبکه ناپایدار تکمیل کرده ایم.

با توجه به ویژگی‌های بدون حالت سرویس‌های میکرو، امکان نصب حجمی از برنامه‌های کاربردی وب و دست نخورده نگه داشتن آن‌ها حتی در مواقعی که نیاز به به روز رسانی و اختلال در وضعیت قدیمی آن وجود دارد، بدون نیاز به اطلاع هیچ کاربری ممکن شده است. علاوه بر این، SDI های سنتی [ 13 ، 14 ، 15] اجازه می دهد تا کد منبع دوباره با سادگی بیشتری مورد استفاده قرار گیرد، که در مواقعی که به روز رسانی نیاز به سرعت بخشیدن دارد، اهمیت بسیار زیادی دارد. برای دستیابی به این نوع مبادله و بهره گیری از معماری میکرو سرویس ها، یک شبکه ایمن و همگن با تاخیر و انعطاف پذیری مناسب در برابر تعداد زیادی از تغییرات توپولوژی مورد نیاز است. خدمات خرد در این مطالعه چیز جدیدی نیستند، اما آنها سؤالاتی را در مورد ماهیت ترکیب آنها، نحوه اجرای آنها در SDI و نقش کلیدی آنها ایجاد می کنند.

6.2. ارائه روش های پیشرفته برای مدیریت داده های نقشه برداری موضوعی به دانشمندان داده

TerraBrasilis کشف، ادغام و انتشار روابط غیر اختصاصی، مهر زمانی و توپولوژیکی را در داده های مکانی کاهش می دهد. این شامل استانداردهای خدمات وب قابل تعامل [ 16 ، 17 ] و قابلیت های جدید برای برخورد با محیط های تحلیلی کمتر پیچیده و قابل تکرار [ 19 ] است. اگرچه پیچیدگی پویایی جنگل‌زدایی کنترل و مدیریت آن را سخت می‌کند، یک SDI مبتنی بر الگوریتم استفاده از الگوریتم‌های پیچیده با داده‌های تاریخی و تقریباً زمان واقعی را آسان‌تر می‌کند که می‌تواند منجر به اکتشافات مفید بیشتر شود. این امر مستلزم توسعه‌های پشتیبان مرتبط با توسعه‌های ذخیره‌سازی مجموعه‌های داده نیمه‌ساختار نشده است [ 20 ]] و امکان سفارشی کردن استفاده از آنها در یک محیط آماری منعطف و مدولار.

از آنجایی که TerraBrasilis هزینه‌های پیاده‌سازی پایینی دارد و پتانسیل اجرای پروژه‌های نظارت محیطی دیگر را دارد، APIهای TerraBrasilis می‌توانند داده‌های محیطی را با استفاده از قابلیت همکاری SDI مدیریت کنند. به طور خلاصه، TerraBrasilis از فناوری‌های نوظهور استفاده می‌کند و این کار را آسان‌تر می‌کند تا داده‌های محیطی باز تولید شده توسط وضوح‌های فضایی مختلف را با انعطاف‌پذیری بیشتری مدیریت کند و تصاویر ماهواره‌ای را به طور منظم روزانه ارائه دهد. در مقایسه با سایر برنامه های کاربردی وب، TerraBrasilis مجموعه کامل تری از آمار را ارائه می دهد که فقط به مجموعه ثابتی از مکان ها و کلاس ها محدود نمی شود.

6.3. کسب دانش از تجربه انتشار داده های جنگل زدایی

این مطالعه مشاهداتی از پویایی جنگل زدایی در چهار بیوم برزیلی را نشان می دهد. هدف از این کار کمک به کاربرانی است که به نرخ و افزایش سالانه جنگل زدایی ( PRODES ) و هشدارهای اولیه جنگل زدایی ( DETER ) در یک وب GIS با دقت طراحی شده دسترسی دارند. برنامه های PRODES و DETER برای هدایت برنامه ریزی استراتژیک زیست محیطی با ارائه یک نمای کلی باز و به روز برای هر شهروند علاقه مند ضروری هستند. بدون مدیریت مناسب پارامترهای تاریخی، پیگیری مسیر این داده های برداری در حال تکامل در بلندمدت دشوار خواهد بود.

در دسترس بودن بالای پلت فرم به مستندسازی کلاس های مختلف LUC کمک می کند تا بتوان داده های مکانی را با استفاده از حاشیه نویسی فراداده به درستی تفسیر کرد. این به طور معنایی کلاس های LUC، اطلاعات منشأ، استفاده مورد نظر، محدودیت های استفاده و سایر عوامل را توصیف می کند. هم داده‌ها و هم فراداده‌ها با استفاده از استانداردهای باز که توسط جامعه ژئوانفورماتیک اتخاذ شده و توسط INDE ارائه شده است، ارائه می‌شوند، ابتکاری که هدف آن فهرست‌نویسی داده‌های مکانی فعلی است که در بخش‌های مختلف دولت برزیل تولید می‌شود.

7. نتیجه گیری

توسعه TerraBrasilis شامل ارزیابی الزامات عملکردی و غیرعملکردی برای نرخ‌ها و افزایش‌های قطعی جنگل‌زدایی تاریخی و هشدارهای هشدار اولیه در زمان تقریباً واقعی بود. این به ویژه در مورد سرکوب بالقوه خطرناک جنگل ها صدق می کند. این وظیفه ترکیبی از استفاده از دستگاه‌های فن‌آوری در سطح معماری برای نشان دادن پویایی پروژه‌های نقشه‌برداری و بررسی ویژگی‌های اضافی ذاتی در سیستم‌های مرتبط با دامنه است.

بر اساس ویژگی‌های ذکر شده در اینجا، ما یک SDI منبع باز را در مجموعه‌ای از کانتینرهای مجازی‌سازی شده با استفاده از معماری میکرو سرویس‌ها پیاده‌سازی و ارزیابی کردیم. نتایج نشان داد که TerraBrasilis سریع و سبک وزن است. علاوه بر این، API هایی را ارائه می دهد که با GIS و محیط های تحلیلی تعامل دارند. در نتیجه، ما توانستیم با بهینه سازی یک شاخص فضایی برای عملکرد بارگذاری سریع برنامه وب، در دسترس بودن برنامه های وب DETER و PRODES را افزایش دهیم. در نهایت، لازم به ذکر است که TerraBrasilis برای بهبود تحمل خطا در سناریوهای شبکه کامپیوتری ناپایدار و ساده‌تر کردن افزایش قابلیت‌های جدید طراحی شده است.

8. بیانیه دسترسی به داده ها

تمام داده‌های ایجاد شده در طول این تحقیق از آرشیو داده‌های موسسه ملی تحقیقات فضایی به آدرس https://terrabrasilis.dpi.inpe.br/papers/ijgeo/2019/datasets.zip به صورت آشکار در دسترس هستند .

مشارکت های نویسنده

LFFGA، JR، AC و CC هسته برنامه وب TerraBrasilis را پیاده سازی کردند و خدمات میکرو خود را به کار گرفتند. AM از مؤلفه تحقیقاتی TerraBrasilis مراقبت کرد. KRF، LV، LM و CA توسعه TerraBrasilis را تشویق و مفهوم سازی کردند. LFFGA و JR جزء نظارت را توسعه دادند، در حالی که LFFGA و AC آزمایش ها را طراحی و اجرا کردند. AM، KRF و LV مقاله را بررسی کردند و در مورد کمک به نسخه نهایی بحث کردند.

قدردانی

نویسندگان مایلند از کمک های مالی تحقیقاتی ( توسعه سیستم هایی برای جلوگیری از آتش سوزی جنگل ها و نظارت بر پوشش گیاهی در سرادوی برزیل ) که توسط برنامه سرمایه گذاری جنگل بانک جهانی شماره P143185 در برزیل با آژانس های مجری به عنوان بنیاد توسعه تحقیقات (FUNDEP) ارائه شده است، تشکر کنند. و وزارت علوم، فناوری، نوآوری و ارتباطات (MCTIC).

تضاد علاقه

نویسندگان هیچ تضاد منافع را اعلام نمی کنند.

منابع

ویلر، دی. هامر، دی. کرافت، آر. Steele، A. شناسایی پاکسازی جنگل مبتنی بر ماهواره در آمازون برزیل: FORMA، DETER، و PRODES . موسسه منابع جهانی: واشنگتن، دی سی، ایالات متحده آمریکا، 2014. [ Google Scholar ]
آلمیدا، CAD؛ کوتینیو، AC; Esquerdo، JCDM; آدمی، م. ونتوریری، آ. دینیز، سی جی; دسی، ن. دوریو، ال. Gomes، AR با وضوح فضایی بالا استفاده از زمین و نقشه پوشش زمین آمازون قانونی برزیل در سال 2008 با استفاده از داده های Landsat-5/TM و MODIS. اکتا آماز. 2016 ، 46 ، 291-302. [ Google Scholar ] [ CrossRef ]
کامارا، جی. Aguiar، APD; اسکادا، MI; آمارال، س. کارنیرو، تی. مونتیرو، AMV؛ آراجو، آر. ویرا، آی. بکر، بی. مدل های جنگل زدایی آمازون. Science 2005 ، 307 ، 1043-1044. [ Google Scholar ] [ CrossRef ] [ PubMed ]
Assis، LFFD; EA Horita، F.; پی دی فریتاس، ای. اویاما، جی. de Albuquerque, JP یک میان‌افزار سرویس‌گرا برای مدیریت یکپارچه جریان‌های داده‌های جمع‌سپاری و حسگر در مدیریت بلایا. Sensors 2018 , 18 , 1689. [ Google Scholar ] [ CrossRef ] [ PubMed ]
Namikawa، LM; Körting، TS; کاستژون، EF استخراج بدنه آب از تصاویر Rapideye: یک روش خودکار مبتنی بر مولفه رنگ تبدیل رنگ از مدل RGB به HSV. Revista Brasileira de Cartografia 2016 , 68 . [ Google Scholar ]
پیکولی، MCA؛ کامارا، جی. سانچس، آی. Simões، R.; کاروالیو، آ. Maciel، A.; کوتینیو، آ. اسکوردو، جی. آنتونز، جی. Begotti، RA; و همکاران تجزیه و تحلیل سری زمانی رصد زمین بزرگ برای نظارت بر کشاورزی برزیل ISPRS J. Photogramm. Remote Sens. 2018 , 145 , 328–339. [ Google Scholar ] [ CrossRef ]
Maciel، AM; کامارا، جی. وینهاس، ال. پیکولی، MCA؛ Begotti، RA; Assis, LFFGD یک حساب فضایی و زمانی برای استدلال در مورد مسیرهای کاربری زمین. بین المللی جی. جئوگر. Inf. علمی 2018 ، 33 ، 176-192. [ Google Scholar ] [ CrossRef ]
والریانو، دی.م. Mello, EM; موریرا، جی سی. شیمابوکورو، YE; دوارته، وی. باربوسا، CC نظارت بر جنگل های استوایی از فضا: پروژه دیجیتال PRODES. بین المللی قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2004 ، 35 ، 272-274. [ Google Scholar ]
Prodes, P. Monitoramento da floresta Amazônica Brasileira por satélite. Inst. Nac. دی پسکی. اسپک پروژه تولید می کند. 2013 ، 25 ، 2013. [ Google Scholar ]
اسکادا، MIS؛ ماورانو، LE; رنو، سی دی; آمارال، س. Valeriano، DDM Avaliação de dados dos Sistemas de Alerta da Amazônia: DETER e SAD. سوتین Simpósio. De Sensoriamento Remoto 2011 ، 15 ، 2934-2943. [ Google Scholar ]
دینیز، سی جی; د آلمیدا سوزا، AA; سانتوس، دی سی؛ دیاس، ام سی; دا لوز، NC; de Moraes، DRV; مایا، جی اس. گومز، AR؛ دا سیلوا نارواس، آی. والریانو، دی.م. و همکاران DETER-B: آمازون جدید سیستم تشخیص جنگل زدایی در زمان واقعی. IEEE J. Sel. بالا. Appl. Obs زمین. Remote Sens. 2015 , 8 , 3619–3628. [ Google Scholar ] [ CrossRef ]
هانسن، ام سی; شیمابوکورو، YE; پوتاپوف، پ. پیتمن، ک. مقایسه سالانه داده‌های تغییر پوشش جنگلی MODIS و PRODES برای نظارت پیشرفته بر پوشش جنگلی برزیل. سنسور از راه دور محیط. 2008 ، 112 ، 3784-3793. [ Google Scholar ] [ CrossRef ]
فیلیپس، ای. ویلیامسون، آی. Ezigbalike، C. مفاهیم زیرساخت داده های فضایی. اوست Surv. 1999 ، 44 ، 20-28. [ Google Scholar ] [ CrossRef ]
برنارد، ال. Craglia، M. SDI-از زیرساخت داده های مکانی تا زیرساخت مبتنی بر خدمات. در مجموعه مقالات کارگاه پژوهشی در مورد یادگیری متقابل بین زیرساخت‌های داده‌های مکانی و زیرساخت‌های اطلاعاتی، Enschede، هلند، 31 مارس تا 1 آوریل 2005. [ Google Scholar ]
برنارد، ال. کانلوپولوس، آی. آنونی، ا. اسمیتز، پی. ژئوپورتال اروپایی – یک گام به سوی ایجاد زیرساخت داده های فضایی اروپا. محاسبه کنید. محیط زیست سیستم شهری 2005 ، 29 ، 15-31. [ Google Scholar ] [ CrossRef ]
ژاکوبی، اس. اسمیت، جی. تینگ، ال. ویلیامسون، I. توسعه یک زیرساخت داده مکانی مشترک بین ایالت و دولت محلی – مطالعه موردی استرالیا. بین المللی جی. جئوگر. Inf. علمی 2002 ، 16 ، 305-322. [ Google Scholar ] [ CrossRef ]
مگوایر، دی جی; Longley, PA ظهور ژئوپورتال ها و نقش آنها در زیرساخت های داده های مکانی. محاسبه کنید. محیط زیست سیستم شهری 2005 ، 29 ، 3-14. [ Google Scholar ] [ CrossRef ]
Masser, I. GIS Worlds: Creating Spatial Data Infrastructures ; ESRI Press: Redlands, CA, USA, 2005; جلد 338. [ Google Scholar ]
سینارکی، سی. Shade، S. Big Data—یک تغییر گام برای SDI؟ بین المللی J. 2016 ، 11 ، 9-19. [ Google Scholar ]
یو، پی. ژانگ، سی. ژانگ، ام. ژای، ایکس. Jiang, L. یک رویکرد SDI برای تجزیه و تحلیل داده های بزرگ: موردی در مورد تشخیص رویداد وب حسگر و گردش کار ژئوپردازش. IEEE J. Sel. بالا. Appl. Obs زمین. Remote Sens. 2015 , 8 , 4720–4728. [ Google Scholar ] [ CrossRef ]
کامارا، جی. Assis، LF; ریبیرو، جی. فریرا، KR; لاپا، ای. Vinhas، L. تجزیه و تحلیل داده های مشاهده زمین بزرگ: تطبیق الزامات با معماری سیستم. در مجموعه مقالات پنجمین کارگاه بین المللی ACM SIGSPATIAL در تجزیه و تحلیل داده های بزرگ جغرافیایی، برلینگیم، کالیفرنیا، ایالات متحده آمریکا، 31 اکتبر 2016؛ صص 1-6. [ Google Scholar ]
کامارا، جی. ریبیرو، جی. وینهاس، ال. فریرا، KR; کارتاکسو، آر. Simões، R.; لاپا، ای. Assis، LF; سانچز، A. معماری سنجش الکترونیکی برای تجزیه و تحلیل داده های رصد زمین بزرگ. در مجموعه مقالات کنفرانس 2017 درباره داده های بزرگ از فضا (BiDS’17)، تولوز، فرانسه، 28 تا 30 نوامبر 2017؛ ص 1-4. [ Google Scholar ] [ CrossRef ]
بوردوگنا، جی. کلیمنت، تی. فریجریو، ال. بریویو، پی. کرما، ا. استروپیانا، دی. بوشتی، ام. Sterlacchini، S. یک زیرساخت داده مکانی با ادغام داده های جغرافیایی ناهمگن چند منبعی و سری های زمانی: یک مورد مطالعه در کشاورزی. ISPRS Int. J. Geo-Inf. 2016 ، 5 ، 73. [ Google Scholar ] [ CrossRef ]
Wagemann، J.; کلمنتز، او. مارکو فیگوئرا، آر. روسی، AP; Mantovani, S. خدمات وب جغرافیایی راه های جدیدی را برای دسترسی بر اساس تقاضا و پردازش داده های زمین بزرگ بر اساس سرور هموار می کند. بین المللی جی دیجیت. زمین 2018 ، 11 ، 7-25. [ Google Scholar ] [ CrossRef ]
بوداتوکی، NR; بروس، بی. Nedovic-Budic، Z. مفهوم مجدد نقش کاربر زیرساخت داده های مکانی. جئوژورنال 2008 ، 72 ، 149-160. [ Google Scholar ] [ CrossRef ]
اسمیت، کامپیوتر; Friis-Christensen، A. کشف منبع در زیرساخت داده های مکانی اروپایی. IEEE Trans. دانستن مهندسی داده 2006 ، 19 ، 85-95. [ Google Scholar ] [ CrossRef ]
چان، TO; ویلیامسون، I. مدیریت زیرساخت داده های مکانی: درس هایی از توسعه GIS شرکتی. در مجموعه مقالات بیست و هفتمین کنفرانس سالانه AURISA 99، کوه های آبی، استرالیا، 22 تا 26 نوامبر 1999. [ Google Scholar ]
Assis، LFFG; فریرا، KR; وینهاس، ال. ماورانو، ال. آلمیدا، کالیفرنیا؛ ناسیمنتو، جی آر. کاروالیو، AFA; کامارگو، سی. Maciel، AM TerraBrasilis: زیرساخت داده های فضایی برای انتشار داده های جنگل زدایی از برزیل. در مجموعه مقالات نوزدهمین سمپوزیوم برزیلی سنجش از دور، سانتوس، برزیل، 14 تا 17 آوریل 2019. [ Google Scholar ]
زیرساخت ها، DSD کتاب آشپزی SDI. GSDI/Nebert 2004. موجود به صورت آنلاین: https://gsdiassociation.org/images/publications/cookbooks/SDI_Cookbook_GSDI_2004_ver2.pdf (در 1 نوامبر 2019 قابل دسترسی است).
وینهاس، ال. د کی‌روش، GR; فریرا، KR; کامارا، جی. خدمات وب برای داده های رصد زمین بزرگ. Revista Brasileira de Cartografia 2016 , 69 . [ Google Scholar ]
گولیک، ن. هنچر، م. دیکسون، ام. ایلیوشچنکو، اس. تاو، دی. Moore, R. Google Earth Engine: تجزیه و تحلیل جغرافیایی در مقیاس سیاره ای برای همه. سنسور از راه دور محیط. 2017 ، 202 ، 18-27. [ Google Scholar ] [ CrossRef ]
آجی، ع. وانگ، اف. وو، اچ. لی، آر. لیو، کیو. ژانگ، ایکس. Saltz, J. Hadoop gis: یک سیستم ذخیره‌سازی داده‌های فضایی با کارایی بالا بر روی نقشه کاهش. Proc. VLDB Enddow. 2013 ، 6 ، 1009-1020. [ Google Scholar ] [ CrossRef ]
نیشیمورا، اس. داس، اس. آگراوال، دی. El Abbadi, A. MD-HBase: طراحی و اجرای زیرساخت داده الاستیک برای خدمات مکان یابی در مقیاس ابر. توزیع کنید. پایگاه های داده موازی 2013 ، 31 ، 289-319. [ Google Scholar ] [ CrossRef ]
الدوی، ا. Mokbel، MF Spatialhadoop: یک چارچوب کاهش نقشه برای داده های مکانی. در مجموعه مقالات سی و یکمین کنفرانس بین المللی مهندسی داده IEEE 2015 (ICDE)، سئول، کره، 13 تا 17 آوریل 2015؛ IEEE: Piscataway, NJ, USA, 2015; صص 1352–1363. [ Google Scholar ]
سوینی، سی. لیو، ال. آریتا، اس. Lawrence, J. HIPI: یک رابط پردازش تصویر Hadoop برای وظایف MapReduce مبتنی بر تصویر . گزارش فنی؛ دانشگاه ویرجینیا: شارلوتزویل، ویرجینیا، ایالات متحده آمریکا، 2011. [ Google Scholar ]
آسیس، ال. کی روش، جی. فریرا، ک. وینهاس، ال. لاپا، ای. سانچز، آ. ماوس، وی. Camara، G. جریان داده های بزرگ برای تجزیه و تحلیل سری های زمانی سنجش از راه دور با استفاده از MapReduce. در مجموعه مقالات هفدهم سمپوزیوم برزیل در زمینه ژئوانفورماتیک ; مجله نقشه برداری برزیل: Campos do Jordão، برزیل، 2016. [ Google Scholar ]
هوانگ، Q. یانگ، سی. نبرت، دی. لیو، ک. وو، اچ. محاسبات ابری برای علوم زمین: استقرار اتاق تهاتر GEOSS در EC2 آمازون. در مجموعه مقالات کارگاه بین المللی ACM SIGSPATIAL در مورد عملکرد بالا و سیستم های اطلاعات جغرافیایی توزیع شده، سن خوزه، کالیفرنیا، ایالات متحده آمریکا، 2 نوامبر 2010. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2010; صص 35-38. [ Google Scholar ]
یانگ، سی. یو، م. هو، اف. جیانگ، ی. Li, Y. استفاده از محاسبات ابری برای رسیدگی به چالش‌های بزرگ داده‌های مکانی. محاسبه کنید. محیط زیست سیستم شهری 2017 ، 61 ، 120-128. [ Google Scholar ] [ CrossRef ]
یانگ، سی. خو، ی. Nebert, D. تعریف مجدد امکان زمین دیجیتال و علوم زمین با محاسبات ابری فضایی. بین المللی جی دیجیت. زمین 2013 ، 6 ، 297-312. [ Google Scholar ] [ CrossRef ]
استون بریکر، م. براون، پ. ژانگ، دی. Becla, J. SciDB: یک سیستم مدیریت پایگاه داده برای برنامه های کاربردی با تجزیه و تحلیل پیچیده. محاسبه کنید. علمی مهندس 2013 ، 15 ، 54-62. [ Google Scholar ] [ CrossRef ]
براون، PG مروری بر SciDB: ذخیره سازی، پردازش و تجزیه و تحلیل آرایه در مقیاس بزرگ. در مجموعه مقالات کنفرانس بین المللی ACM SIGMOD 2010 در مدیریت داده ها، ایندیاناپولیس، IN، ایالات متحده، 6 تا 10 ژوئن 2010. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2010; صص 963-968. [ Google Scholar ]
باومن، پی. دهمل، ع. فورتادو، پ. ریچ، آر. Widmann, N. سیستم پایگاه داده چند بعدی RasDaMan. ACM SIGMOD Rec. 1998 ، 27 ، 575-577. [ Google Scholar ] [ CrossRef ]
پلنتهابر، جی. استون بریکر، م. Frew, J. EarthDB: تجزیه و تحلیل مقیاس پذیر داده های MODIS با استفاده از SciDB. در مجموعه مقالات اولین کارگاه بین المللی ACM SIGSPATIAL در مورد تجزیه و تحلیل برای داده های مکانی بزرگ، ردوندو بیچ، کالیفرنیا، ایالات متحده آمریکا، 6 نوامبر 2012. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2012; صص 11-19. [ Google Scholar ]
کرکال، ال. Ho, S. چارچوبی مبتنی بر SciDB برای ذخیره‌سازی و پرس و جوی کارآمد داده‌های ماهواره‌ای بر اساس مسیر رویداد اتمسفری پویا. در مجموعه مقالات چهارمین کارگاه بین المللی ACM SIGSPATIAL در مورد تجزیه و تحلیل برای داده های بزرگ جغرافیایی، Bellevue، WA، ایالات متحده، 3-6 نوامبر 2015. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2015; صص 7-14. [ Google Scholar ]
باومن، پی. میسف، دی. مرتیکاریو، وی. Huu، BP; Bell, B. Datacubes: A Technology Survey. در مجموعه مقالات IGARSS 2018-2018 IEEE بین المللی زمین شناسی و سمپوزیوم سنجش از دور، والنسیا، اسپانیا، 22 تا 27 ژوئیه 2018؛ IEEE: Piscataway، نیوجرسی، ایالات متحده آمریکا، 2018؛ ص 430-433. [ Google Scholar ]
جولیانی، جی. شاتنو، بی. دی بونو، آ. رودیلا، دی. ریچارد، جی پی. آلنباخ، ک. دائو، اچ. Peduzzi, P. ساختن مکعب داده مشاهدات زمین: درس های آموخته شده از مکعب داده سوئیس (SDC) در مورد تولید داده های آماده تجزیه و تحلیل (ARD). داده های بزرگ زمین 2017 ، 1 ، 100-117. [ Google Scholar ] [ CrossRef ]
Killough، B. مروری بر ابتکار مکعب داده باز. در مجموعه مقالات IGARSS 2018-2018 IEEE بین المللی زمین شناسی و سمپوزیوم سنجش از دور، والنسیا، اسپانیا، 22 تا 27 ژوئیه 2018؛ IEEE: Piscataway، نیوجرسی، ایالات متحده آمریکا، 2018؛ صص 8629–8632. [ Google Scholar ]
لهتو، ال. کاهکنن، جی. اوکسانن، جی. Sarjakoski، T. GeoCubes فنلاند-رویکردی یکپارچه برای مدیریت ژئوداده شطرنجی با وضوح چندگانه در یک زیرساخت ملی تحقیقات جغرافیایی. در مجموعه مقالات کنفرانس بین المللی سیستم های اطلاعات جغرافیایی پیشرفته، برنامه ها و خدمات، رم، ایتالیا، 25-29 مارس 2018؛ IARIA: Wilmington، DE، USA، 2018. [ Google Scholar ]
یانگ، سی. یو، م. لی، ی. هو، اف. جیانگ، ی. لیو، کیو. شا، د. خو، ام. Gu, J. تجزیه و تحلیل داده های زمین بزرگ: یک نظرسنجی. داده های بزرگ زمین 2019 ، 3 ، 83-107. [ Google Scholar ] [ CrossRef ]
پرسمن، مهندسی نرم افزار RS : رویکرد یک پزشک ؛ Palgrave Macmillan: لندن، انگلستان، 2005. [ Google Scholar ]
Wilkinson, L. گرامر گرافیک. در کتابچه راهنمای آمار محاسباتی ; Springer: نیویورک، نیویورک، ایالات متحده آمریکا، 2012; صص 375-414. [ Google Scholar ]
ویکهام، اچ. دستور زبان لایه ای گرافیک. جی. کامپیوتر. نمودار. آمار 2010 ، 19 ، 3-28. [ Google Scholar ] [ CrossRef ]
Tanenbaum، AS; ون استین، ام. سیستم های توزیع شده: اصول و پارادایم ها . Prentice-Hall: Upper Saddle River، نیوجرسی، ایالات متحده آمریکا، 2007. [ Google Scholar ]