TerraBrasilis: زیرساخت تجزیه و تحلیل داده های مکانی برای نقشه برداری موضوعی در مقیاس بزرگ †

خلاصه

پدیده های فیزیکی به دست آمده از تجزیه و تحلیل تصاویر سنجش از دور، درک واضح تری از تغییرات طیفی تعداد زیادی از طبقات کاربری و پوشش زمین (LUC) ارائه می دهند. ایجاد نقشه های LUC این دیدگاه را با قادر ساختن جامعه علمی برای تخمین ناهمگونی پارامتر سطح زمین تأیید کرده است. همراه با توصیف ویژگی‌ها و آمار برای تجمیع اطلاعات مکانی-زمانی، برنامه‌های دولتی نقشه‌های موضوعی را برای پیشبرد اجرای سیاست‌های عمومی مؤثر و تقویت توسعه پایدار منتشر کرده‌اند. در برزیل، PRODES و DETERنشان داده اند که آنها متعهد به نظارت سیستماتیک مناطق نقشه برداری جنگل زدایی در مقیاس بزرگ و با استفاده از تضمین کیفیت داده ها هستند. با این حال، این برنامه‌ها آنقدر پیچیده هستند که نیاز به طراحی، پیاده‌سازی و استقرار زیرساخت داده‌های مکانی مبتنی بر ویژگی‌های تجزیه و تحلیل داده‌های گسترده دارند تا کاربرانی که فاقد درک لازم از رابط‌های فضایی استاندارد هستند، همچنان بتوانند روی آنها تحقیق کنند. با در نظر گرفتن این موضوع، موسسه ملی تحقیقات فضایی برزیل (INPE) TerraBrasilis را طراحی کرده است، یک زیرساخت تجزیه و تحلیل داده های فضایی که رابط هایی را فراهم می کند که نه تنها در سیستم های اطلاعات جغرافیایی سنتی، بلکه در محیط های تجزیه و تحلیل داده ها با الگوریتم های پیچیده یافت می شوند. برای اطمینان از دستیابی به بهترین عملکرد خود، ما از یک معماری میکرو سرویس با منابع رایانه مجازی استفاده کردیم تا امکان دسترسی بالا، اندازه کمتر، سادگی برای ایجاد افزایش، قابل اعتماد برای تغییر و تحمل خطا در سناریوهای شبکه کامپیوتری ناپایدار را فراهم کنیم. علاوه بر این، ما پایگاه‌های داده خود را تنظیم و بهینه‌سازی کردیم تا هم با قالب ورودی الگوریتم‌های پیچیده تنظیم شود و هم سرعت بارگذاری برنامه وب را افزایش دهیم تا سریع‌تر از سایر سیستم‌ها باشد.

کلید واژه ها:

زیرساخت داده های مکانی ; تجزیه و تحلیل داده ها ؛ نقشه برداری موضوعی

1. معرفی

از زمان پرتاب اولین ماهواره های مصنوعی، پیشرفت های متعددی در زمینه پایداری محیط زیست، به ویژه در کشورهای در حال توسعه مانند برزیل [ 1 ] صورت گرفته است. آژانس‌های فضایی ماهواره‌های جداگانه‌ای را که در مدار قرار می‌گیرند، ردیابی می‌کنند تا یک نمای همدیدی با تعداد زیادی امضای طیفی به دست آورند که برای ارائه درک سریع از پویایی تغییرات کاربری/پوشش زمین (LUC)، از منطقه‌ای تا مقیاس قاره ای [ 2 ]. کیفیت و انعطاف پذیری حجم زیادی از اطلاعات مکانی می تواند به جامعه علمی در طیف گسترده ای از کاربردهای زیست محیطی کمک کند: مدل سازی جنگل زدایی [ 3 ]، نظارت بر بلایا [ 4 ]، برآورد کل بدنه آب [3].5 ] و ارزیابی تنوع زیستی کشاورزی [ 6 ، 7 ]. در نتیجه، برخی از مطالعات منجر به طراحی نقشه‌های موضوعی برای کمک به تحقیقات علمی آن‌ها با برجسته‌سازی الگوهای مکانی – زمانی در مناطق شهری و روستایی شده است.

برزیل یکی از نمونه های تضمین شده کیفیت [ 8 ] و از لحاظ مکانی گسترده از کشوری است که از سنجش از دور برای حفظ منابع طبیعی زمین با ایجاد نقشه های موضوعی با نرم افزار منبع باز استفاده کرده است. برنامه‌های نظارت مستمر مبتنی بر داده‌های برزیل برای جنگل‌زدایی واضح ( PRODES ) [ 9 ]، و سیستم هشدار هشدار برای تشخیص جنگل‌زدایی در زمان واقعی ( DETER ) [ 10 ، 11]، که توسط موسسه ملی تحقیقات فضایی برزیل (INPE) انجام شده است، در پاسخ به شواهد دال بر تغییرات در انسان شناسی ناشی از تغییرات در پوشش گیاهی بومی عمل کرده و زمینه را برای بررسی دقیق فراهم کرده است. از سال 1988، PRODES به طور سیستماتیک نرخ رسمی سالانه ( https://www.obt.inpe.br/OBT/assuntos/programas/amazonia/prodes ) را بر اساس مناطق افزایش جنگل زدایی شناخته شده تخمین زده است. DETER به فعالیت های جنگل زدایی پراکنده و پراکنده به صورت روزانه بر خلاف PRODES [ 12 ] می پردازد.

الزامات فنی باعث ایجاد نگرانی از سوی سازمان‌های دولتی برای بهبود سرویس‌های وب قابل استفاده شده است تا بتوان از آنها برای کشف، بازیابی، ادغام و اشتراک‌گذاری حجم زیادی از داده‌های مکانی دیجیتالی شده در مکان‌های مختلف به روشی مؤثر استفاده کرد. 13 ، 14 ، 15 ]. این رویکرد از بالا به پایین، که به عنوان زیرساخت داده‌های مکانی (SDI) شناخته می‌شود، بر فناوری‌ها، اصول، سیاست‌ها، مشخصات و افراد درگیر در رویه‌ها و مکانیسم‌های تعیین‌شده در هر ابتکار (مانند INSPIRE ( https://inspire.ec ) تکیه دارد. .europa.eu/ )، NSDI ایالات متحده ( https://www.fgdc.gov/nsdi/nsdi.html)) برای ارائه دسترسی غیر اختصاصی به داده های دارای مهر زمانی و ساختار توپولوژیکی [ 16 ، 17 ]. اولین تلاش ها برای توسعه SDI ها بر فرآیندهای یکپارچه (یعنی برنامه های کاربردی وب منفرد بزرگ) با حاکمیت متمرکز و مدیریت داده ها بر اساس مکان، زمان و ویژگی های موضوعی متمرکز بود [ 18 ]. با این حال، SDIها در تلاش برای پاسخگویی به سؤالات دقیق تر (مثلاً در دسترس بودن داده ها در مناطق خاص، یا استفاده از پارامترهای موضوعی خاص در دوره های زمانی مشخص) که توسط آن دسته از کاربران مطرح می شود، از روندهای فناوری اخیر پیروی نکردند. یا سابقه ای در زمین انفورماتیک ندارند یا به دنبال تجزیه و تحلیل این داده ها به روشی آسان تر هستند [ 19 ].

این به این دلیل است که SDI ها برای تبادل داده های مکانی از طریق پروتکل حمل و نقل Hyper Text (HTTP) به استانداردهای رابط وب سرویس متکی هستند، که مانع تقویت قدرت تجزیه و تحلیل با توجه به کتابخانه های از پیش تعریف شده طراحی شده برای زبان های اسکریپت مانند Python و R می شود. این بدان معنی است که هنوز نیاز به تبدیل رویکردهای مبتنی بر زیرساخت فعلی به استراتژی های الگوریتمی با روش های تحلیلی انعطاف پذیر، مدولار شده و پیشرفته وجود دارد [ 20 ]]. جدا از این واقعیت که رابط های شی گرا جدید که توسط تجزیه و تحلیل آماری هدایت می شوند، شامل پیکربندی جزئی از پیشرفت های هسته و پشتیبان (به عنوان مثال، مدیریت مجموعه داده های نیمه ساختاری و بدون ساختار) هستند، هنوز هم ممکن است بتوانند بر چالش های مطرح شده غلبه کنند. با قابلیت تحلیل داده ها علاوه بر این، عصر جدید داده های بزرگ به خدمات پیچیده کمتر و محیط های قابل تکرار برای تجزیه و تحلیل سریع نیاز دارد [ 21 ، 22 ].

آنچه در اینجا باید بر آن تاکید شود این است که تجزیه و تحلیل داده های علمی ناهمگن [ 19 ، 20 ] که به صورت پویا مقیاس می شوند [ 23 ] منجر به تلاش زیادی برای هماهنگ کردن، پیش پردازش و تجزیه و تحلیل داده های مکانی جفت شده پس از دانلود آنها از SDI می شود [ 24 ] . به طور خلاصه، چالش‌هایی که هنگام توسعه SDI برای انتشار داده‌های جنگل‌زدایی با آن مواجه می‌شوند، اهداف بسیار متمایز زیر را دارند: (1) انطباق برنامه‌های محیطی ناهمگن با ظهور و گسترش SDI‌های جدید [ 25 ]. (2) مدیریت یکپارچه و تطبیقی داده های مکانی [ 26]؛ و (3) آگاهی از پیشرفت‌های تکنولوژیکی نوآورانه ثابت بدون توجه به پلتفرمی که استفاده می‌شود، تا زمانی که عمومی و انعطاف‌پذیر با درجه معینی از مدولار باقی بماند [ 27 ].

فرضیه ما این است که بر اساس یافته های تحقیق یک مطالعه قبلی [ 28 ] و طراحی زیرساخت تجزیه و تحلیل داده های مکانی به نام TerraBrasilis ( https://terrabrasilis.dpi.inpe.br )) که اجزای اصلی SDI را به خدمات خرد تقسیم می کند. این یک پروژه در حال انجام است تا جایی که هم برای یک ساختمان کاملاً خودکار و هم برای فرآیند استقرار طراحی شده است تا از سناریوهای پویا مانند مواردی که به وضوح مکانی-زمانی خوب نیاز دارند، طراحی شده است. TerraBrasilis یک پلت فرم مبتنی بر وب است که به دنبال ترتیب، دسترسی و انتشار داده های مکانی از نقشه های موضوعی تولید شده توسط پروژه های زیست محیطی INPE است. این به دنبال برآوردن الزامات استانداردهای قابلیت همکاری GIS (سیستم اطلاعات جغرافیایی) و اطمینان از انطباق با زیرساخت داده‌های مکانی ملی برزیل (INDE) است، در حالی که در عین حال از رابط‌های برنامه‌نویسی کاربردی تحلیلی (API) همه جا حاضر و مقرون به صرفه‌تر استفاده می‌کند. هدف اساسی از توسعه این APIها افزایش در دسترس بودن داده ها است، زیرا به کاربران اجازه می دهند تا تجزیه و تحلیل خود را در مناطق خاص بدون فیلتر کردن بیشتر از برش هندسی تنظیم کنند. هدف دوم متکی بر تجزیه و تحلیل مبتنی بر قابلیت‌های تحلیلی در محیط است که می‌تواند روش‌های آماده برای استفاده را آسان‌تر کند، و بنابراین، امکان تغییر از SDI های سنتی به زیرساخت تجزیه و تحلیل داده‌های مکانی را فراهم کند. در نتیجه، زمان پردازش کمتری برای جمع‌آوری داده‌های مختلف در فضای درخواستی و نمایش آنها در لایه‌های تجسم لازم است. اجازه تغییر از SDI های سنتی به زیرساخت های تجزیه و تحلیل داده های مکانی را می دهد. در نتیجه، زمان پردازش کمتری برای جمع‌آوری داده‌های مختلف در فضای درخواستی و نمایش آنها در لایه‌های تجسم لازم است. اجازه تغییر از SDI های سنتی به زیرساخت های تجزیه و تحلیل داده های مکانی را می دهد. در نتیجه، زمان پردازش کمتری برای جمع‌آوری داده‌های مختلف در فضای درخواستی و نمایش آنها در لایه‌های تجسم لازم است.

بنابراین، مشارکت های اصلی تحقیق انجام شده توسط این مطالعه را می توان به شرح زیر خلاصه کرد:

مهندسی و طراحی الزامات در سطح معماری برای پیاده‌سازی و ارزیابی یک SDI منبع باز در مجموعه‌ای از منابع رایانه مجازی. این مستلزم استفاده از معماری میکرو سرویس است (الف) برای بهبود تحمل خطا در سناریوهای شبکه کامپیوتری ناپایدار، (ب) برای افزودن سادگی به طوری که بتوان تغییرات جدید را افزایش داد، و (ج) استقرار و نگهداری آن را آسان‌تر کرد.
در دسترس‌تر کردن پروژه‌های نقشه‌برداری موضوعی پیوسته (مانند DETER و PRODES ) برای ارائه اطلاعات نه تنها از طریق قابلیت همکاری متعارف GIS، بلکه همچنین از طریق فرمت‌های نیمه ساختاری و بدون ساختار در محیط تحلیلی.
ایجاد بهبود در پلت فرم TerraBrasilis. این بر اساس درس هایی است که می توان از بررسی مناطق جنگل زدایی از یک سناریوی جنگل زدایی در دنیای واقعی مانند آنچه در برزیل یافت می شود آموخت.

2. زیرساخت داده های مکانی برای تجزیه و تحلیل داده های رصد زمین بزرگ

SDI را می توان به عنوان ابزاری برای به کارگیری فناوری ها، سیاست ها، استانداردها و سهامداران برای کمک به ارائه دسترسی به داده های مکانی [ 29 ] و امکان انتشار آنها تعریف کرد. SDI ها از نقطه نظر مدیریت داده متمرکز هستند. آنها همچنین از مشارکت چند شرکت کننده در پروژه های طولانی مدت زیست محیطی حمایت می کنند. نمونه‌هایی از ابتکارات مانند INSPIRE و NSDI نشان‌دهنده تلاش‌های سازمان‌های دولتی برای فهرست‌نویسی، کشف و دانلود مجموعه‌های داده با مقیاس‌های مختلف است [ 17 ]. با این حال، SDI ها هنوز به پیشرفت هایی برای تجزیه و تحلیل داده های علمی نیاز دارند [ 19 ، 20 ]، که به صورت پویا از منابع ناهمگن مقیاس می شوند [ 23 ]] و زمانی که به مقدار زیاد ظاهر می شوند باید هماهنگ و از قبل پردازش شوند [ 24 ]. یک راه حل شامل انجام یک نوع پردازش سازگار با مدل سمت سرور است که می تواند از سربار ارتباط داده بین مشتری و سرور جلوگیری کند. این ویژگی نیازمند رویکردهای جدیدی به نام معماری داده‌های بزرگ زمین (BEOD) است.

معماری‌های BEOD برای جدا شدن از سرویس‌های وب استاندارد مورد استفاده در SDI طراحی شده‌اند، زیرا هنوز مشخص نیست که آیا آنها می‌توانند با عصر جدید Big Data که ظهور کرده است سازگار شوند یا خیر [ 30 ]. این مورد در مورد موتور Google Earth (GEE) است که بر روی مدل Map-Reduce ساخته شده است، یکی از کارآمدترین پلتفرم‌های کاربرپسند برای محاسبات گسترده و همزمان و تجزیه و تحلیل در مقیاس بزرگ [ 31 ]. تغییرات فضایی غیر اختصاصی آن [ 32 ، 33 ، 34 ] و رابط های جایگزین برای پردازش تصویر [ 35 ، 36 ]] چالش‌های پیشرو را برای محاسبات پشتیبان ایجاد کنید. از آنجایی که کمبود نیروی کار ماهر در زیرساخت های محاسباتی وجود دارد (مثلاً برای تکرار، افزونگی و ارتباطات)، دانشمندان برای مجازی سازی منابع کامپیوتری به ارائه دهندگان ابر متکی هستند. مثال کلاسیک در حوزه خصوصی که رویکرد مستقل از پلتفرم را اتخاذ می کند، ابر محاسباتی الاستیک آمازون (EC2) [ 37 ، 38 ] است که با افزایش تکرارپذیری علمی و آماده سازی داده های آماده تجزیه و تحلیل، حوزه علوم زمین را تغییر می دهد. نسل بعدی GIS مانند CloudGIS [ 39 ].

از آنجایی که داده‌های مکانی-زمانی برای مدت طولانی از فقدان نمایش علمی رنج می‌بردند، پایگاه‌های داده آرایه‌ای چند بعدی به عنوان جایگزین‌های مفید ظاهر شده‌اند. SciDB [ 40 ] بر مفهوم ریاضی یک آرایه 3 بعدی متکی است و قابلیت همکاری را در سطح جبری بهبود می بخشد [ 41 ]. در مثالی دیگر، Rasdaman [ 42 ] ویژگی های مشابهی را با یک رابط سبک SQL مانند ارائه می دهد که شامل پارامترهای تنظیم مانند پارتیشن بندی عمودی و فشرده سازی در مکانیزم ذخیره سازی مبتنی بر تکه می شود [ 43 ، 44 ]]. این ویژگی‌ها یک استراتژی همپوشانی برای متعادل کردن بار محاسباتی و مصرف حافظه به کار می‌گیرند. این بدان معنی است که آنها می توانند داده ها را بین بسیاری از گره های محاسباتی با در دسترس بودن بالا ذخیره کنند و چندین کار جمع آوری شده با پیچیدگی زیاد را به طور مستقل انجام دهند. یک مدل منطقی نوظهور به نام مکعب داده وجود دارد که همچنین برای برداشتن بار دانشمندان از کامپایل BEOD و ارائه “داده های آماده تجزیه و تحلیل” (ARD) طراحی شده است [ 45 ]. این اصطلاح مخفف ارائه داده‌های رصد زمین با منحنی یادگیری کاهش‌یافته در زمان واقعی برای تصاویر ماهواره‌ای بحث‌برانگیز و استفاده مجدد از روش‌های پردازش برای تجزیه و تحلیل است [ 46 ، 47 ، 48 ].

با توجه به این موضوع، مطالعه ما با افزایش قابلیت های مورد نیاز برای انجام یک تحلیل پیچیده در SDIs [ 49 ] پیشرفت قابل توجهی داشته است. محدودیت‌های آنها در ارتباط با برنامه‌نویسی افزایشی و انجام یک تحلیل خلاقانه مقیاس‌پذیر را می‌توان با بسته‌های نرم‌افزاری آماری مانند موارد موجود در مخزن CRAN غلبه کرد ( https://cran.r-project.org/). علاوه بر این، اگر یک طراحی پایگاه داده ایجاد شود، انجام آنالیز سریعتر و آسانتر از استفاده از قالبهای داده ساختاریافته ارائه شده توسط سرویسهای وب استاندارد (مثلاً، سرویس مشاهده حسگر) می شود. این الزامات تحلیلی و عملکردی توسط SDI ها همراه با خدمات نقشه برداری وب و فهرست نویسی گنجانده شده است. این بدان معنی است که یک محیط تحلیل پسند اجازه می دهد تا داده های مکانی و ویژگی های خاص آنها به روشی بسیار پیچیده تر از تنها اتکا به پیاده سازی های مبتنی بر زیرساخت استفاده شوند.

3. الزامات زیرساخت داده های مکانی برای تهیه نقشه های موضوعی برای انتشار

الزامات SDI برای نقشه برداری موضوعی با ساختار و الگوهای رفتاری مورد نیاز برای تعیین اولویت ها و ترسیم دستورالعمل های توسعه یک سیستم مطابقت دارد [ 50 ]. با استفاده از یک مدل تحلیلی در حال تکامل که از دیدگاه تجاری طراحی شده است، این کار الزامات عملکردی و غیر عملکردی اساسی را ترکیب می کند که می تواند پویایی برنامه های LUC و ویژگی های اضافی ذاتی نرم افزار مرتبط با دامنه را نشان دهد. با در نظر گرفتن این موضوع، هدف ما خلاصه کردن عملکردهای اصلی است ( شکل 1) توسط سه بازیکن کلیدی مشخص شده است: توسعه دهنده، مدیر و کاربر. الزامات عملکردی شامل موارد زیر است: تجسم داده‌های مکانی با نقشه‌ها و داشبوردها، خدمات مختلف یکپارچه، مکانیسم‌های کنترل دسترسی امنیتی، مدیریت مدیریت و مدیریت، ابزارهای پرس و جو و ذخیره‌سازی ابرداده، صادرات پایگاه‌های داده بزرگ، و تجزیه و تحلیل داده‌ها. در عین حال، رویکرد اتخاذ شده برای الزامات غیرعملکردی شامل ویژگی‌های زیر است: (1) کیفیت، (2) عملکرد، (3) امنیت، (4) قابلیت استفاده، (5) آزمایش‌پذیری، و (6) قابلیت ردیابی.

علاوه بر این، ما یک نمودار ساختاریافته ( شکل 2 ) با سه بسته (رابط، زیرساخت و ذخیره سازی) طراحی کردیم تا اجزای نرم افزار را در سطح تجاری و فنی معماری نشان دهد. هر یک از این مؤلفه ها حاوی کلیشه هایی است که با «» نشان داده شده است.و به یک کانکتور نصب متصل می شود تا ارائه دهنده یا مشتری اطلاعات/خدمت را نشان دهد. بسته رابط شامل مؤلفه اصلی برنامه وب است که هم به رابط بصری و هم به چارچوب مدل-نما-کنترلر (MVC) متصل است. چارچوب MVC نقش کلیدی ایفا می کند زیرا استفاده از سرویس را واسطه می کند و به جزء متعادل کننده بار در بسته زیرساخت متصل است. علاوه بر این، چارچوب MVC به کتابخانه های کمکی همراه با منابع نقشه برداری و ارائه دهندگان نقشه وب آنها متصل است.

در بسته زیرساختی، رویکرد میکرو سرویس به بهبود مقیاس پذیری و پویایی از طریق مدیریت خدمات فردی بر اساس بار مورد نیاز کمک می کند. این بدان معنی است که هر چه میزان خدماتی که به صورت جداگانه تغییر می کنند بیشتر باشد، تأثیر آن بر زیرساخت کمتر است. مؤلفه متعادل کننده بار و مسیریابی پویا قادر است بار را برای هر سرویس متعادل کند. جزء مسیریابی از رجیستری سرویس استفاده می کند که به عنوان یک پایگاه داده با نمونه های سرویس و مکان آنها در نظر گرفته می شود. رجیستری این امکان را فراهم می کند که نمونه های سرویس در هنگام راه اندازی فعال شوند و در هنگام خاموش شدن لغو شوند. علاوه بر این، رجیستری سرویس، یکپارچگی نمونه های سرویس را بررسی می کند تا درخواست های آنها را فعال کند. خدمات خرد کسب و کار می توانند به درخواست هایی که شامل منطق کسب و کار برنامه هستند کمک کنند، در حالی که خدمات داده های جغرافیایی تمام درخواست هایی را که شامل داده های مکانی می شود پوشش می دهد. هر دو سرویس با بسته ذخیره سازی ارتباط برقرار می کنند که شامل سه جزء کلیدی است: پایگاه داده پیکربندی، پایگاه داده جغرافیایی و سیستم فایل.

4. TerraBrasilis: زیرساخت تجزیه و تحلیل داده های مکانی

ما TerraBrasilis را بر اساس مجموعه‌ای از شش سرویس توزیع شده زیر در مجموعه‌ای از ماشین‌ها ساخته‌ایم: (1) نقشه‌برداری وب. (2) فهرست نویسی؛ (3) تجزیه و تحلیل؛ (4) فیلتر کردن؛ (5) نظارت؛ و (6) احراز هویت. آنها از محدودیت های تکنولوژیکی ناشی از SDI های مبتنی بر دامنه خاص جدا شده اند. TerraBrasilis دارای معماری شش ضلعی با آداپتورهایی است که پیچیدگی درونی مدل دامنه خود را از هر سرویس پنهان می کند. این آداپتورها داده های مبادله شده را به اشیاء فراخوانی عمومی تبدیل می کنند تا بتوان آنها را با منطق برنامه وب درک کرد و با استفاده از یک فرمت خروجی خاص به سرویس مربوطه ارسال کرد. این سبک سلسله مراتبی توسعه اجازه می دهد تا خدمات قابل جایگزینی (مثلاً با دستخوش تغییرات در فناوری) و توسعه پذیر (مثلاً،شکل 3 نمایش سطح بالای معماری لایه ای TerraBrasilis را نشان می دهد.

این سرویس ها با استفاده از مجازی سازی سطح سیستم عامل سبک وزن، در بسته های مجازی به نام کانتینر پیچیده می شوند. علاوه بر این، در این روش می توان یک رویکرد نرم افزار به عنوان یک سرویس اتخاذ کرد که از طریق آن می توان خدمات را با وابستگی های آنها کنار هم قرار داد. خدمات را می توان تقریباً به چهار حوزه کلیدی با توجه به قابلیت اطمینان محیط محاسباتی و استقرار آینده در زیرساخت های مختلف فناوری اطلاعات (IT) تقسیم کرد. اول، TerraBrasilis قابلیت همکاری GIS را با رعایت استانداردهای باز شناخته شده بین المللی برای تبادل داده های فضایی، که در یک پایگاه داده شی-رابطه ای ذخیره می شود و به یک پلاگین سرویس فضایی متصل می شود، حفظ می کند (به بخش 4.1 مراجعه کنید.). دوم، TerraBrasilis با مشخصات INDE مطابقت دارد زیرا یک پورتال وب دولتی است که برای انتشار داده های مکانی طراحی شده است (به بخش 4.2 مراجعه کنید ). سوم، طرح‌های گرافیکی ساختاری را با فیلتر کردن سریع مجموعه داده‌های چند بعدی ارسال شده در واسط تحلیلی توسط یک انتقال وضعیت نمایندگی (REST) ارائه می‌کند (به بخش 4.3 مراجعه کنید ). چهارم، ما خدمات مدولار شده و تایید شده دیجیتالی را برای ارائه معیارهای منابع اندازه گیری و در نتیجه ایجاد فرهنگ مبتنی بر داده (به بخش 4.4 مراجعه کنید ) نظارت می کنیم. در نهایت، TerraBrasilis می تواند تجزیه و تحلیل فضایی سنتی را بهبود بخشد زیرا الگوریتم های کارآمد را برای حل مسائل بین رشته ای قادر می سازد (به بخش 4.5 مراجعه کنید ).

4.1. قابلیت همکاری سیستم اطلاعات جغرافیایی

TerraBrasilis حاوی یک سرور نقشه منبع باز ( GeoServer ( https://terrabrasilis.dpi.inpe.br/geoserver/web/ ) برای نمایش داده های فضایی قابل همکاری است. این سرور نقشه برای قابلیت همکاری GIS طراحی شده است. این یک نرم افزار پیاده سازی جاوا و سازگار است . با استانداردهای کنسرسیوم فضایی باز (OGC) مانند سرویس ویژگی های وب (WFS) و سرویس نقشه وب (WMS) با استفاده از این پروتکل ها، کاربران می توانند دستکاری مجموعه داده های برداری و شطرنجی را برای ارائه نقشه های سبک سفارشی تقریباً واقعی و انعطاف پذیر سفارشی کنند. قابلیت های آن شامل مکانیسم های امنیتی در یک محیط تولید قوی و مقیاس پذیر است .امکان کاوش کارآمد در گزینه های پیکربندی (به عنوان مثال، ادغام اتصال پایگاه داده، کاشی کاری سرور حافظه پنهان و یک ظاهر طراحی ویژگی های نقشه در صورت درخواست) از طریق اسکریپت نویسی کم هزینه. در نهایت، پردازش درخواست‌های اضافی را حذف می‌کند و از نیاز به انطباق با طرح‌های پیچیده اجتناب می‌کند.

TerraBrasilis همچنین روش ها و ابزارهای کاربردی نقشه برداری سفارشی شده https://github.com/Terrabrasilis/terrabrasilis-api ( https://github.com/Terrabrasilis/terrabrasilis-util ) را به عنوان وسیله ای ساده برای ایجاد نقشه های تعاملی ادغام می کند. این نقشه‌ها را می‌توان در پلتفرم‌هایی با وضوح صفحه‌های مختلف استفاده کرد و در هنگام راه‌اندازی، پارامترهای پیکربندی به آنها داده می‌شود. سپس آنها در یک پایگاه داده No-SQL به نام MongoDB ذخیره می شوند که توسط یک API کسب و کار پیاده سازی شده در جاوا ارائه شده است. کد منبع آن به خوبی مستند شده است و به سایر کارکنان فنی اجازه می دهد تا افزونه های موجود آن را گسترش دهند. شکل 4 کنترل های نقشه کلی را نشان می دهد که در جاوا اسکریپت پیاده سازی شده اندبرای رسیدگی، تغییر، انتخاب، افزودن و حذف لایه‌های پایه ماهواره‌ای و پوشش‌های جنگل‌زدایی. گزینه‌های نقشه شامل روش‌های کنترل قابل کلیک/کشیدن برای مقابله با سطح بزرگ‌نمایی نقشه، ترسیم چند ضلعی و نشانگر، و تبدیل نام مکان به مختصات فضایی با استفاده از روزنامه‌نگار با فرم کوتاه است. یک منوی ناوبری جانبی شامل یک درخت لایه، با لیستی از موضوعات، که در آن هر لایه حاوی ابزارهای خاصی مانند اطلاعات اولیه در پنجره‌های بازشو، ابرداده، یک نوار لغزنده شفافیت، یک جزء زمان و یک دکمه دانلود است.

با کمک پروتکل های استاندارد، کاربران همچنین می توانند لایه ها را با استفاده از هر پلتفرم GIS (مانند QGIS و ArcGIS ) بازیابی کنند. به عنوان مثال، آنها می توانند یک اتصال WMS برای اضافه کردن یک لایه جدید از سرور نقشه TerraBrasilis در دسکتاپ خود بدون پیکربندی احراز هویت ایجاد کنند، به عنوان مثال، بدون نیاز به ذخیره اعتبار رمزگذاری شده در پایگاه داده GIS. شکل 5 یک اتصال WMS فعلی را نشان می دهد که از QGIS برای بدست آوردن لایه های جنگل زدایی استفاده می کند.

4.2. مطابقت با زیرساخت داده های مکانی ملی برزیل

TerraBrasilis اطلاعات فنی و جزئیات مربوط به هر لایه را از طریق یک برنامه کاتالوگ قوی ارائه می‌کند که به هر کسی که به اینترنت دسترسی دارد، اجازه می‌دهد این داده‌ها هماهنگ و مدیریت شود، حتی اگر فاقد دانش تخصصی باشند. این یک موتور جستجوی متن کامل با نمایشگر نقشه برای لایه‌های ارجاع‌شده مکانی دارد، اگرچه مجموعه‌های داده غیرمکانی را توصیف می‌کند. ویرایشگر ابرداده که به عنوان Geonetwork نیز شناخته می شود ( https://terrabrasilis.dpi.inpe.br/geonetwork/srv/eng/catalog.search#/home)، با مجموعه ای از استانداردهای ISO (به عنوان مثال، 19110/115/119) با دستورالعمل های ابرداده جغرافیایی برای انتشار هر نوع محتوا به صورت آنلاین مطابقت دارد. با این حال، فقط مدیران می‌توانند مجوزهای حساب کاربری و گروه‌بندی را مدیریت کنند، یا برای بهبود کیفیت ابرداده، پیشرفت‌هایی را اضافه، تأیید و پیشنهاد کنند. علاوه بر این، آنها می توانند از داشبورد برای برنامه ریزی برداشت ابرداده استفاده کنند و دسترسی سریع به پیکربندی کاتالوگ داشته باشند. همانطور که در شکل 6 مشاهده می شود ، هر لایه نقشه دارای اطلاعات مربوط به موارد زیر است: فراوانی به روز رسانی، نوع نمایش، مقیاس، سیستم مرجع مختصات، قالب، اصل و نسب، تماس، شناسه و اطلاعات فراداده. این نوع اطلاعات بر اساس اجرای نمایه ابرداده جغرافیایی برزیل (نمایه MGB) درخواست شده توسط INDE است.

INDE دارای پورتال جغرافیایی خود برای تجسم سرورهای فهرست ثبت شده با پایگاه داده و خدمات داده آنها است. همچنین دارای مکانیزم موتور جستجو برای دریافت اطلاعات از چندین موسسه دولتی برزیل مانند IBGE، IBAMA و INPE است. این به این دلیل است که مشخصات INDE مطابق با استانداردهای بین المللی خدمات وب فضایی است. شکل 7 نشان می دهد که چگونه یک بصری ساز INDE که با لایه جنگل زدایی Cerrado یکپارچه شده است را می توان در سرور نقشه که متعلق به TerraBrasilis است ذخیره کرد.

4.3. گرافیک برای تجسم داده های چند بعدی

به عنوان یک ویژگی تکمیلی لایه‌های نقشه، TerraBrasilis داشبوردهایی را ارائه می‌کند که نشان می‌دهد چگونه داده‌های چند بعدی را می‌توان با اتخاذ یک رویکرد فیلترینگ مبتنی بر داده افزایشی تجسم کرد. با پیاده سازی این داشبوردها می توان یک میلیون رکورد را به طور موثر کاوش کرد. آنها حاوی نمودارهای انعطاف پذیر با نماهای هماهنگ و انتقال صاف هستند. علاوه بر این، ویژگی‌های تغییر یافته طراحی گرافیکی ابزاری برای خلاصه کردن رفتارها و انیمیشن‌های پویا است. آنها یک قالب پر جنب و جوش و سبک پسند برای تعاملات سریع ارائه می دهند. کد منبع آنها شامل اجزای قابل استفاده مجدد است و در یک رجیستری نرم افزار باز https://www.npmjs.com/package/terrabrasilis-api قرار دارد.فایل. علاوه بر این، برنامه‌نویسی و اجرای عملکردی آن، هزینه‌های اضافی تغییرات گرافیکی را کاهش می‌دهد.

این پیاده‌سازی، نوعی از گرامر گرافیک [ 51 ] (گرامر لایه‌ای گرافیک [ 52 ]) است که در یک کتابخانه غیر اختصاصی جاوا اسکریپت تعبیه شده است که می‌تواند قابلیت‌های کامل استانداردهای وب را ارائه دهد. هدف اصلی آن ساخت گرافیک در یک ساختار رسمی برای اهداف آماری است. از طریق درک عناصر گرافیکی اولیه (مثلا موقعیت، طول، زاویه، شیب، مساحت، حجم، رنگ و چگالی) و درجه دقت مربوط به آنها، کاربران می توانند اطلاعات کمی را به روشی مختصر تجسم کنند. این نوع تجسم به کسب ادراکات معنی دارتر و عمیق تر از داده های مکانی کمک می کند. نمودارهای زیر این مورد را از طریق تجزیه و تحلیل داده های جنگل زدایی نشان می دهد ( شکل 8 را ببینید).

تجزیه و تحلیل داشبورد برای انتشار جنگل زدایی شامل یک برگه برای هر مکان مورد علاقه، از جمله واحدهای فدراسیون، شهرداری ها، مناطق حفاظت شده و مناطق بومی است. این یک نمودار میله ای عمودی با داده های تجمع زمانی، یک نمودار میله ای افقی با مقادیر مطلق، یک نقشه choropleth با داده های انباشته مکانی، یک مقایسه سری زمانی و یک جدول با مناطق جنگل زدایی در هر سال نشان می دهد https://terrabrasilis.dpi.inpe. br/app/dashboard/forestation/biomes/amazon/incrementsنشان دادن تغییرات سالانه همه نمودارها عکس های فوری از یک بیوم خاص (به عنوان مثال، سرادو یا آمازون) ارائه می دهند. علاوه بر ارائه مناطق و نرخ افزایش جنگل‌زدایی، ابزارهای اضافی نیز برای رفع نیازهای کاربران خاص مانند دانلود داده‌های فیلتر شده متقابل (مثلاً کدام شهرداری‌ها بر اساس ایالت‌ها) وجود دارد.

یک پایگاه داده مدل برای تعمیم و پاسخ به سؤالات نظرسنجی سه پایه بر اساس کلمات سؤالی “چه” (مثلاً کدام کلاس ها )، “کجا” (مثلاً، کدام مکان علایق یا محل ) و “وقتی” (مثلاً کدام دوره ها) ایجاد شد. ) موجود در داشبورد، و این شامل مجموعه داده های مختلف است که فیلترهای اضافی (مثلاً ویژگی های بیش از 6.5 هکتار) و اطلاعات برنامه ها (مثلاً PRODES Cerrado) را ارائه می دهند. از آنجایی که تقاطع تعداد زیادی از چند ضلعی های فضایی با ماهیت پیچیده که در طول زمان و در مکان های مختلف تغییر می کنند زمان بر است، ما یک ویژگی ایجاد کردیم.جدول برای ذخیره خروجی نهایی با کلاس ها ، دوره ها و محلی علایق . شکل 9 این سازمان و اقدامات انجام شده برای انتزاع این مفاهیم و تجمیع عملیات داده های مکانی که اغلب در نقشه های موضوعی مختلف رخ می دهد را نشان می دهد.

4.4. پلتفرم نظارت غیرمتمرکز، مجازی و مجاز

TerraBrasilis شامل مجموعه نظارتی پیشرفته ای از خدمات است که برای مقابله با معیارهای یکپارچه دارایی های فیزیکی در طول زمان بهینه شده است. این پلتفرم استقرار سریع و ایمن خدمات، از جمله تجزیه و تحلیل در دسترس بودن (به عنوان مثال، قابلیت دسترسی)، پاسخگویی (مثلاً تأخیر)، و مصرف (به عنوان مثال، بار پهنای باند) منابع محاسباتی مانند حافظه، CPU، سیستم فایل را خودکار می کند. ، و شبکه بر اساس این اطلاعات، نه تنها می تواند یک نمای کلی از TerraBrasilis را به روشی سالم ارائه دهد، بلکه هشدارهای هشداردهنده سازگار و قابل پیش بینی را قبل از رسیدن کامل به نقطه اشباع خود ارائه می دهد. این اقدامات در یک پایگاه داده سری زمانی به نام InfluxDB متمرکز شده اند. این پایگاه داده اطلاعات مربوط به نظارت بر عملکرد را ذخیره می کند، که به ویژه در محیط هایی با سناریوهای ناپایدار اهمیت دارد. مقاومت ثابت شده آن در برابر حملات بالقوه و سوء استفاده از منابع، به این معنی است که می تواند تغییرات مداوم را به شیوه ای پایدار و مقیاس پذیر ارائه دهد.

کانتینرهای مجازی شده با خدمات (به عنوان مثال، Geoserver ، Geonetwork ، MongoDB ، Redis ، PostgreSQL ) امکان جمع آوری، تجمیع و پردازش استفاده از منابع خود را توسط پلت فرم نظارت در پس زمینه فراهم می کند. یک برنامه Google به نام Cadvisor این نوع وظایف را انجام می دهد و اطلاعات را در InfluxDB ذخیره می کند. Cadvisor همچنین به بازیابی خودکار از خرابی های سرویس کمک می کند. تمام اطلاعات تاریخی با استفاده از یک سرویس انعطاف پذیر به نام Grafana خلاصه شد تا نشان دهد کدام داده با InfluxDB مرتبط است.. امنیت سرویس‌های کانتینر با ارائه رمزگذاری بین طرفینی که از احراز هویت فشرده و مستقل در سمت مشتری استفاده می‌کنند که بر اساس توکن‌های امضا شده است، تضمین شد.

4.5. انجام تجزیه و تحلیل داده های مکانی

یک API برای همراهی با این پارادایم جدید به نام Data Science طراحی شد. این شامل دانشمندان می‌شود که ابتدا داده‌های خام را جمع‌آوری می‌کنند و سپس آن‌ها را تمیز و پیش پردازش می‌کنند تا تجزیه و تحلیل داده‌های اکتشافی را با آمار و نمودارهای اولیه انجام دهند. به دنبال این، مدل‌های آماری با استفاده از الگوریتم‌های یادگیری ماشین طبقه‌بندی و اعتبارسنجی می‌شوند. هدف API تنها تامین لایه تجسم مورد بحث در بالا با داده های چند بعدی نیست، بلکه همچنین توانمندسازی دانشمندانی است که در یک محیط تجزیه و تحلیل اسکریپت ها مانند R کار می کنند.. این API تجزیه و تحلیل داده‌های نگاشت موضوعی موجود را افزایش می‌دهد، که قبلاً فقط در پاسخ به درخواست‌های WMS و WFS HTTP برای کارشناسان GIS ارسال می‌شد. API از یک الگوی طراحی پیروی می کند که در آن یک تفکیک مسئولیت بین جایی که به روز رسانی ها در داده های نگاشت موضوعی خام (آنهایی که در یک پایگاه داده رابطه ای و عادی به نام PostgreSQL ذخیره می شوند ) و داده های خروجی آماده برای نمایش وجود دارد وجود دارد. پرس و جو شد (آنهایی که در یک پایگاه داده درون حافظه و “غیر عادی” به نام Redis ذخیره می شوند). این لایه کش اضافی به ما اجازه می دهد تا عملیات «نوشتن» و «خواندن» را به طور مستقل از هم جدا کنیم. این نمایش بازیابی داده ها را سرعت می بخشد و از تنگناها در زمانی که دسترسی روزانه و فصلی به داده های مسطح به اوج خود می رسد جلوگیری می کند، بنابراین، ما تصمیم گرفتیم داده های نقشه برداری موضوعی را تکرار کنیم.

به‌روزرسانی‌ها در مدل «نوشتن» ناهمزمان و پراکنده هستند و زمانی که تغییری در قوانین دامنه ایجاد می‌شود، در حالی که لایه حافظه پنهان اطلاعات به‌روزرسانی‌شده را همگام‌سازی می‌کند تا بتواند لایه تجسم را در یک فرآیند دوره‌ای و زمان‌بندی شده تغذیه کند، آغاز می‌شود. علاوه بر این، هر زمان که یک برنامه راه اندازی می شود، نیازی به پرس و جو و بازگرداندن همه داده ها نیست. در مقابل، ما فقط می‌توانیم کسری از داده‌ها را برای صرفه‌جویی در زمان گرانبها در لایه تجسم جستجو کنیم. برای مثال، کاربران می‌توانند داده‌های جنگل‌زدایی را از طیف وسیعی از مکان‌های دیدنی و دوره‌هایی که نیازی به بارگیری همه آن‌ها در یک زمان وجود ندارد، بررسی کنند. برنامه کاربردی که وظیفه تغذیه داده ها از PostgreSQL به Redis را بر عهده دارد یک جاوا استبرنامه، در حالی که مسئول پرس و جو داده ها از Redis و تحویل آنها به صورت پویا در لایه تجسم یک برنامه جاوا اسکریپت است.

این API تجزیه و تحلیل جایگزین را می توان برای پاسخ به سؤالات زیر به کار برد: (1) مجموعه داده های نقشه برداری موضوعی ذخیره شده (مثلاً PRODES از Cerrado) چیست؟، (2) کدام مکان ها (به عنوان مثال، واحدهای فدراسیون، شهرداری ها، مناطق حفاظت شده، و بومی) مناطق) و مکان های دیدنی (مثلاً ماتو گروسو، آمازوناس، پارا) شامل چه دوره های زمانی (مثلاً از 1988 تا 2000، از 2010 تا 2012، از 2016 تا 2017) هستند؟ ?، آنها با کدام طبقه ها (مثلاً جنگل زدایی، مرتع، سویا) مرتبط هستند؟، و (4) از کدام فیلترها (مثلاً برای مناطق بالای 6.5 هکتار) برای پردازش استفاده می کنند؟ با این پیشرفت‌های بک‌اند، API تجزیه و تحلیل می‌تواند یک تحویل انعطاف‌پذیر و سریع از مجموعه داده‌های نیمه ساختاریافته، به‌ویژه برای آن‌هایی که تخصص GIS ندارند، ارائه دهد.فهرست 1 ).

فهرست 1: فراخوانی API آنالیتیکس TerraBrasilis.

از آنجایی که محیط های تجزیه و تحلیل به بهبود قابلیت همکاری API تجزیه و تحلیل کمک می کند، ما یک کلاینت R ایجاد کردیم (در اینجا با استفاده از یک نوت بوک Jupyter نشان داده شده است ، که برای کشف قابلیت تکرارپذیری ضروری است. بسته R دستکاری کنترل کننده ها با هدرهای سفارشی شده را به عنوان ورودی برای پیچیدن https:/ خلاصه می کند. /curl.haxx.se/ به منابع نقطه پایانی درخواست می کند. این پاسخ های سرور در قالب JSON هستند و به یک داده نسخه مرتب تبدیل شده اند، یک جدول دارای تمام ویژگی های مورد نیاز است که در آن هر مشاهده نشان دهنده ستونی با نام مناسب است و هر مشاهده نشان دهنده با این اطلاعات می‌توانیم تمام داده‌های نگاشت موضوعی را بررسی کنیم. شکل 10اولین مراحل نصب و بارگذاری بسته terrabrasilisAnalyticsAPI R را نشان می دهد. یک متغیر apiPath مسئول تعریف مسیر API Analytics است. پس از این، امکان فهرست بندی مجموعه داده ها وجود دارد. بر اساس این اطلاعات، کاربران می توانند درخواست های خاصی را به سایر نقاط پایانی API ارسال کنند. این درخواست ها شامل فواصل، مکان ها و کلاس های موجود در مجموعه داده ها است.

شکل 11 نحوه به دست آوردن داده های نهایی را از طریق کسب سایر پارامترها نشان می دهد. پس از به دست آوردن مکان هایی مانند ایالت، شهرداری، منطقه حفاظت شده و مناطق بومی، با توجه به مکان های دیدنی، دانه بندی کمتری را لحاظ کردیم. به دلیل سازگاری آنها با سایر برنامه های محیطی، فیلترهای خاصی برای همه داده ها در دسترس هستند. با در نظر گرفتن این موضوع، کاربران می توانند آن اطلاعات را به عنوان پارامتر در تابع وارد کنند تا بتوانند به اندازه دلخواه داده دریافت کنند.

5. آزمایشات

در این بخش، ما با طراحی تنظیمات آزمایشی شروع می کنیم و نحوه پیکربندی محیط زمان اجرا سرور را در هنگام استقرار میکرو سرویس های TerraBrasilis شرح می دهیم. علاوه بر این، مجموعه داده‌های استفاده از منابع را که از سیستم نظارت کار TerraBrasilis جمع‌آوری شده‌اند، به تصویر می‌کشیم. پس از این، تجزیه و تحلیل یک گزارش تست بار وجود دارد که تاخیر و مقیاس پذیری را با توجه به درخواست های کاربران برای برنامه های کاربردی وب با اهداف مشابه در نظر می گیرد که سپس با عملکرد TerraBrasilis مقایسه می شود. ما همچنین SDI تست عملکرد APIهای خود (کسب و کار، تجزیه و تحلیل و همگام سازی) را در شرایط بار واقعی نشان می دهیم. پس از این، توضیحی در مورد اینکه چگونه پایگاه داده فضایی خود را تنظیم کردیم تا عملیات پیچیده داده مکانی را بدون بارگذاری بیش از حد سرور انجام دهیم، وجود دارد. سرانجام،

این تست ها بر اساس پارامترهای اولیه ای که برای پردازش داده های مکانی سمت سرور تعریف شده بودند، انتخاب شدند. ما می خواستیم عملکرد آنها را با مواردی که برای پردازش داده های مکانی در سمت مشتری استفاده می شود مقایسه کنیم. تست عملکرد به عنوان وسیله ای برای اندازه گیری کیفیت TerraBrasilis عمل می کند زیرا برای ارزیابی نحوه مدیریت منابع طراحی شده است. با توجه به این موضوع، ما API تجزیه و تحلیل خدمات میکرو، پایگاه داده تحلیلی و تغذیه کننده تجزیه و تحلیل را برای نشان دادن مؤلفه تجزیه و تحلیل مرتبط کردیم. API کسب و کار، پایگاه داده کسب و کار، حالت خوشه سرور نقشه و حالت تک سرور نقشه، جزء نقشه برداری وب را تشکیل می دهند. کاتالوگ فراداده نشان دهنده جزء فهرست نویسی است. Home، Core Web Application و Daily Data Sync در تمام مؤلفه‌های micro-service نشان داده شده‌اند.

5.1. راه اندازی آزمایشی

محیط زمان اجرا: TerraBrasilis بر روی یک سرور مجازی با استفاده از Proxmox ( https://www.proxmox.com/en/ ) با دو هسته Xeon (R) CPU E5-2650 v3 2.3GHz و حافظه رم 96 گیگابایتی مستقر شد. سرور شامل دو دیسک با 600 گیگابایت SAS plus و شش دیسک با 1.2 ترابایت SAS 10K است. این نسخه پروکسموکس 5.1 را اجرا می کند.

مجموعه داده: این بر اساس ISO/IEC 9126 است که مجموعه ای از پارامترها را برای استاندارد کردن ارزیابی کیفیت نرم افزار تعریف می کند. اطلاعات دقیق در مورد CPU، حافظه، سیستم فایل و استفاده از شبکه در هر یک از میکرو سرویس‌های کانتینر ما برای اندازه‌گیری کارایی TerraBrasilis جمع‌آوری شد. بازه زمانی مورد تجزیه و تحلیل از 1 ژانویه 2019 به وقت (UTC 00:00:00) تا 22 ژوئیه 2019 به وقت UTC 10:00:00 بود.

5.2. تجزیه و تحلیل عملکرد

هر اندازه گیری شامل یک شرح منبع SDI، شناسه نام میزبان کانتینر مرتبط با آن و یک مجموعه فیلد حاوی مقادیر متوالی با مهرهای زمانی است. مجموعه داده‌هایی که از نظارت زمان واقعی سرویس‌های خرد خاص حاصل می‌شوند از InfluxDB با یک نحو پرس و جو آشنا با استفاده از Grafana گرفته شده‌اند . ریز خدمات اصلی مسئول هسته کاری TerraBrasilis تجزیه و تحلیل شد. اینها شامل موارد زیر است: API تجزیه و تحلیل، پایگاه داده تجزیه و تحلیل ( Redis )، تغذیه کننده تجزیه و تحلیل، API کسب و کار، پایگاه داده کسب و کار ( MongoDB )، مشتری همگام سازی هشدارهای جنگل زدایی که هشدارهای نقشه و داشبورد را ارائه می دهد، هر دو سرور نقشه ( GeoServer) پیکربندی هایی که در آنها اولین در حالت خوشه ای بود در حالی که دومی در حالت تک نمونه بود، کاتالوگ ابرداده ( Geonetwork )، هسته برنامه وب و وب سایت خانگی.

شکل 12 نشان می دهد که چگونه سرور نقشه ( GeoServer) از CPU و منابع حافظه بیشتر از سایر سرویس های میکرو استفاده می کند. پیکربندی‌های سرور نقشه (حالت‌های خوشه‌ای و تکی) اوج‌های بسیار بالایی دارند، زیرا قابلیت همکاری نقشه‌ها نیاز به دسترسی به داده‌های آنها هر زمان که کاربر وارد می‌شود، بخشی از درخواست‌های تأیید معمول TerraBrasilis است. هم CPU و هم حافظه تمایز واضحی بین تماس‌های اپیزودیک و دوره‌ای ایجاد می‌کنند، اولی مربوط به API تجاری است در حالی که دومی در مورد API تحلیلی است. دومی هر 5 دقیقه از برنامه تغذیه کننده خود ورودی های متناوب را دریافت می کند. ما فقط داده‌های ژانویه 2019 را تجزیه و تحلیل کردیم، اگرچه انتشار آلفا TerraBrasilis در اکتبر 2018 رخ داد. انتشار بتا در مارس 2019 با وصله‌های جدید بعدی رخ داد. این شامل، به عنوان مثال، سرور نقشه کاهش، از حالت خوشه ای به حالت تک نمونه ای به دلیل پیچیدگی زیاد آن در حالت اول. منابع سیستم فایل با حدود 70 گیگابایت در حال استفاده ثابت ماند. سرور نقشه حالت خوشه ای، با این حال، مقادیر بالایی را عمدتاً با توجه به شبکه به دست آورد، اگرچه داده های نویز نظارت شده رد شدند. به عنوان مثال، ما شش مقدار بیش از حد گرم شده و یک مقدار گرم نشده استفاده از CPU را پیدا کردیم. ما همچنین هرگونه اقداماتی را که در دسترس نبود، مانند مواردی که در زمان ناپایدار بودن عملیات TerraBrasilis به دست آمده بود، حذف کردیم.

جدول 1 خلاصه ای از نحوه استفاده از این منابع خدمات خرد را ارائه می دهد. CPU در هسته برنامه وب کمتر استفاده می شود، در حالی که حالت تک نمونه سرور نقشه بالاترین نرخ ها را با بالاترین میانگین و انحراف استاندارد دارد. علاوه بر این، یک بار در روز باید کارایی سرویس مسئول (1) همگام سازی داده های هشدار از راه دور و (2) ترکیب آن در سیستم ذخیره سازی داده های فضایی TerraBrasilis ( PostgreSQL ) را تخمین می زدیم.) و سرور نقشه. استفاده از منابع حافظه نیز رفتار مشابهی دارد. علاوه بر برنامه وب، پایگاه داده کسب و کار و پایگاه داده تحلیلی کارآمدترین هستند زیرا تقریباً 0 مگابایت استفاده دارند. در حالی که سیستم فایل مقادیر یکنواختی را برای همه سرویس‌های خرد تحلیل‌شده نمایش می‌دهد، آنها مقادیر شبکه جایگزین مشابهی دارند. به دلیل تعداد زیاد ارقام مانتیس، حداقل مقادیر را در شبکه و سیستم فایل به 0 تقریب زدیم.

5.3. تست بارگذاری برنامه وب

شرایط ناپایدار مانند مواردی که توسط آزمایش بار برای شناسایی و تعمیر هر ویژگی که عملکرد زمان اجرا TerraBrasilis را مختل می‌کرد، معرفی شد. این استراتژی به ما کمک کرد تا مشخص کنیم که آیا مخاطبان ما آن را رضایت بخش تر از سایر برنامه های کاربردی وب مشابه می دانند یا خیر. ما عملکرد زمان متوسط را برای واکشی همه فایل‌های استاتیک (مانند CSS ، جاوا اسکریپت ) تخمین زدیم.، تصاویر) تا کاربران بتوانند یک تجربه تعاملی روان داشته باشند. این معیارها 100 درخواست نمونه را نشان می‌دهند که به طور مکرر توسط 10 کاربر با دوره افزایش 10 ثانیه برای اجرای یک حلقه 10 بار شبیه‌سازی می‌شوند. این رفتار یک مرورگر وب را شبیه سازی می کند. TerraBrasilis در مقایسه با زیرساخت داده‌ای که تعداد مشابهی از بایت‌های دریافتی در ثانیه را دریافت می‌کند، به سرعت بارگذاری می‌شود ( شکل 13 را ببینید ). این فهرست شامل برنامه های نقشه برداری وب مانند برنامه های ارائه شده توسط: IBGE ( https://bdiaweb.ibge.gov.br/#/consulta/vegetacao )، INPE ( https://terrabrasilis.dpi.inpe.br )، Terraclass ( https://www.terraclass.gov.br/webgis/ )، INDE ( https://visualizador.inde.gov.br/ )، LAPIG (https://maps.lapig.iesa.ufg.br/lapig.html )، MapBiomas ( https://mapbiomas.org/map )، CAR ( https://www.car.gov.br/publico/imoveis/ فهرست ، نقشه خیابان باز (OSM) LUC ( https://osmlanduse.org/#8/8.18828/49.16024/0/ )، اینکرا ( https://acervofundiario.incra.gov.br/i3geo/interface/openlayers. htm ) و Amazonia Protege ( https://www.amazoniaprotege.mpf.mp.br/ ).

MapBiomas یک پروژه مشترک است که از یک گروه بین رشته ای بر اساس موتور Google Earth ( https://earthengine.google.com/ ) تشکیل شده است.) سکو. هدف اصلی آن ارائه قابلیت‌های طبقه‌بندی خودکار برای انجام نقشه‌برداری موضوعی از بیوم‌های برزیل در سراسر سری سالانه LUC است. Amazonia Protege پروژه ای با هدف مبارزه با جنگل زدایی غیرقانونی در جنگل های بارانی آمازون برزیل با استفاده از تصاویر ماهواره ای و اعتبارسنجی متقابل بر اساس داده های عمومی است. برخلاف Amazonia Protege، CAR روشی را برای فیلتر کردن داده های مکانی از سیستم ملی ثبت محیط زیست روستایی (SICAR) ارائه می دهد. علاوه بر این، Incra دارای یک پورتال وب برای نمایش پایگاه داده سرزمین برزیل و خدمات یکپارچه است تا بتوان به داده های جغرافیایی و آماری دسترسی داشت.

از دیدگاه دانشگاهی تر، OSM LUC می تواند به عنوان ابزاری با داده های ارائه شده توسط داوطلبان عمل کند. IBGE همچنین دارای یک پورتال داده تعاملی LUC است. ویژگی متمایز آن این است که می تواند اجازه دهد تا تحلیلی بر اساس شبکه های فضایی انجام شود. همچنین می‌تواند با سایر پایگاه‌های آماری ادغام شود و هدف اصلی آن ارزیابی فعالیت‌های اقتصادی است که می‌توان با منابع طبیعی برزیل انجام داد. با توجه به رابط کاربری، پورتال سازمانی geo-forestry منبع خوبی از ایده ها بود، اگرچه آزمایش GIS وب آن ممکن نبود زیرا یک ابزار تحلیلی به اندازه کافی پیچیده برای داده های بزرگ نیست.

جدول 2به نرم افزار استماع ایجاد شده برای ارائه نکات قابل اجرا در مورد پیاده سازی های جلویی ما اشاره دارد. Incra Map از آنجایی که در هنگام راه‌اندازی هیچ لایه بارگیری ندارد، به حداقل مقادیر دست یافت، در حالی که OSM LULC بدترین نتایج را به دلیل فاصله آن از سرور و مقدار داده OSM برای بارگیری به دست آورد. به دلیل استفاده از قابلیت شبکه، تمام توان عملیاتی بسیار مشابه است. Embrapa TerraClass و INDE Visualizador به ترتیب در 2 و 1 درخواست پاسخ ندادند، که ممکن است نشان دهنده این باشد که آنها به نقطه اشباع خود رسیده اند. ما مبنای آزمایش را در 25 جولای در ساعت 19:00 قرار دادیم. UTC 3. ما قصد نداشتیم یک تست استرس اجرا کنیم، اگرچه برخی از برنامه های وب به نقطه اشباع خود رسیده اند. در نهایت، برنامه های کاربردی تحت وب در طول آزمایش ها فعال شدند،

آزمایش بارگذاری برنامه وب که در اینجا به عنوان یک آزمایش جلویی در نظر گرفته می‌شود، با آزمایش پیاده‌سازی پشتیبان تکمیل شد که شامل سه API (API کسب‌وکار، API تجزیه و تحلیل، و هماهنگ‌سازی هشدارهای جنگل‌زدایی با مشتری) بود. همچنین برای حفظ پاسخگویی موثر خود بدون توجه به اینکه منابع ما چقدر گسترده بودند، نظارت بر عملکرد شبکه را به خوبی انجام داد. شکل 14 تفاوت در عملکرد به دست آمده توسط این سه ریز سرویس را نشان می دهد.

به طور خلاصه، مانند آزمایش قبلی، 100 درخواست را با شبیه سازی 10 کاربر به طور همزمان با 10 ثانیه افزایش در تعداد حلقه 10 بار انجام دادیم ( جدول 3 را ببینید ). همه آنها با درجه مناسبی از در دسترس بودن پاسخ دادند (# خطا 0٪ برابر با 0.00). از آنجایی که API کسب و کار اطلاعاتی را در مورد لایه‌هایی که در داخل نقشه بارگذاری می‌شوند ارائه می‌کند، ما فکر کردیم که این نوع آزمایش می‌تواند مستقیماً مکمل آزمایش قبلی برای یافتن عملکرد TerraBrasilis از طریق اجرای یک پشته کامل باشد. از آنجایی که ما هیچ اطلاعاتی در مورد پیشرفت‌های بک‌اند سایر برنامه‌های کاربردی وب نداشتیم، آزمایش APIهای بک‌اند آن‌ها را در نظر نگرفتیم.

5.4. تقسیم بندی داده های خام برای سرعت بخشیدن به عملیات داده های مکانی

هنگام مدیریت داده‌های افزایشی برداری با ویژگی‌های بزرگ تولید شده توسط PRODES، ایجاد نمایه‌های فضایی از قبل بسیار مهم بود، زیرا پایگاه‌های داده سریع‌تر از هر فرمت ویژگی دیگری در مقایسه با جعبه مرزی عمل می‌کنند. بیشتر از این، جعبه‌های محدودکننده کوچک به جای بزرگ، زمان پردازش بهتری را فراهم می‌کنند. با توجه به این موضوع، ما هر ویژگی PRODES را به صورت بازگشتی کوچک کرده‌ایم تا زمانی که (حداکثر) 256 رأس ( https://postgis.net/docs/ST_Subdivide.html ) داشته باشند تا عملیات تقاطع خود را بهینه کنند. شکل 15 مقایسه ای بین داده های PRODES خام و تقسیم شده انجام می دهد.

5.5. از مبانی تا تجزیه و تحلیل پیشرفته با استفاده از TerraBrasilis Analytics API

پس از تعریف مسیر برای TerraBrasilis Analytics API و به دست آوردن تمام مجموعه داده ها، متغیرهای مورد نیاز برای جمع آوری داده های مربوط به دوره ها، مکان ها، مکان های مورد علاقه، کلاس ها و فیلترها را از PRODES Cerrado تعریف کردیم. با در نظر گرفتن این موضوع، ما یک داده مرتب برای ورودی درخواست ایجاد کردیم و داده های جنگل زدایی را از همه مکان های مورد علاقه (Tocantins، Minas Gerais، سائوپائولو، Piauí، Paraná، Rondonia، Maranhão، Mato Grosso، Pará، Bahia، Goiás، Mato) به دست آوردیم. Grosso do Sul) یا از یک مکان خاص (ایالت). شکل 16 یک حلقه به روز رسانی از نمودارها را نشان می دهد ( https://github.com/Terrabrasilis/terrabrasilisAnalyticsAPI/blob/master/demo/linear-regression.R) برای جمع‌آوری داده‌های API تحلیلی از تمام ایالات بیوم سرادو، به جز ناحیه فدرال، و یک رگرسیون خطی ساده در آن.

شکل 17 نیز روندی را نشان می دهد که از تجزیه و تحلیل ناپارامتری هر سال PRODES در شهرداری های سرادو پدید آمده است. از الگوی توزیع موجود در همه مناطق جنگل زدایی، مانند پراکندگی، چولگی در داده ها و نقاط پرت پیروی می کند. دومی دیدگاه گرافیک را برون یابی می کند. کد آزمایشی در بسته R موجود است ( https://github.com/Terrabrasilis/terrabrasilisAnalyticsAPI/blob/master/demo/boxplot.R ). ما از طرح رنگی گرادیان آبی برای تمایز بین هر سال استفاده کردیم.

6. بحث و گفتگو

6.1. استفاده از محاسبات توزیع شده برای استفاده از زیرساخت داده های مکانی

استفاده از میکرو سرویس ها منجر به توسعه یک برنامه کاربردی وب توزیع شده شده است [ 53 ]. این ترکیب سرویس میکرو مجموعه ای از معماری های نرم افزاری جدید مبتنی بر وب را به SDI ها ارائه می دهد. بر خلاف انواع سنتی، که به دلیل سیستم مدیریت و مدیریت داده متمرکز [ 18 ]، پیاده سازی مجدد و استقرار مجدد خدمات دشوار بود ، ما به عملیات تعمیر و نگهداری بهتری دست یافته ایم. ارتباط بین میکرو سرویس‌ها به معماری REST متکی است زیرا وسیله‌ای ساده برای غلبه بر مشکل رابط‌های ناسازگار است. ما این خدمات خرد را با اتخاذ یک رویکرد مجازی برای ارائه دسترسی بیشتر در یک محیط پهنای باند شبکه ناپایدار تکمیل کرده ایم.

با توجه به ویژگی‌های بدون حالت سرویس‌های میکرو، امکان نصب حجمی از برنامه‌های کاربردی وب و دست نخورده نگه داشتن آن‌ها حتی در مواقعی که نیاز به به روز رسانی و اختلال در وضعیت قدیمی آن وجود دارد، بدون نیاز به اطلاع هیچ کاربری امکان‌پذیر شده است. علاوه بر این، SDI های سنتی [ 13 ، 14 ، 15] اجازه می دهد تا کد منبع دوباره با سادگی بیشتری استفاده شود، که در مواقعی که به روز رسانی نیاز به سرعت بخشیدن دارد، اهمیت بسیار زیادی دارد. برای دستیابی به این نوع مبادله و بهره گیری از معماری میکرو سرویس ها، یک شبکه ایمن و همگن با تاخیر و انعطاف پذیری مناسب در برابر تعداد زیادی از تغییرات توپولوژی مورد نیاز است. خدمات خرد در این مطالعه چیز جدیدی نیستند، اما آنها سؤالاتی را در مورد ماهیت ترکیب آنها، نحوه اجرای آنها در SDI و نقش کلیدی آنها مطرح می کنند.

6.2. ارائه روش های پیشرفته برای مدیریت داده های نقشه برداری موضوعی به دانشمندان داده

TerraBrasilis کشف، ادغام و انتشار روابط غیر اختصاصی، مهر زمانی و توپولوژیکی را در داده های مکانی کاهش می دهد. این شامل استانداردهای خدمات وب قابل تعامل [ 16 ، 17 ] و قابلیت های جدید برای برخورد با محیط های تحلیلی کمتر پیچیده و قابل تکرار [ 19 ] است. اگرچه پیچیدگی پویایی جنگل‌زدایی کنترل و مدیریت آن را دشوار می‌کند، یک SDI مبتنی بر الگوریتم استفاده از الگوریتم‌های پیچیده با داده‌های تاریخی و تقریباً زمان واقعی را آسان‌تر می‌کند که می‌تواند منجر به اکتشافات مفید بیشتر شود. این امر مستلزم توسعه‌های پشتیبان مرتبط با توسعه‌های ذخیره‌سازی مجموعه‌های داده نیمه‌ساختار نشده است [ 20 ]]، و توانایی سفارشی کردن استفاده از آنها در یک محیط آماری منعطف و مدولار.

از آنجایی که TerraBrasilis هزینه‌های پیاده‌سازی پایینی دارد و پتانسیل اجرای پروژه‌های نظارت محیطی دیگر را دارد، APIهای TerraBrasilis می‌توانند داده‌های محیطی را با استفاده از قابلیت همکاری SDI مدیریت کنند. به طور خلاصه، TerraBrasilis از فناوری‌های نوظهور استفاده می‌کند و با آسان‌تر کردن پردازش داده‌های محیطی باز تولید شده توسط وضوح‌های فضایی مختلف و ارائه تصاویر ماهواره‌ای به طور منظم روزانه، از فناوری‌های نوظهور استفاده می‌کند. در مقایسه با سایر برنامه های کاربردی وب، TerraBrasilis مجموعه کامل تری از آمار را ارائه می دهد که فقط به مجموعه ثابتی از مکان ها و طبقات مورد علاقه محدود نمی شود.

6.3. کسب دانش از تجربه انتشار داده های جنگل زدایی

این مطالعه مشاهداتی از پویایی جنگل زدایی در چهار بیوم برزیلی را نشان می دهد. هدف از این کار کمک به کاربرانی است که به نرخ و افزایش سالانه جنگل زدایی ( PRODES ) و هشدارهای اولیه جنگل زدایی ( DETER ) در یک وب GIS با دقت طراحی شده دسترسی دارند. برنامه های PRODES و DETER برای هدایت برنامه ریزی استراتژیک زیست محیطی با ارائه یک نمای کلی باز و به روز برای هر شهروند علاقه مند ضروری هستند. بدون مدیریت مناسب پارامترهای تاریخی، پیگیری مسیر این داده‌های برداری در حال تکامل در بلندمدت دشوار خواهد بود.

در دسترس بودن بالای پلتفرم به مستندسازی کلاس‌های مختلف LUC کمک می‌کند تا بتوان داده‌های مکانی را با استفاده از حاشیه‌نویسی فراداده به درستی تفسیر کرد. این به طور معنایی کلاس های LUC، اطلاعات منشأ، استفاده مورد نظر، محدودیت های استفاده و سایر عوامل را توصیف می کند. هم داده ها و هم فراداده ها با استفاده از استانداردهای باز که توسط جامعه ژئو انفورماتیک پذیرفته شده و توسط INDE ارائه شده است، ارائه می شود، ابتکاری که هدف آن فهرست بندی داده های مکانی فعلی است که در بخش های مختلف دولت برزیل تولید می شود.

7. نتیجه گیری

توسعه TerraBrasilis شامل ارزیابی الزامات عملکردی و غیرعملکردی برای نرخ‌ها و افزایش‌های قطعی جنگل‌زدایی تاریخی و هشدارهای هشدار اولیه در زمان تقریباً واقعی بود. این به ویژه در مورد سرکوب بالقوه خطرناک جنگل ها صدق می کند. این کار ترکیبی از استفاده از دستگاه‌های فن‌آوری در سطح معماری برای نشان دادن پویایی پروژه‌های نقشه‌برداری و بررسی ویژگی‌های اضافی ذاتی در سیستم‌های مرتبط با حوزه است.

بر اساس ویژگی‌های ذکر شده در اینجا، ما یک SDI منبع باز را در مجموعه‌ای از کانتینرهای مجازی‌سازی شده با استفاده از معماری میکرو سرویس‌ها پیاده‌سازی و ارزیابی کردیم. نتایج نشان داد که TerraBrasilis سریع و سبک وزن است. علاوه بر این، API هایی را ارائه می دهد که با GIS و محیط های تحلیلی تعامل دارند. در نتیجه، ما توانستیم با بهینه سازی یک شاخص فضایی برای عملکرد بارگذاری سریع برنامه وب، در دسترس بودن برنامه وب DETER و PRODES را افزایش دهیم. در نهایت، لازم به ذکر است که TerraBrasilis برای بهبود تحمل خطا در سناریوهای شبکه های کامپیوتری ناپایدار و ساده تر کردن افزایش قابلیت های جدید طراحی شده است.

8. بیانیه دسترسی به داده ها

تمام داده‌های ایجاد شده در طول این تحقیق از آرشیو داده‌های مؤسسه ملی تحقیقات فضایی در https://terrabrasilis.dpi.inpe.br/papers/ijgeo/2019/datasets.zip به صورت آشکار در دسترس است.

منابع

ویلر، دی. هامر، دی. کرافت، آر. Steele، A. شناسایی پاکسازی جنگل مبتنی بر ماهواره در آمازون برزیل: FORMA، DETER، و PRODES . موسسه منابع جهانی: واشنگتن، دی سی، ایالات متحده آمریکا، 2014. [ Google Scholar ]
Almeida، CAD؛ کوتینیو، AC; Esquerdo، JCDM; آدمی، م. ونتوریری، آ. دینیز، سی جی; دسی، ن. دوریو، ال. Gomes، AR با وضوح فضایی بالا استفاده از زمین و نقشه پوشش زمین آمازون قانونی برزیل در سال 2008 با استفاده از داده های Landsat-5/TM و MODIS. اکتا آماز. 2016 ، 46 ، 291-302. [ Google Scholar ] [ CrossRef ]
کامارا، جی. Aguiar، APD; اسکادا، MI; آمارال، س. کارنیرو، تی. مونتیرو، AMV؛ آراجو، آر. ویرا، آی. بکر، بی. مدل های جنگل زدایی آمازون. Science 2005 ، 307 ، 1043-1044. [ Google Scholar ] [ CrossRef ] [ PubMed ]
Assis، LFFD; EA Horita، F.; پی دی فریتاس، ای. اویاما، جی. de Albuquerque, JP یک میان‌افزار سرویس‌گرا برای مدیریت یکپارچه جریان‌های داده‌های جمع‌سپاری و حسگر در مدیریت بلایا. Sensors 2018 , 18 , 1689. [ Google Scholar ] [ CrossRef ] [ PubMed ]
Namikawa، LM; Körting، TS; کاستژون، EF استخراج آب بدن از تصاویر Rapideye: یک روش خودکار مبتنی بر مولفه رنگ تبدیل رنگ از مدل RGB به HSV. Revista Brasileira de Cartografia 2016 , 68 . [ Google Scholar ]
پیکولی، MCA؛ کامارا، جی. سانچس، آی. Simões، R.; کاروالیو، آ. ماسیل، ا. کوتینیو، آ. اسکوردو، جی. آنتونز، جی. Begotti، RA; و همکاران تجزیه و تحلیل سری زمانی رصد زمین بزرگ برای نظارت بر کشاورزی برزیل ISPRS J. Photogramm. Remote Sens. 2018 , 145 , 328–339. [ Google Scholar ] [ CrossRef ]
Maciel، AM; کامارا، جی. وینهاس، ال. پیکولی، MCA؛ Begotti، RA; Assis، LFFGD یک حساب مکانی-زمانی برای استدلال در مورد مسیرهای کاربری زمین. بین المللی جی. جئوگر. Inf. علمی 2018 ، 33 ، 176-192. [ Google Scholar ] [ CrossRef ]
والریانو، دی.م. Mello, EM; موریرا، جی سی. شیمابوکورو، YE; دوارته، وی. باربوسا، CC نظارت بر جنگل های استوایی از فضا: پروژه دیجیتال PRODES. بین المللی قوس. فتوگرام حسگر از راه دور اسپات. Inf. علمی 2004 ، 35 ، 272-274. [ Google Scholar ]
Prodes, P. Monitoramento da floresta Amazônica Brasileira por satélite. Inst. Nac. دی پسکی. اسپک. پروژه تولید می کند. 2013 ، 25 ، 2013. [ Google Scholar ]
اسکادا، MIS؛ ماورانو، LE; رنو، سی دی; آمارال، س. Valeriano، DDM Avaliação de dados dos Sistemas de Alerta da Amazônia: DETER e SAD. سوتین Simpósio. De Sensoriamento Remoto 2011 ، 15 ، 2934-2943. [ Google Scholar ]
دینیز، سی جی; د آلمیدا سوزا، AA; سانتوس، دی سی؛ دیاس، ام سی; دا لوز، NC; de Moraes، DRV; مایا، جی اس. گومز، AR؛ دا سیلوا نارواس، آی. والریانو، دی.م. و همکاران DETER-B: آمازون جدید سیستم تشخیص جنگل زدایی در زمان واقعی. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2015 , 8 , 3619–3628. [ Google Scholar ] [ CrossRef ]
هانسن، ام سی; شیمابوکورو، YE; پوتاپوف، پ. پیتمن، ک. مقایسه سالانه داده‌های تغییر پوشش جنگلی MODIS و PRODES برای نظارت پیشرفته بر پوشش جنگلی برزیل. سنسور از راه دور محیط. 2008 ، 112 ، 3784-3793. [ Google Scholar ] [ CrossRef ]
فیلیپس، ای. ویلیامسون، آی. Ezigbalike، C. مفاهیم زیرساخت داده های فضایی. اوست Surv. 1999 ، 44 ، 20-28. [ Google Scholar ] [ CrossRef ]
برنارد، ال. Craglia، M. SDI-از زیرساخت داده های مکانی تا زیرساخت مبتنی بر خدمات. در مجموعه مقالات کارگاه پژوهشی در مورد یادگیری متقابل بین زیرساخت‌های داده‌های مکانی و زیرساخت‌های اطلاعاتی، Enschede، هلند، 31 مارس تا 1 آوریل 2005. [ Google Scholar ]
برنارد، ال. کانلوپولوس، آی. آنونی، ا. اسمیتز، پی. ژئوپورتال اروپایی – یک گام به سوی ایجاد زیرساخت داده های مکانی اروپایی. محاسبه کنید. محیط زیست سیستم شهری 2005 ، 29 ، 15-31. [ Google Scholar ] [ CrossRef ]
ژاکوبی، اس. اسمیت، جی. تینگ، ال. ویلیامسون، I. توسعه یک زیرساخت داده مکانی مشترک بین ایالت و دولت محلی – مطالعه موردی استرالیا. بین المللی جی. جئوگر. Inf. علمی 2002 ، 16 ، 305-322. [ Google Scholar ] [ CrossRef ]
مگوایر، دی جی; Longley, PA ظهور ژئوپورتال ها و نقش آنها در زیرساخت های داده های مکانی. محاسبه کنید. محیط زیست سیستم شهری 2005 ، 29 ، 3-14. [ Google Scholar ] [ CrossRef ]
Masser, I. GIS Worlds: Creating Spatial Data Infrastructures ; ESRI Press: Redlands, CA, USA, 2005; جلد 338. [ Google Scholar ]
سینارکی، سی. Shade, S. Big Data – یک تغییر گام برای SDI؟ بین المللی J. 2016 ، 11 ، 9-19. [ Google Scholar ]
یو، پی. ژانگ، سی. ژانگ، ام. ژای، ایکس. Jiang, L. یک رویکرد SDI برای تجزیه و تحلیل داده های بزرگ: موردی در مورد تشخیص رویداد وب حسگر و گردش کار geoprocessing. IEEE J. Sel. بالا. Appl. زمین Obs. Remote Sens. 2015 , 8 , 4720–4728. [ Google Scholar ] [ CrossRef ]
کامارا، جی. Assis، LF; ریبیرو، جی. فریرا، KR; لاپا، ای. Vinhas، L. تجزیه و تحلیل داده های مشاهده زمین بزرگ: تطبیق الزامات با معماری سیستم. در مجموعه مقالات پنجمین کارگاه بین المللی ACM SIGSPATIAL در تجزیه و تحلیل برای داده های بزرگ جغرافیایی، برلینگیم، کالیفرنیا، ایالات متحده، 31 اکتبر 2016؛ صص 1-6. [ Google Scholar ]
کامارا، جی. ریبیرو، جی. وینهاس، ال. فریرا، KR; کارتاکسو، آر. Simões، R.; لاپا، ای. Assis، LF; سانچز، A. معماری سنجش الکترونیکی برای تجزیه و تحلیل داده های رصد زمین بزرگ. در مجموعه مقالات کنفرانس 2017 درباره داده های بزرگ از فضا (BiDS’17)، تولوز، فرانسه، 28 تا 30 نوامبر 2017؛ صص 1-4. [ Google Scholar ] [ CrossRef ]
بوردوگنا، جی. کلیمنت، تی. فریجریو، ال. بریویو، پی. کرما، ا. استروپیانا، دی. بوشتی، ام. Sterlacchini، S. زیرساخت داده‌های مکانی که داده‌های جغرافیایی ناهمگن چندمنبعی و سری‌های زمانی را ادغام می‌کند: یک مورد مطالعه در کشاورزی. ISPRS Int. J. Geo-Inf. 2016 ، 5 ، 73. [ Google Scholar ] [ CrossRef ]
Wagemann، J.; کلمنتز، او. مارکو فیگوئرا، آر. روسی، AP; Mantovani, S. خدمات وب جغرافیایی راه های جدیدی را برای دسترسی بر اساس درخواست و پردازش داده های زمین بزرگ بر اساس سرور هموار می کند. بین المللی جی دیجیت. زمین 2018 ، 11 ، 7-25. [ Google Scholar ] [ CrossRef ]
بوداتوکی، NR; بروس، بی. Nedovic-Budic، Z. مفهوم سازی مجدد نقش کاربر زیرساخت داده های مکانی. ژئوژورنال 2008 ، 72 ، 149-160. [ Google Scholar ] [ CrossRef ]
اسمیت، کامپیوتر; فریس کریستنسن، الف. کشف منبع در زیرساخت داده های فضایی اروپا. IEEE Trans. دانستن مهندسی داده 2006 ، 19 ، 85-95. [ Google Scholar ] [ CrossRef ]
چان، TO; ویلیامسون، I. مدیریت زیرساخت داده های مکانی: درس هایی از توسعه GIS شرکتی. در مجموعه مقالات بیست و هفتمین کنفرانس سالانه AURISA 99، کوه های آبی، استرالیا، 22 تا 26 نوامبر 1999. [ Google Scholar ]
Assis، LFFG; فریرا، KR; وینهاس، ال. ماورانو، ال. آلمیدا، کالیفرنیا؛ ناسیمنتو، جی آر. کاروالیو، AFA; کامارگو، سی. Maciel، AM TerraBrasilis: زیرساخت داده های فضایی برای انتشار داده های جنگل زدایی از برزیل. در مجموعه مقالات نوزدهمین سمپوزیوم برزیلی سنجش از دور، سانتوس، برزیل، 14 تا 17 آوریل 2019. [ Google Scholar ]
زیرساخت ها، DSD کتاب آشپزی SDI. GSDI/Nebert 2004. در دسترس آنلاین: https://gsdiassociation.org/images/publications/cookbooks/SDI_Cookbook_GSDI_2004_ver2.pdf (در 1 نوامبر 2019 قابل دسترسی است).
وینهاس، ال. د کی‌روش، GR; فریرا، KR; کامارا، جی. خدمات وب برای داده های رصد زمین بزرگ. Revista Brasileira de Cartografia 2016 , 69 . [ Google Scholar ]
گولیک، ن. هنچر، م. دیکسون، ام. ایلیوشچنکو، اس. تاو، دی. Moore, R. Google Earth Engine: تجزیه و تحلیل جغرافیایی در مقیاس سیاره ای برای همه. سنسور از راه دور محیط. 2017 ، 202 ، 18-27. [ Google Scholar ] [ CrossRef ]
آجی، ع. وانگ، اف. وو، اچ. لی، آر. لیو، کیو. ژانگ، ایکس. Saltz, J. Hadoop gis: یک سیستم ذخیره‌سازی داده‌های فضایی با کارایی بالا بر روی نقشه کاهش. Proc. VLDB Enddow. 2013 ، 6 ، 1009-1020. [ Google Scholar ] [ CrossRef ]
نیشیمورا، اس. داس، اس. آگراوال، دی. El Abbadi, A. MD-HBase: طراحی و اجرای زیرساخت داده الاستیک برای خدمات مکان یابی در مقیاس ابر. توزیع کنید. پایگاه های داده موازی 2013 ، 31 ، 289-319. [ Google Scholar ] [ CrossRef ]
الدوی، ا. Mokbel، MF Spatialhadoop: یک چارچوب کاهش نقشه برای داده های مکانی. در مجموعه مقالات سی و یکمین کنفرانس بین المللی مهندسی داده IEEE 2015 (ICDE)، سئول، کره، 13 تا 17 آوریل 2015؛ IEEE: Piscataway, NJ, USA, 2015; صص 1352–1363. [ Google Scholar ]
سوینی، سی. لیو، ال. آریتا، اس. Lawrence, J. HIPI: یک رابط پردازش تصویر Hadoop برای وظایف MapReduce مبتنی بر تصویر . گزارش فنی؛ دانشگاه ویرجینیا: شارلوتزویل، ویرجینیا، ایالات متحده آمریکا، 2011. [ Google Scholar ]
آسیس، ال. کی روش، جی. فریرا، ک. وینهاس، ال. لاپا، ای. سانچز، آ. ماوس، وی. Camara، G. جریان داده های بزرگ برای تجزیه و تحلیل سری های زمانی سنجش از راه دور با استفاده از MapReduce. در مجموعه مقالات هفدهم سمپوزیوم برزیل در زمینه ژئوانفورماتیک ; مجله نقشه برداری برزیل: Campos do Jordão، برزیل، 2016. [ Google Scholar ]
هوانگ، Q. یانگ، سی. نبرت، دی. لیو، ک. Wu, H. محاسبات ابری برای علوم زمین: استقرار اتاق تسویه GEOSS در EC2 آمازون. در مجموعه مقالات کارگاه بین المللی ACM SIGSPATIAL در مورد عملکرد بالا و سیستم های اطلاعات جغرافیایی توزیع شده، سن خوزه، کالیفرنیا، ایالات متحده آمریکا، 2 نوامبر 2010. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2010; صص 35-38. [ Google Scholar ]
یانگ، سی. یو، م. هو، اف. جیانگ، ی. Li, Y. استفاده از محاسبات ابری برای رسیدگی به چالش‌های بزرگ داده‌های مکانی. محاسبه کنید. محیط زیست سیستم شهری 2017 ، 61 ، 120-128. [ Google Scholar ] [ CrossRef ]
یانگ، سی. خو، ی. Nebert, D. تعریف مجدد امکان زمین دیجیتال و علوم زمین با محاسبات ابری فضایی. بین المللی جی دیجیت. زمین 2013 ، 6 ، 297-312. [ Google Scholar ] [ CrossRef ]
استون بریکر، م. براون، پ. ژانگ، دی. Becla, J. SciDB: یک سیستم مدیریت پایگاه داده برای برنامه های کاربردی با تجزیه و تحلیل پیچیده. محاسبه کنید. علمی مهندس 2013 ، 15 ، 54-62. [ Google Scholar ] [ CrossRef ]
براون، PG مروری بر SciDB: ذخیره سازی آرایه در مقیاس بزرگ، پردازش و تجزیه و تحلیل. در مجموعه مقالات کنفرانس بین المللی ACM SIGMOD 2010 در مدیریت داده ها، ایندیاناپولیس، IN، ایالات متحده، 6 تا 10 ژوئن 2010. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2010; ص 963-968. [ Google Scholar ]
باومن، پی. دهمل، ع. فورتادو، پ. ریچ، آر. Widmann, N. سیستم پایگاه داده چند بعدی RasDaMan. ACM SIGMOD Rec. 1998 ، 27 ، 575-577. [ Google Scholar ] [ CrossRef ]
پلنتابر، جی. استون بریکر، م. Frew, J. EarthDB: تجزیه و تحلیل مقیاس پذیر داده های MODIS با استفاده از SciDB. در مجموعه مقالات اولین کارگاه بین المللی ACM SIGSPATIAL در مورد تجزیه و تحلیل برای داده های مکانی بزرگ، ردوندو بیچ، کالیفرنیا، ایالات متحده آمریکا، 6 نوامبر 2012. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2012; صص 11-19. [ Google Scholar ]
کرکال، ال. Ho, S. چارچوبی مبتنی بر SciDB برای ذخیره‌سازی و پرس و جوی کارآمد داده‌های ماهواره‌ای بر اساس مسیر رویداد اتمسفری پویا. در مجموعه مقالات چهارمین کارگاه بین المللی ACM SIGSPATIAL در مورد تجزیه و تحلیل برای داده های بزرگ جغرافیایی، Bellevue، WA، ایالات متحده، 3-6 نوامبر 2015. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2015; صص 7-14. [ Google Scholar ]
باومن، پی. میسف، دی. مرتیکاریو، وی. Huu، BP; Bell, B. Datacubes: A Technology Survey. در مجموعه مقالات IGARSS 2018-2018 IEEE بین المللی زمین شناسی و سمپوزیوم سنجش از دور، والنسیا، اسپانیا، 22 تا 27 ژوئیه 2018؛ IEEE: Piscataway، نیوجرسی، ایالات متحده آمریکا، 2018؛ صص 430-433. [ Google Scholar ]
جولیانی، جی. شاتنو، بی. دی بونو، آ. رودیلا، دی. ریچارد، جی پی. آلنباخ، ک. دائو، اچ. پدوزی، P. ساختن مکعب داده مشاهدات زمین: درس های آموخته شده از مکعب داده سوئیس (SDC) در تولید داده های آماده تجزیه و تحلیل (ARD). داده های بزرگ زمین 2017 ، 1 ، 100-117. [ Google Scholar ] [ CrossRef ]
Killough، B. مروری بر ابتکار مکعب داده باز. در مجموعه مقالات IGARSS 2018-2018 IEEE بین المللی زمین شناسی و سمپوزیوم سنجش از دور، والنسیا، اسپانیا، 22 تا 27 ژوئیه 2018؛ IEEE: Piscataway، نیوجرسی، ایالات متحده آمریکا، 2018؛ صص 8629–8632. [ Google Scholar ]
لهتو، ال. کاهکنن، جی. اوکسانن، جی. Sarjakoski، T. GeoCubes فنلاند-رویکردی یکپارچه برای مدیریت ژئوداده شطرنجی با وضوح چندگانه در یک زیرساخت ملی تحقیقات جغرافیایی. در مجموعه مقالات کنفرانس بین المللی سیستم های اطلاعات جغرافیایی پیشرفته، برنامه ها و خدمات، رم، ایتالیا، 25-29 مارس 2018؛ IARIA: Wilmington، DE، USA، 2018. [ Google Scholar ]
یانگ، سی. یو، م. لی، ی. هو، اف. جیانگ، ی. لیو، کیو. شا، د. خو، ام. Gu, J. تجزیه و تحلیل داده های زمین بزرگ: یک نظرسنجی. داده های بزرگ زمین 2019 ، 3 ، 83-107. [ Google Scholar ] [ CrossRef ]
پرسمن، مهندسی نرم افزار RS : رویکرد یک پزشک ؛ Palgrave Macmillan: لندن، انگلستان، 2005. [ Google Scholar ]
Wilkinson, L. گرامر گرافیک. در کتابچه راهنمای آمار محاسباتی ; Springer: New York, NY, USA, 2012; صص 375-414. [ Google Scholar ]
ویکهام، اچ. دستور زبان لایه ای گرافیک. جی. کامپیوتر. نمودار. آمار 2010 ، 19 ، 3-28. [ Google Scholar ] [ CrossRef ]
Tanenbaum، AS; ون استین، ام. سیستم های توزیع شده: اصول و پارادایم ها . Prentice-Hall: Upper Saddle River، نیوجرسی، ایالات متحده آمریکا، 2007. [ Google Scholar ]