خلاصه

به عنوان یک نوع هنری شناخته شده، گرافیتی یک دارایی فرهنگی و یک جنبه مهم از زیبایی شناسی یک شهر است. به این ترتیب، گرافیتی با شور و نشاط اجتماعی و تجاری همراه است و برای جذب گردشگران شناخته شده است. با این حال، عدم قطعیت موقعیت و ناقص بودن مسائل فعلی مجموعه داده های جغرافیایی باز حاوی داده های گرافیتی است. در این مقاله، ما رویکردی را برای تشخیص نماهای ساختمان با آثار هنری گرافیتی بر اساس تفسیر خودکار تصاویر از نمای خیابان گوگل (GSV) ارائه می‌کنیم. این کار با شناسایی عکس‌های برچسب‌گذاری‌شده جغرافیایی آثار هنری گرافیتی که در رسانه اشتراک‌گذاری عکس فلیکر ارسال شده است، شروع می‌شود. سپس تصاویر GSV از محیط اطراف این عکس‌ها استخراج می‌شوند و توسط یک شبکه عصبی کانولوشنال سفارشی، یعنی انتقال آموخته شده، تفسیر می‌شوند. عنوان قطب نمای تصاویر GSV طبقه بندی شده به عنوان حاوی آثار هنری گرافیتی و موقعیت های احتمالی بدست آوردن آنها برای امتیازدهی نماهای ساختمان با توجه به پتانسیل آنها در گنجاندن آثار هنری قابل مشاهده در تصاویر GSV در نظر گرفته می شود. بیش از 36000 تصویر GSV و 5000 نما از ساختمان های ارائه شده در OpenStreetMap پردازش و ارزیابی شدند. دقت و نرخ‌های فراخوان برای آستانه‌های مختلف نما محاسبه شد. خطاهای مثبت کاذب بیشتر به دلیل تبلیغات و خط نویسی روی نمای ساختمان و همچنین اشیاء متحرک حاوی آثار هنری گرافیتی و مسدود کردن نماها ایجاد می شود. با این حال، در نظر گرفتن نمرات بالاتر به عنوان آستانه برای تشخیص نماهای حاوی گرافیتی منجر به دقت کامل می شود. رویکرد ما می‌تواند برای شناسایی آثار هنری گرافیتی که قبلاً نقشه‌برداری نشده‌اند و برای کمک به مشارکت‌کنندگان نقشه علاقه‌مند به موضوع استفاده شود. علاوه بر این، محققان علاقه مند به همبستگی های فضایی بین آثار هنری گرافیتی و عوامل اجتماعی-اقتصادی می توانند از کد و نتایج دسترسی آزاد ما سود ببرند.

کلید واژه ها:

گرافیتی ; هنر خیابانی ؛ رسانه های اجتماعی ؛ نمای خیابان ؛ شبکه های عصبی

1. معرفی

به عنوان یک دسته از هنرهای خیابانی، گرافیتی از دیوارها، سقف ها و سنگفرش های شهر به عنوان بوم نقاشی خود استفاده می کند. زندگی و رنگ را به شهر می بخشد و در عین حال سؤالات و اعتراض ها را برمی انگیزد. گرافیتی که در گتوها منزوی شده بود و در گذشته به عنوان اثر خرابکاران دیده می شد، اکنون جایگاه هنر اصیل را دارد و بنابراین به عنوان بیانی مرتبط از خلاقیت، تنوع و آزادی شناخته می شود [ 1 ، 2 ]. به همین دلیل، آثار هنری گرافیتی از نظر فضایی با شور و نشاط تجاری و اجتماعی همبستگی دارند و با گردشگری شهری و پویایی احیا مرتبط هستند [ 3 ، 4 ، 5 ، 6]. با وجود انبوه وبلاگ‌ها، وب‌سایت‌ها و کتاب‌هایی که به نمایش و بحث درباره هنرمندان و آثار هنری گرافیتی اختصاص داده شده‌اند، علاقه‌مندان به گرافیتی و برنامه‌ریزان شهری اغلب فاقد منبع قابل اعتمادی از داده‌ها در مورد مکان دقیق آثار گرافیتی در یک شهر هستند. گرافیتی به ندرت توسط مقامات شهرداری نقشه برداری می شود و پلتفرم ها و برنامه های تجاری تلفن هوشمند تجاری مانند StreetArtMap، Positive Propaganda، Geo Street Art و Street Art City به طور کلی دسترسی (حداقل بدون هزینه) به داده های ارجاع داده شده جغرافیایی خود را فراهم نمی کنند. از سوی دیگر، پلت فرم اطلاعات جغرافیایی داوطلبانه OpenStreetMap (OSM) [ 7 ]، دسترسی آزاد به داده‌های ارجاع‌شده جغرافیایی در هنر خیابانی را فراهم می‌کند. با این حال، OSM هنوز تا حد زیادی در مورد آثار هنری گرافیتی ناقص است. وب سایت OSM Wiki [ 8] به مشارکت‌کنندگان توصیه می‌کند که گرافیتی را به‌عنوان «گردشگری=اثر هنری» و «artwork_type=streetart» یا «artwork_type=street_art» یا «artwork_type=Mural» یا «artwork_type=stencil» یا «artwork_type=گرافیتی» برچسب‌گذاری کنند. همانطور که در جدول 1 نشان داده شده است ، یک پرس و جو در Tag Info [ 9 ] تنها تعداد کمی از این برچسب ها را برای کل جهان و همچنین برای منطقه لندن بزرگ، یکی از مناطق شهری که به دلیل انبوه آثار هنری خیابانی و هنرهای خیابانی شناخته شده است، نشان داد. گردشگری مرتبط [ 4]. از طریق یک بازرسی دقیق دستی، متوجه شدیم که مشارکت‌کنندگان OSM اغلب ویژگی‌های هنر خیابانی و گرافیتی در لندن را به عنوان «نام=هنر خیابان» برچسب‌گذاری می‌کنند، اما درخواستی با این برچسب‌ها تنها ۷۴ ویژگی را نشان می‌دهد. یکی دیگر از مسائل مربوط به داده های آثار هنری گرافیتی در OSM این است که معمولاً به صورت گره، یعنی به عنوان نقاطی در فضا نمایش داده می شوند، بنابراین فقط مکان تقریبی اثر هنری را نشان می دهند. نمونه هایی از شکل 1 را ببینید. اگرچه این مشکل برای اکثر اهداف استفاده از نقشه نیست، اما کاربردهایی مانند ایجاد مسیرهای پیاده‌روی هنر خیابانی و تجزیه و تحلیل ارتباط بین نقاشی‌های گرافیتی و ویژگی‌های ساختمان (به عنوان مثال، کاربری، هندسه، دید) نیازمند دانستن اینکه آثار هنری گرافیتی در کدام نماهای خاص نقاشی شده‌اند.
اگرچه هنرمندان گرافیتی معمولاً به دنبال شهرت نیستند، اما می‌خواهند آثارشان مورد قدردانی قرار گیرد و با بازدیدکنندگان و جامعه محلی ارتباط برقرار شود [ 6 ]. دیدن و در دسترس‌تر کردن آثار هنری گرافیتی با نقشه‌برداری از آنها، ما را به این هدف نزدیک‌تر می‌کند و در نتیجه پویایی حس‌سازی این نوع هنر را تقویت می‌کند. علاوه بر این، این به افزایش ارزش های جغرافیایی و اقتصادی گرافیتی کمک می کند. در این کار، ما یک گردش کار برای مکان یابی نمای ساختمان با آثار هنری گرافیتی پیشنهاد می کنیم. این کار با شناسایی مکان تقریبی آثار هنری گرافیتی بر اساس عکس‌های دارای برچسب جغرافیایی از سرویس میزبانی تصویر و رسانه‌های اجتماعی فلیکر شروع می‌شود. در ادامه، بر اساس نمای خیابان گوگل [ 10] تصاویر، تفسیر خودکار تصویر، و داده‌های خیابان و ساختمان OSM، نمای ساختمان در اطراف مکان‌های تقریبی گرافیتی بررسی می‌شوند که آیا آنها دارای هنر گرافیتی هستند یا نه.
ساختار باقیمانده این مقاله به شرح زیر است. در بخش 2 ، به طور خلاصه کارهای مرتبط را در مورد پردازش تصاویر نمای خیابان برای توصیف فضاهای شهری مرور می کنیم. بخش 3 به تفصیل مراحل روش شناختی انجام شده در این کار را شرح می دهد. بخش 4 آزمایش انجام شده برای آزمایش رویکرد ما را شرح می دهد. در بخش 5 نتایج به دست آمده را ارائه و مورد بحث قرار می دهیم. یک بحث و دیدگاه نهایی در بخش 6 ارائه شده است .

2. کارهای مرتبط

در این بخش، مروری کوتاه بر آثاری ارائه می‌شود که از کاربردهای مختلف شهری از طریق پردازش تصاویر نمای خیابان استفاده می‌کنند. به عنوان اولین و شناخته شده ترین منبع این نوع داده ها، تصاویر Google Street View (GSV) در اکثر این آثار استفاده شده است. دلیل اصلی این امر ممکن است این باشد که تصاویر GSV برای بسیاری از شهرهای جهان در دسترس هستند و تا مقدار مشخصی می‌توانند بدون هزینه از طریق Street View Static API [ 11 ] به دست آیند.
به عنوان یک جنبه مهم از دلپذیری بصری و آسایش آب و هوایی مناظر شهری، سرسبزی سطح خیابان اغلب کانون تحلیل این مطالعات است. در یکی از اولین تلاش ها در این راستا، لی و همکاران. [ 12 ] یک شاخص نمای سبز اصلاح شده را پیشنهاد کرد که بر اساس مناطق سبز استخراج شده از GSV از طریق عملیات ساده پردازش تصویر مبتنی بر قوانین و پیکسل محاسبه می شود. آنها پیشنهاد می کنند که اندازه گیری های عینی فضای سبز سطح خیابان را می توان از این طریق به دست آورد. به طور مشابه، سیفرلینگ و همکاران. [ 13 ] تکنیک‌های تقسیم‌بندی و طبقه‌بندی تصویر را بر روی تصاویر GSV برای تعیین کمیت پوشش تاج درخت در سطح خیابان اعمال کرد. نه همیشه اگرچه فضای سبز در سطح خیابان به طور خودکار تجزیه و تحلیل می شود. برلند و همکاران [ 14] آزمایشی را انجام داد که در آن تحلیلگران انسانی تصاویر GSV را به صورت بصری تفسیر کردند و تعداد، گونه ها و قطر درختان خیابان را در ارتفاع سینه تخمین زدند. نتایج آنها نشان می دهد که چنین نظرسنجی مجازی ممکن است برای به دست آوردن کارآمد و به روز رسانی مجموعه داده های درخت شهری انجام شود. علاوه بر GSV، Tencent [ 15 ] همچنین منبع مهمی از تصاویر نمای خیابان برای تجزیه و تحلیل فضای سبز شهری است. ژانگ و دونگ [ 16 ] از تصاویر نمای خیابان از Tencent و ابزار شبکه عصبی SegNet [ 17 ] برای تعیین کمیت سرسبزی قابل مشاهده در خیابان محله های مسکونی استفاده کردند. آنها مشاهده کردند که سبزی قابل مشاهده در خیابان یکی از متغیرهایی است که به طور قابل توجهی با قیمت مسکن همبستگی دارد. تانگ و لانگ [ 18] همچنین از تصاویر نمای خیابان SegNet و Tencent برای اندازه گیری کیفیت بصری خیابان ها بر اساس ویژگی های مورفولوژیکی فضای سبز، باز بودن و محصور بودن استفاده کرد. آنها در مورد اینکه چگونه این ویژگی ها با فعالیت های خیابانی و با درک شهروندان از خوشایند محیطی و اجتماعی ارتباط دارد بحث می کنند.
از تصاویر نمای خیابان نیز برای توصیف پارامترهای سایبان شهری استفاده شده است. ضریب نمای آسمان یک متریک بیانی است که برای توصیف مورفولوژی دره های شهری استفاده می شود و می تواند به طور موثر با تصاویر نمای خیابان تخمین زده شود. چنگ و همکاران [ 19 ] تصاویر نمای خیابان Tencent را با زوایای مربوط به میدان بینایی انسان به دست آورد. سپس روش‌های استاندارد پردازش تصویر را برای استخراج ویژگی‌های آسمان و سبز اعمال کردند. شاخص‌های فضای باز و نمای سبز که آنها پیشنهاد می‌کنند، با هدف تسهیل ارزیابی درک بصری انسان از مناظر شهری است. میدل و همکاران [ 20] 90 تصویر از GSV را به نماهای نیمکره تبدیل کرد و از آنها برای محاسبه ضریب نمای آسمان تقریباً 16 میلیون مکان GSV استفاده کرد. رویکرد آنها بر تقسیم بندی آسمان باینری/غیر آسمان تصاویر نیمکره تکیه دارد. تخمین‌های فاکتور نمای آسمان آنها با آنهایی که بر اساس نتایج تولید شده توسط Middel و همکاران ایجاد شده بود، مقایسه شد. [ 21 ]، که در کار او 90 تصویر GSV با استفاده از یک چارچوب یادگیری عمیق به شش طبقه از جمله آسمان، درختان و ساختمان ها تقسیم شدند. زنگ و همکاران [ 22 ] رویکردی را ارائه کرد که در پایتون با کتابخانه OpenCV برای تخمین ضریب نمای آسمان مقادیر زیادی از تصاویر نمای خیابان Baidu توسعه یافت.
برای تحلیل آسایش حرارتی عابران پیاده، می توان فضای سبز خیابان و فاکتور نمای آسمان را با هم در نظر گرفت. لی و همکاران [ 23 ] اثر سایه‌اندازی درختان خیابان را با کم کردن تخمین‌های ضریب نمای آسمان محاسبه‌شده از تصاویر پانورامای GSV و از مدل ارتفاع ساختمان تخمین زد. ریچاردز و همکاران [ 24 ] نسبت پوشش تاج درختان خیابان ها را بر اساس تصاویر نیمکره ای GSV و تکنیک های طبقه بندی تصویر کمی تعیین کرد. با این داده ها، آنها نسبت تابش خورشیدی سالانه ای را که سایبان درختان مسدود می کند، تخمین زدند. گونگ و همکاران [ 25] با شناسایی این ویژگی‌ها در تصاویر GSV طبقه‌بندی‌شده با الگوریتم یادگیری عمیق، رویکردی را برای محاسبه عوامل نمای آسمان، درخت و ساختمان دره‌های شهری پیشنهاد کرد. آنها برآوردهای خود را با عکس های نیمکره از بررسی های میدانی تأیید کردند و توافق بسیار بالایی از برآوردها را گزارش کردند.
تحقیقات دیگر بر روی موضوعات اجتماعی بیشتر بر اساس داده های تصویر نمای خیابان متمرکز شده اند. یین و همکاران با هدف مشارکت در تحقیق در مورد یافتن الگوهای پیاده روی در یک شهر. [ 26 ] تلاش کرد تا داده های شمارش عابران پیاده را از تصاویر GSV با استفاده از الگوریتم تشخیص ویژگی ACF استخراج کند [ 27 ]. کانگ و همکاران [ 28 ] چارچوبی برای طبقه‌بندی عملکرد ردپای ساختمان‌های فردی با طبقه‌بندی تصاویر GSV از نماها و همچنین تصاویر سنجش از دور پشت بام‌ها با استفاده از یک مدل شبکه عصبی کانولوشنال پیشنهاد کرد. آنها همچنین مجموعه داده بزرگی از تصاویر نمای خیابان از نماهای هشت نوع ساختمان را ارائه می دهند که می تواند برای آموزش مدل های دیگر استفاده شود.
این آثار نشان می‌دهند که تصاویر نمای خیابان یک نوع داده مرتبط برای تخمین پارامترهایی هستند که نقش مهمی در شرایط محیطی خیابان و درک ساکنان و عابران پیاده دارند. به این ترتیب، آنها می توانند به طور موثر به برنامه ریزی و سیاست گذاری شهری کمک کنند. با این حال، تصاویر نمای خیابان به ندرت در مطالعات مربوط به زیبایی شناسی خیابان ها استفاده شده است [ 18 ، 29 ، 30 ]. در این کار ما گامی در این راستا برداشته ایم و پتانسیل این نوع داده ها را برای پشتیبانی از نقشه برداری آثار هنری گرافیتی در یک شهر نشان می دهیم. بخش بعدی روش هایی را که برای این هدف به کار بردیم توضیح می دهد.

3. روش ها

روش بکار رفته در این کار از سه بخش اصلی تشکیل شده است، یعنی (1) یافتن مکان تقریبی آثار هنری گرافیتی، (2) استخراج و تفسیر تصاویر GSV از محیط اطراف این مکان‌های تقریبی، و (3) تشخیص نماهای ساختمان. در تصاویر GSV که حاوی آثار هنری گرافیتی تفسیر شده است.

3.1. یافتن مکان های تقریبی آثار هنری گرافیتی

این مرحله منجر به کاهش قابل توجه منطقه ای می شود که آثار هنری گرافیتی در آن جستجو می شود. پردازش تمام تصاویر GSV از کل شهر بسیار وقت گیر و محاسباتی است. مکان تقریبی آثار هنری گرافیتی بر اساس عکس‌های دارای برچسب جغرافیایی از فلیکر، یک میزبان عکس و اشتراک‌گذاری رسانه‌های اجتماعی، استخراج شد. به طور خاص، ابتدا نحوه برچسب‌گذاری معنایی کاربران فلیکر بر عکس‌های گرافیتی را تحلیل کردیم و سپس از این سونومی برای اندازه‌گیری ارتباط عکس‌های فلیکر با برچسب جغرافیایی با موضوع «گرافیتی» استفاده کردیم. در دو بخش بعدی نحوه انجام این دو مرحله را ارائه می دهیم.

3.1.1. ثبت آثار هنری فولکسونومی گرافیتی در فلیکر

یک مرحله مهم از روش شناسی ما، شناسایی عکس های فلیکر دارای برچسب جغرافیایی از محتوای گرافیتی است. ما چنین عکس‌هایی را بر اساس فولکسونومی، یعنی برچسب‌گذاری جمعی، گرافیتی در فلیکر شناسایی کردیم. برای ثبت این فولکسونومی، عکس هایی از گروه های نماینده فلیکر مرتبط با موضوع گرافیتی و هنر خیابانی نمونه برداری شد. تقریباً 301000 عکس به طور تصادفی از گروه های ارائه شده در جدول 2 نمونه برداری شد . عکس های نمونه در مجموع شامل حدود 3.2 میلیون برچسب تعریف شده توسط کاربر است. گروه های جدول 2به دلیل تعداد زیاد اعضا و عکس های ارسال شده و همچنین به دلیل ارتباط زیاد با موضوعات گرافیتی و هنر خیابانی انتخاب شدند. پس از رتبه‌بندی به ترتیب نزولی حدود 109000 برچسب مختلف تعریف‌شده توسط کاربر از این عکس‌های نمونه‌برداری شده، برچسب‌های مربوط به مکان (مانند «لندن»، «گرافیتی فرانسه» و غیره) را که در 200 موقعیت اول فرکانس ظاهر می‌شوند، به‌صورت دستی حذف کردیم. رتبه همچنین تمامی تگ هایی که کمتر از سه یا بیشتر از بیست کاراکتر دارند به طور خودکار از کل رتبه بندی حذف شدند. شکل 2توزیع 100 تگ متداول از عکس های نمونه را نشان می دهد. مشاهده می شود که در یک رتبه بندی تقریباً 109000 ورودی، پنج نفر اول به طور قابل توجهی فراوانی بیشتری نسبت به موارد پایین تر در رتبه دارند. جای تعجب نیست که این تگ‌های متداول عبارتند از ‘streetart’، ‘گرافیتی’، ‘art’، ‘street’ و ‘urban’. همچنین مشاهده کردیم که تگ های زیر رتبه 100 در رتبه بندی دارای درصد فراوانی بسیار پایینی در فولکسونومی هستند. این با توزیع فرکانس تجمعی صد تگ متداول که در شکل 2 نیز ارائه شده است نشان داده شده است. مشاهده می شود که صد تگ متداول حدود 45٪ از تمام برچسب های تعریف شده توسط کاربر از عکس های نمونه را پوشش می دهد و پنج تگ اول حدود 20٪ از تمام تگ های عکس را پوشش می دهد.

3.1.2. اندازه گیری ارتباط عکس های فلیکر دارای برچسب جغرافیایی با آثار هنری گرافیتی

بعد از گرفتن عکس‌های گرافیتی از فلیکر، مرحله بعدی تعیین کمیت مربوط به گرافیتی عکس‌های فلیکر با برچسب جغرافیایی بود، یعنی صرف نظر از اینکه در یک گروه فلیکر هستند یا نه. ما این ارتباط را بر اساس معیار زیر تخمین زدیم:

rمن=∑تی=1nfrتی،

جایی که rمننشان دهنده ارتباط عکس i دارای برچسب جغرافیایی با گرافیتی است، t نشان دهنده هر یک از n برچسب عکس i است، و frتینشان دهنده تعداد کل این تگ در عکس های نمونه است. شکل 3توزیع فراوانی تجمعی مربوط به گرافیتی تمام 191234 عکس فلیکر با برچسب جغرافیایی از منطقه لندن بزرگ را نشان می دهد. می توان مشاهده کرد که حدود 90 درصد از این عکس ها ارتباط نسبی کمی با گرافیتی دارند. همچنین، عملکرد نزدیک به یک خط افقی بالای علامت 95٪ نشان می دهد که تعداد نسبتاً کم عکس ها ارتباط بسیار بالایی با گرافیتی دارند. ما مشاهده کردیم که تمام 100 عکس با بالاترین ارتباط اندازه‌گیری شده، بدون شک از محتوای گرافیتی هستند. ما همچنین مشاهده کردیم که 37 درصد از عکس‌های برچسب‌گذاری‌شده جغرافیایی از سایت آزمایشی مرتبط با گرافیتی بالاتر از صدک 90 (n = 8538) در هیچ گروه فلیکر نیستند. 63 درصد باقیمانده عکس‌های دارای برچسب جغرافیایی در 6920 گروه مختلف قرار دارند (بسیاری از عکس‌ها در چند گروه هستند). ما متوجه شدیم که 10 درصد از این گروه‌ها نه مربوط به هنر خیابانی هستند و نه به گرافیتی. این به ما امکان می‌دهد فرض کنیم که درصد عکس‌های دارای برچسب جغرافیایی بالاتر از صدک ۹۰ مرتبط با گرافیتی و عدم تعلق به هیچ گروه گرافیتی یا هنر خیابانی احتمالاً به طور قابل‌توجهی بالاتر از ۳۷ درصد باشد. اگر جستجوی خود را به عکس‌های دارای برچسب جغرافیایی ارسال شده در گروه‌های مرتبط با گرافیتی محدود می‌کردیم، تعداد قابل توجهی از عکس‌های برچسب‌گذاری شده جغرافیایی را که به احتمال زیاد محتوای آثار هنری گرافیتی هستند را از دست می‌دادیم.

3.2. استخراج تصاویر GSV از نمای ساختمان های مربوطه

پس از شناسایی عکس‌های فلیکر دارای برچسب جغرافیایی با ارتباط زیاد با گرافیتی، ما بر روی شناسایی نمای ساختمان‌هایی که آثار هنری گرافیتی روی آن نقاشی شده‌اند، تمرکز کردیم. این یک کار پیش پا افتاده نیست زیرا عکس های دارای برچسب جغرافیایی از فلیکر میانگین خطای موقعیتی 58.5 متر دارند [ 31 ]]. بنابراین، در تئوری، هر نما در شعاع تقریبی 60 متر در اطراف مختصات عکس‌ها ممکن است حاوی آثار هنری تصویر شده روی عکس باشد (با فرض اینکه پاک نشده باشد). بنابراین، یک جعبه مرزی از اضلاع مساوی 120 متری بر روی موقعیت هر عکس فلیکر دارای برچسب جغرافیایی با ارتباط زیاد با گرافیتی متمرکز شد. در ادامه، تمام مکان‌های دریافت تصویر GSV در داخل جعبه مرزی استخراج شدند. اینها نقاط گسسته ای در فضا هستند که دوربین روی خودروی GSV از همه جهات عکس می گیرد. برای هر نقطه اکتساب تصویر GSV، دوازده تصویر با عناوین قطب نما ( h ) از 0 جمع آوری شد.∘به 330 ∘، بدین ترتیب

ساعت∈[0∘،30∘،60∘،…،300∘،330∘].
میدان دید هر تصویر به‌عنوان مقدار پیش‌فرض آن، یعنی 90 حفظ می‌شد ∘. GSV API به تعریف این سه پارامتر، یعنی مختصات جغرافیایی، عنوان قطب نما و میدان دید تصویر برای ارائه تصاویر به کاربر نیاز دارد [ 10 ]. با استفاده از یک شبکه عصبی مصنوعی (به بخش 3.3 مراجعه کنید )، همه n∗12تصاویر از داخل یک جعبه مرزی به‌عنوان حاوی آثار هنری گرافیتی هستند یا نه، که در آن n نشان‌دهنده مقدار مکان‌های جمع‌آوری تصویر GSV در داخل جعبه مرزی است. اگر طبق مفسر شبکه عصبی، احتمال تصویر GSV از جعبه مرزی b ، مکان l و عنوان h بالاتر یا برابر با 0.99 باشد، این سه پارامتر در پایگاه داده ما ذخیره می شوند. توجه داشته باشید که یک نقطه GSV ممکن است چندین تصویر حاوی گرافیتی از عناوین مختلف قطب نما داشته باشد.

3.3. تفسیر تصاویر GSV

در این کار، هدف ما شناسایی نماهای ساختمان حاوی آثار هنری گرافیتی بر اساس تفسیر یادگیری ماشینی تصاویر GSV بود. برای آن، همانطور که گفته شد، یک شبکه عصبی مصنوعی آموزش، آزمایش و اعمال شد. از آنجایی که پیاده سازی و آموزش چنین شبکه ای از ابتدا بسیار زمان بر بود، ما به یک راه حل یادگیری انتقال متوسل شدیم و بر اساس یک مدل موجود و از پیش آموزش دیده، یعنی شبکه عصبی کانولوشنال VGG16 (CNN) که توسط سیمونیان توسعه یافته است، استفاده کردیم. و زیسرمن [ 32 ]. CNN ها دسته ای از شبکه های عصبی عمیق هستند که با موفقیت برای تفسیر تصویر رسانه های اجتماعی [ 33 ، 34 ، 35 ] و همچنین در بینایی کامپیوتر [ 36 ، 37 ] به کار گرفته شده اند.] و کاربردهای سنجش از دور [ 38 ، 39 ]. شبکه VGG16 بر اساس ImageNet، مجموعه داده تصویری متشکل از بیش از 14 میلیون تصویر از حدود 1000 کلاس آموزش و آزمایش شد [ 40 ]]. از آنجایی که آثار هنری گرافیتی یکی از این کلاس‌ها نیستند، و برای اینکه مدل را برای مشکل تفسیر تصویر خاص خود قابل استفاده کنیم، فقط بلوک‌های کانولوشن شبکه VGG16 را نمونه‌سازی کردیم. این مدل کوتاه شده را می توان به عنوان یک استخراج کننده ویژگی در نظر گرفت که تصاویر GSV به آن وارد شده است. در مرحله بعد، ما یک شبکه عصبی سفارشی ایجاد کردیم که بر اساس ویژگی های استخراج شده در آخرین لایه ادغام مدل کوتاه شده VGG16 آموزش دیده بود. ویژگی های خروجی در این لایه با فرمت 7 × 7 × 512 به شکل 25088 × 1 مسطح شد. بخش سفارشی CNN از سه لایه کاملاً متصل تشکیل شده است، که در هر لایه، به عنوان یک اقدام توصیه شده برای جلوگیری از برازش بیش از حد [ 41 ]، یک حذف با p = 0.5 اعمال شد.
سپس CNN کامل برای 100 دوره روی 260 تصویر در هر کلاس با استفاده از 8 نمونه در هر دسته آموزش داده شد. شکل 4 چهار نمونه از هر یک از دو کلاس در نظر گرفته شده را نشان می دهد، یعنی “گرافیتی” و “نه گرافیتی”. تصاویر نمونه GSV همگی از منطقه لندن بزرگ (بریتانیا)، منطقه مطالعه این کار، جمع‌آوری شدند. نمونه‌های کلاس «نه گرافیتی» شامل نماهایی به‌طور تصادفی انتخاب شده‌اند که حاوی گرافیتی نیستند و همچنین تصاویر GSV از نماها که به طور بالقوه می‌توانند باعث طبقه‌بندی‌های اشتباه مثبت کاذب، مانند علائم تبلیغاتی و «خط‌نویسی» شوند. باینری متقاطع آنتروپی به عنوان تابع ضرر استفاده شد که با الگوریتم AdaGrad [ 42 ] با نرخ یادگیری 0.001 بهینه شد. جدول 3ساختار کامل مدل تفسیر تصویر را نشان می دهد و جدول 4 ماتریس سردرگمی به دست آمده در هنگام آزمایش مدل را با 50 نمونه از هر کلاس نشان می دهد. مشاهده می شود که دقت کلی 93 درصد و شاخص کاپا [ 43 ] 0.86 به دست آمد. با هدف فعال کردن تکرارپذیری نتایج ما و همچنین کاربرد مدل در مطالعات و تحلیل‌های دیگر، CNN کامل ما به صورت آنلاین در https://github.com/le0x99/SA_classifier در دسترس است.

3.4. تشخیص نماهای ساختمان حاوی آثار هنری گرافیتی

پس از استخراج مکان اکتساب و عنوان قطب نما از تمام تصاویر GSV که، طبق CNN ارائه شده در بالا، حاوی آثار هنری گرافیتی هستند، گام بعدی رویکرد ما شناسایی نمای ساختمان واقعی بود که این آثار هنری گرافیتی در آن نقاشی شده اند. در این بخش، استراتژی اعمال شده برای این هدف را ارائه می کنیم.
به دلیل عدم قطعیت موقعیت مکان‌های دریافت تصویر GSV، یک شعاع 5 متری در اطراف هر یک از مکان‌ها تنظیم شد که در آن حداقل یکی از دوازده تصویر آن، که در عناوین مختلف قطب‌نما (یعنی h در معادله ( 2 )) به دست آمده است، گرافیتی است. آثار هنری توسط مدل CNN شناسایی شد. در ادامه، تمام بخش‌های خیابانی که این شعاع را قطع می‌کنند، استخراج شدند. در نهایت، خطوط موازی از این بخش‌های خیابان متقاطع در جهت(های) عنوان تصویر(های) حاوی گرافیتی پیش بینی شد و نما(های) متقاطع شده توسط این خطوط پیش بینی شده به عنوان نامزدهای حاوی گرافیتی استخراج شد. این فرآیند در شکل 5 نشان داده شده است .
اگرچه در مورد موقعیت واقعی دریافت تصویر GSV تردید وجود دارد، فرض بر این بود که موقعیت واقعی در خیابان است، زیرا دوربین GSV در بالای خودرو نصب شده است. هر دو نمای ساختمان و همچنین بخش های خیابانی که شعاع را قطع می کنند از OSM به دست آمدند. لازم به ذکر است که بخش های ساختمان OSM قابل مشاهده از خیابان ها (تعریف شده به عنوان “راه ها”) تضمین نمی شود که با مرزهای ساختمان واقعی مطابقت داشته باشند. در هر صورت، تعداد نقاط تقاطع بین هر نمای OSM و خطوط موازی طرح ریزی را شمارش کردیم. این نقاط با رنگ قرمز در شکل 5 نشان داده شده اندج نماهایی که نقاط تقاطع بیشتری دارند، عموماً بیشتر دارای آثار هنری گرافیتی هستند. با این حال، از آنجایی که طول بخش‌های خیابان در داخل شعاع متغیر است، نقاط تقاطع باید با وزن‌های متفاوتی با پتانسیلی که نما حاوی گرافیتی است، در نظر بگیرد. بنابراین، برای هر بخش خیابان در داخل شعاع 5 متر، ما دقیقاً 9 خط موازی را در عنوان قطب نما تصویر(های) حاوی آثار هنری گرافیتی نشان دادیم. نقاط تقاطع بین این خطوط و بخش نمای OSM، امتیاز کلی آن نما که دارای گرافیتی است با وزن w محاسبه می شود. w=ل/9، جایی که l نشان دهنده طول بخش خیابان در داخل شعاع است که خط برآمدگی که نما را قطع می کند منشاء آن است. پتانسیل کلی یک نمای OSM حاوی آثار هنری گرافیتی برابر است با مجموع وزن تمام نقاط تقاطع بین آن نما و خط طرح. این پتانسیل برای هر بخش ساختمان OSM که از خیابان‌ها قابل مشاهده است و از نظر فضایی با جعبه مرزی 120 متری مرکز عکس دارای برچسب جغرافیایی فلیکر با ارتباط زیاد با آثار هنری گرافیتی را قطع می‌کند، محاسبه شد (به معادله ( 1 ) مراجعه کنید.

4. آزمایش کنید

برای آزمایش رویکرد ارائه شده در بالا، منطقه لندن بزرگ (بریتانیا) به عنوان محل آزمایش انتخاب شد که محیط آن را می توان در https://www.openstreetmap.org/relation/175342#map=11/51.4898/-0.0882 مشاهده کرد. . دلیل انتخاب لندن به عنوان محل آزمایش سه مورد بود: (1) این شهر در سراسر جهان در آثار هنری گرافیتی فراوان شناخته می شود. به طور خاص، بخش‌هایی از شهر مانند بریک لین، شوردیچ و هاکنی ویک به‌خاطر فراوانی گرافیتی مشهور هستند. (2) عکس‌های گرافیتی ارسال شده در گروه‌های مرتبط فلیکر اغلب در لندن و همچنین در پاریس و برلین گرفته می‌شوند. و (3) تصاویر GSV از لندن به روز هستند و برای کل شهر در دسترس هستند.
در مجموع 191234 عکس فلیکر با برچسب جغرافیایی از منطقه مورد مطالعه جمع آوری شد و بر اساس ارتباط آنها با آثار هنری گرافیتی ارزیابی شد. این عکس‌ها بین 1 ژوئن 2014 و 1 ژانویه 2018 گرفته شده‌اند. همه عکس‌ها دارای حداکثر پارامتر دقت مکان جغرافیایی فلیکر 16 هستند. همانطور که در بالا توضیح داده شد، ورودی اولیه رویکرد ما برای تشخیص نمای ساختمان حاوی آثار هنری گرافیتی، مختصات یک عکس فلیکر با ارتباط زیاد با گرافیتی. خروجی رویکرد ما امتیازی است که برای هر نمای ساختمان OSM در داخل جعبه مرزی با مرکز عکس فلیکر محاسبه می‌شود، که بیانگر پتانسیلی است که نما حاوی گرافیتی است. از آنجایی که پردازش و بررسی دستی هر نما در جعبه مرزی 120 متری در مرکز هر یک از این تقریباً 200000 عکس با برچسب جغرافیایی فلیکر امکان پذیر نیست، به منظور آزمایش رویکردمان، تحلیل‌های خود را به ۴۰ عکس فلیکر با بیشترین ارتباط با گرافیتی محدود کردیم. مجموع نماهای OSM در داخل این 40 جعبه مرزی 5613 و تعداد کل تصاویر GSV تفسیر شده توسط مدل سفارشی CNN ما 36804 است.

5. نتایج

در قسمت مقدماتی این مقاله، ما استدلال کردیم که، با توجه به اینکه چگونه صفحه OSM-Wiki به مشارکت کنندگان توصیه می کند تا آثار هنری گرافیتی را برچسب گذاری کنند، به یک پرس و جو انجام شده در TagInfo، و با توجه به دانش تجربی ما از لندن، OSM هنوز در مورد این نوع از آثار ناقص است. اطلاعات در این شهر به احتمال زیاد این وضعیت در OSM در سایر شهرهای کمتر برجسته نیز وجود دارد. شکل 6 a یک نقشه چگالی هسته از 87 ویژگی OSM را نشان می دهد که حاوی برچسب های مربوط به آثار هنری گرافیتی است ( جدول 1 را ببینید ) که در بخش مرکزی لندن یافت می شود. شکل 6b همان نقشه را برای 617 عکس های دارای برچسب جغرافیایی فلیکر نشان می دهد که حاوی هر دو برچسب «هنر خیابانی» و «گرافیتی» است. مشاهده می شود که تعداد آثار هنری گرافیتی بالقوه و نقاط داغ آنها در شکل 6 ب به طور قابل توجهی بیشتر از شکل 6 الف است، بنابراین به این نکته اشاره می شود که به عنوان یک مجموعه داده، فلیکر مکمل OSM است و می تواند مناطقی را نشان دهد که در آن جستجوی متمرکزتر آثار هنری گرافیتی باید با هدف شناسایی نماهای خاصی که در آن نقاشی شده اند انجام شود.
در میان 5613 نمای OSM تجزیه و تحلیل شده در جعبه‌های مرزی که بر روی 40 عکس فلیکر دارای برچسب جغرافیایی هستند که بیشتر مربوط به آثار هنری گرافیتی است، 420 مورد از آن‌ها حداقل یک خط طرح را قطع می‌کنند ( شکل 5 را ببینید ). با هدف تسهیل ارزیابی دستی رویکردمان و همچنین پشتیبانی بالقوه دیگر تحلیل‌های دیگر محققان، کد محاسباتی نوشته شده در پایتون را برای تجسم نمرات نما با توجه به پتانسیل آن‌ها در محتوای آثار هنری گرافیتی ایجاد و در دسترس ساختیم. شکل 7نمونه‌ای از نتیجه نقشه‌کشی رویکرد ما را نشان می‌دهد، یعنی یک جعبه مرزی 120 متری در مرکز عکس فلیکر مرتبط با گرافیتی برچسب‌گذاری شده جغرافیایی (نمایش‌دهنده یک نقطه زرد)، ردپای ساختمان از OSM، و نماهای رنگی با توجه به امتیاز پتانسیل حاوی گرافیتی. شکل همچنین نشان می دهد که در این مورد، نماهای قرمز تیره واقعاً حاوی گرافیتی هستند. این، اتفاقاً، یکی دیگر از تأثیرات مثبت بازرسی هر نما در هر جعبه مرزی است، به عنوان مثال، تشخیص نماهای بیشتر با گرافیتی نسبت به آنچه در فلیکر عکس و پست شده است. همراه با داده های جمع آوری شده و تولید شده در طول این تحقیق و CNN مورد استفاده برای تفسیر تصاویر GSV، کد تولید تجسم ارائه شده در شکل 7 از طریق پیوند قابل دسترسی است.https://github.com/le0x99/SA_classifier .
در شکل 8 ، تعداد نماهای OSM ( محور y در سمت چپ) با نمره مساوی یا بزرگتر از هر مقدار در محور x نمودار نشان داده شده است (به رنگ آبی). همانطور که گفته شد، تعداد نماهای OSM با امتیاز بزرگتر از صفر برای 40 جعبه محدودکننده تحلیل شده 420 عدد است. خطوط سبز و قرمز به ترتیب میزان دقت و میزان یادآوری ( محور y سمت راست) را نشان می‌دهند که هنگام طبقه‌بندی به عنوان حاوی آثار هنری گرافیتی همه نماهای OSM با حداقل امتیاز همه مقادیر در y به دست می‌آیند.محدوده محور بنابراین، برای مثال، هنگام در نظر گرفتن نمره آستانه 1، نرخ فراخوان 1.0 است، اما نرخ دقت تنها 0.3 است. هنگام در نظر گرفتن امتیاز آستانه 100، نرخ فراخوان زیر 0.2 است، با این حال میزان دقت بالای 0.8 است، و تعداد نمای OSM شناسایی شده حدود 20 است. خطاهای منفی، باید توجه داشت که به حداکثر رساندن میزان دقت، یعنی حذف تمام خطاهای مثبت کاذب، به منظور شناسایی آثار هنری گرافیتی که قبلاً نقشه برداری نشده بودند، بسیار مهم است. نرخ دقت 1.0 در امتیاز آستانه 108 به دست می آید که منجر به تشخیص صحیح 15 ​​نمای OSM می شود. هیچ یک از این نماها و یا ویژگی های ساختمان مربوطه آنها دارای برچسب OSM مربوط به گرافیتی نیستند. از این رو، نتایج ما شواهدی را ارائه می‌دهد که اگر امتیاز طبقه‌بندی نماها به این صورت بالا باشد، رویکرد ما می‌تواند به تشخیص صحیح نماهای OSM حاوی آثار هنری گرافیتی منجر شود. اگرچه، همانطور کهشکل 8 نشان می دهد، می توان انتظار داشت که بسیاری از نماهای مثبت واقعی رخ دهند، اعمال رویکرد تشخیص گرافیتی ما در بسیاری از مکان هایی که با مختصات عکس های فلیکر با ارتباط زیاد با آثار هنری گرافیتی نشان داده شده اند، منجر به شناسایی بسیاری از نماهای حاوی گرافیتی می شود. با توجه به زمان و انرژی بیش از حد طولانی برای تأیید دستی هر نما، آنچه شامل شناسایی نماهای مربوطه در OSM و تصاویر GSV می شود، تجزیه و تحلیل خود را به 40 عکس فلیکر و در مجموع 420 نما OSM محدود کردیم.
با توجه به خطاهای قابل مشاهده در منحنی نرخ دقت نشان داده شده به رنگ سبز در شکل 9 ، اینها دو نوع هستند. اولین مورد به خطاهای مثبت کاذب ناشی از تفسیرهای نادرست توسط مدل سفارشی CNN ما اشاره دارد. علاوه بر نماهای رنگارنگ خاص فروشگاه ها مانند آنچه در قسمت بالای شکل 9 نشان داده شده است ، تبلیغات، پوسترها و گرافیتی “وندالیسم” (نشان داده شده در قسمت میانی شکل 9) عناصری هستند که باعث تفسیرهای مثبت کاذب می شوند. می توان بر این خطاها غلبه کرد تا جایی که آموزش شبکه با نمونه های بیشتر و بهتر به معنای پوشش نماینده بیشتر طیف کامل موارد منفی واقعی منجر به تفسیرهای دقیق تر توسط CNN شود. با این حال، ذهنیت از جایی که هنر شروع می شود و خرابکاری و خط نویسی کثیف پایان می یابد، همیشه برای ارزیابی نتایج چالشی ایجاد می کند.
نوع دیگر خطای مثبت کاذب به این واقعیت مربوط می شود که OSM و GSV مجموعه داده های مختلف با محتویات ویژگی های مختلف و عدم تطابق زمانی هستند. قسمت پایینی شکل 9 کامیون هایی را نشان می دهد که به درستی حاوی آثار هنری گرافیتی هستند. با این حال، آنها نمی توانند، همانطور که رویکرد ما به طور خودکار انجام می دهد، با نمای ساختمان در پشت آنها مرتبط شوند. منبع دیگر خطای مثبت کاذب عدم تطابق زمانی بین مجموعه داده ها است. شکل 10 یکی از 40 جعبه مرزی در نظر گرفته شده در ارزیابی را نشان می دهد. نقطه سبز یکی از نقاط دریافت تصویر GSV را نشان می دهد. مدل CNN هنر خیابانی گرافیتی را در جهت 180 شناسایی کرد ∘. تصویر مربوطه در سمت راست شکل 10 نشان داده شده است. این تفسیر درستی بود زیرا حاوی آثار هنری گرافیتی است. با این حال، از آنجایی که این ویژگی در زمان نگارش این مقاله در OSM ترسیم نشده بود، اثر هنری به اشتباه به نمای ساختمان در جنوب آن مرتبط شد (با رنگ سبز برجسته شده است).

6. خلاصه و بحث

در این کار، ما رویکردی را برای شناسایی مکان تقریبی آثار هنری گرافیتی (با عدم قطعیت هندسی 60 متر) بر اساس داده‌های فلیکر و سپس محاسبه پتانسیل نمای ساختمان‌های فردی در اطراف این مکان‌های حاوی آثار هنری گرافیتی ارائه کردیم. تجزیه و تحلیل ما نشان می دهد که (1) OSM هنوز در مورد این نوع داده ها ناقص و از نظر هندسی نادرست است. (2) فلیکر، علیرغم کاهش استفاده از آن در سال های اخیر، هنوز منبع مرتبطی از داده ها در مورد موقعیت مکانی تقریبی گرافیتی در شهر است. و (3) تصاویر در سطح خیابان می توانند از نظر موقعیت، تشخیص دقیق تری از آثار هنری گرافیتی که قبلاً نقشه برداری نشده و پست نشده اند را پشتیبانی کند.
با اضافه کردن تعدادی از آثار در مورد شخصیت پردازی و تجزیه و تحلیل فضاهای شهری بر اساس پردازش تصاویر نمای خیابان، ما کاربرد تفسیر تصویر یادگیری ماشین انتقالی را برای شناسایی حضور آثار هنری گرافیتی بر روی تصاویر GSV نشان دادیم. با در نظر گرفتن عنوان قطب نمای تصاویر GSV که در آن CNN گرافیتی ها را شناسایی کرده است، عدم قطعیت موقعیت مکانی محل کسب آنها، و بر اساس ویژگی های خیابان و ساختمان OSM، ما رویکردی برای تخمین پتانسیل نمای ساختمان های OSM خاص ارائه کردیم. آثار هنری گرافیتی
با توجه به دقت رویکرد ما، جنبه های زیر احتمالاً اصلی ترین مواردی هستند که به طور بالقوه باعث طبقه بندی اشتباه می شوند. (1) طبقه‌بندی‌های نادرست ناشی از CNN سازگار: هیچ طبقه‌بندی‌کننده‌ای بی‌نقص نیست، به‌ویژه زمانی که موضوع مورد نظر به پیچیدگی ویژگی‌های نقاشی شده توسط انسان در محیط‌های پیچیده مانند مناطق شهری تعبیه شده است. علاوه بر این، همانطور که ذکر شد، خط ظریفی وجود دارد که هنر گرافیتی را از گرافیتی به عنوان وندالیسم و ​​سایر اشکال بیان جدا می کند. منطقی است که فرض کنیم افزایش تعداد و تنوع نمونه های آموزشی انتظار می رود که CNN عملکرد بهتری داشته باشد، همانطور که معمولاً اتفاق می افتد. (2) اختلاف موقعیتی احتمالی بین مجموعه داده های GSV و OSM:دانشمندان و متخصصان GIS می‌دانند که کار همزمان با مجموعه داده‌های جغرافیایی مختلف اغلب مستلزم رسیدگی به عدم تطابق‌های هندسی است که معمولاً مدل‌سازی آن‌ها ساده نیست. ما یک استراتژی ساده برای محاسبه پتانسیلی که نمای ساختمان حاوی گرافیتی است، طراحی و اجرا کردیم. با این حال، دقت تشخیص استراتژی به عدم قطعیت موقعیتی مکان اکتساب تصویر GSV و به دقت موقعیتی و هندسی مجموعه داده‌های حاوی نمایش‌های ساختمان‌ها بستگی دارد. (3) عدم تطابق زمانی بین مجموعه داده ها:فاصله زمانی بین تاریخی که عکس‌های فلیکر با برچسب جغرافیایی گرفته شده‌اند و تاریخ دریافت تصاویر GSV وجود دارد. در مواردی که عکس فلیکر قدیمی است، یعنی از گرافیتی که دیگر وجود ندارد گرفته شده است، رویکرد ما به دنبال اثر هنری گرافیتی در تصاویر GSV نخواهد بود. در این رابطه باید تأکید کنیم که آثار هنری گرافیتی اغلب زودگذر هستند، یعنی در حال تغییر دائمی هستند. بنابراین، اغلب اوقات، اثر هنری عکاسی شده توسط مدل CNN در تصاویر GSV یکسان نیست. در عوض، اغلب یک نسخه به روز شده یا تبدیل شده یا حتی یک جایگزین کامل برای آن است. با این حال، به ندرت آثار هنری گرافیتی به طور کامل پاک می شوند. اگر آنها پاک شوند و تصاویر GSV قدیمی باشند، طبقه‌بندی‌های غلط مثبت کاذب در واقعیت رخ خواهند داد. در صورتی که هم تصاویر GSV و هم عکس های فلیکر قدیمی هستند، انتظار می رود خطاهای مثبت کاذب رخ دهد. در صورتی که فقط تصاویر GSV مربوط به نقاشی گرافیتی باشند، یک خطای منفی کاذب رخ خواهد داد. یکی دیگر از جنبه های مرتبط با داده که منجر به خطا می شود، موردی است که در آن نشان داده شده استشکل 10 ، به عنوان مثال، گرافیتی در ساختمانی شناسایی شده است که هنوز در OSM نقشه برداری نشده است. این منجر به تخصیص امتیاز بالاتر به نمای واقع در پشت آن می شود. (4) خطاهای ناشی از انسداد اشیاء : هر شیئی که مانع از نما شود، مانند اتومبیل ها و درختان، ممکن است در صورت وجود، تشخیص گرافیتی را مختل کند. به همین ترتیب، همانطور که در شکل 9 نشان داده شده است ، ویژگی های متحرک حاوی گرافیتی و شناسایی شده به این ترتیب منجر به تخصیص مثبت کاذب گرافیتی به نمای OSM واقع در پشت آن اشیا می شود. (5) خطاهای ناشی از پارامترهای تنظیم نشده دوربین GSV: با تنظیم بهتر پارامترهای fov و pitch API جمع‌آوری تصویر GSV، به منظور تمرکز دقیق‌تر بر روی نمای ساختمان، طبقه‌بندی کننده CNN می‌تواند نتایج دقیق‌تری ارائه دهد. با این حال، همانطور که تاکید شد، متأسفانه هندسی پارامتر fov توسط GSV مستند نشده است. با توجه به پارامتر pitch، برای ایجاد تفاوت در فوکوس دقیق تصاویر GSV، یک مدل شهر سه بعدی مورد نیاز است. با این حال، در این کار، ما تنها نمایش‌های ساختمان دوبعدی به‌دست‌آمده از OSM را در نظر گرفتیم.
برخی از ویژگی‌های OSM قبلاً با پیوندی به عکس یا تصویری از آن که در رسانه‌های اجتماعی پست شده است یا در سایر منابع تصویر نمای خیابان، مانند Mapillary و OpenStreetCam موجود است، برچسب‌گذاری شده‌اند. ما این عقیده را به اشتراک می‌گذاریم که مرتبط کردن تصاویر سطح خیابان با ویژگی‌های نقشه می‌تواند استفاده از نقشه را برای مقاصد مختلف افزایش دهد و تعامل آن را افزایش دهد. اگرچه GSV منبع تصویر نمای خیابان با بیشترین پوشش است (در مقایسه با Tencent در برخی از نقاط جهان)، مسائل مجوز مانع از پیوند تصاویر GSV برای باز کردن مجموعه داده های جغرافیایی مانند OSM می شود [ 44 ].]. از طرف دیگر Mapillary و OpenStreetCam این مانع قانونی را ارائه نمی دهند. با این حال، این منابع تصویر نمای خیابان در حال حاضر بیشتر جاده های اصلی شهرهای اصلی را پوشش می دهند. با توجه به در دسترس بودن تصاویر نمای خیابان، افزایش مقیاس رویکرد ما به مناطق بزرگتر و سایر شهرهای جهان تنها می تواند با محدودیت های مربوط به منابع پردازش داده مختل شود. تفسیر خودکار مجموعه های بزرگی از تصاویر با توجه به در دسترس بودن چندین چارچوب آموزشی CNN منبع باز/دسترسی موجود به صورت آنلاین، مانند TensorFlow، PyTorch، و Apache MXNet امکان پذیر است. گزینه هایی از دنیای تجاری که همچنین موثر اما محدود کننده یا هزینه بر هستند عبارتند از Clarifai [ 45] و AWS از آمازون. لازم به ذکر است که همانطور که گفته شد، فلیکر در این اثر به عنوان منبع داده ای در نظر گرفته شده است که مناطق مربوطه را برای جستجوی دقیق تر گرافیتی ها نشان می دهد. با این حال، در تئوری، تفسیر تصویر نمای خیابان و انتساب به نماهای ساختمان از یک امتیاز که نشان دهنده پتانسیل آنها برای داشتن آثار هنری گرافیتی است، می تواند برای کل بخش های شهر یا حتی کل شهر انجام شود.
در شرایطی که خدمات مبتنی بر مکان در حال تبدیل شدن به ابزارهای مورد استفاده مردم محلی و گردشگران است تا بدانند کجا باید بروند، چگونه به آنجا بروند و چه چیزی را در یک شهر تجربه کنند، نقشه برداری از ویژگی های مهم زیبایی شناسی شهر مانند آثار هنری گرافیتی است. ارتباط بالا رویکردی که در این مقاله ارائه می‌کنیم تلاشی برای حمایت از نقشه‌برداری آثار هنری گرافیتی بر اساس روش‌های تحلیل خودکار داده‌ها است. در دسترس قرار دادن اطلاعات در مورد مکان های دقیق آثار گرافیتی ممکن است به محققان کمک کند تا ارتباط بین گرافیتی و سایر متغیرهای اجتماعی-اقتصادی و جنبه های ساخته شده را بهتر درک کنند. علاوه بر این، ممکن است منجر به افزایش تعداد افرادی شود که از این آثار هنری قدردانی می‌کنند، فراتر از شرکت‌کنندگان در تورهای پیاده‌روی هنر خیابانی و کاربران برنامه‌های کاربردی وب و تلفن هوشمند مرتبط. به طور مشخص تر، برای مثال، کامل بودن بیشتر ویژگی‌هایی که آثار هنری گرافیتی را در مجموعه‌های داده‌های جغرافیایی باز نشان می‌دهند، مانند OSM، ممکن است برای برنامه‌های کاربردی برای تولید مسیرهای عابر پیاده از نظر زیبایی‌شناختی دلپذیر، مانند موارد پیشنهاد شده توسط Quercia و همکاران، مفید باشد. [46 ]، کاچکایف و همکاران. [ 47 ] و اخیراً، Novack و همکاران. [ 48 ]. با این حال، تشخیص خودکار آثار هنری گرافیتی، علاوه بر دسترسی به مجموعه داده‌های مناسب، نیازمند غلبه بر چالش‌های فنی مختلف است. تا جایی که ما می دانیم، گزارشی درباره این چالش های فنی و پیشنهادی از رویکردهایی برای غلبه بر آنها در ادبیات اطلاعات جغرافیایی وجود نداشت. اگرچه دور از قطعیت است، اما تحقیقات ما نشان‌دهنده اولین قدم الهام‌بخش و مناسب در این مسیر است.

منابع

  1. گارتوس، ا. کلمر، ن. لدر، اچ. تأثیر بافت بصری و تفاوت‌های فردی بر ادراک و ارزیابی هنر مدرن و هنر گرافیتی. Acta Psychol. 2015 ، 156 ، 64-76. [ Google Scholar ] [ CrossRef ] [ PubMed ]
  2. هاپکینسون، گرافیتی شبکه GC: تعامل به عنوان معناسازی. علامت گذاری داخلی مدیریت 2015 ، 48 ، 79-88. [ Google Scholar ] [ CrossRef ]
  3. Riggle، NA Street Art: The Transfiguration of the Commonplaces. J. Aesthet. منتقد هنر. 2010 ، 68 ، 243-257. [ Google Scholar ] [ CrossRef ]
  4. Andron, S. فروش خیابان به عنوان تجربه: نقش تورهای هنری خیابانی در برندسازی شهر خلاق. اجتماعی Rev. 2018 , 66 , 1036–1057. [ Google Scholar ] [ CrossRef ]
  5. یان، ال. Xu، JB; سان، ز. Xu, Y. هنر خیابانی به عنوان جاذبه های جایگزین: موردی از گالری سمت شرق. تور. مدیریت چشم انداز 2019 ، 29 ، 76–85. [ Google Scholar ] [ CrossRef ]
  6. فلساس، تی. Mulcahy, L. L. Limiting Law: هنر در خیابان و خیابان در هنر. فرقه قانون. انسانی. 2018 ، 14 ، 219-241. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  7. نقشه خیابان باز در دسترس آنلاین: https://www.openstreetmap.org (در 31 ژانویه 2020 قابل دسترسی است).
  8. ویکی OpenStreetMap. در دسترس آنلاین: https://wiki.openstreetmap.org/wiki/Main_Page (در 31 ژانویه 2020 قابل دسترسی است).
  9. برچسب اطلاعات در دسترس آنلاین: https://taginfo.openstreetmap.org (در 31 ژانویه 2020 قابل دسترسی است).
  10. مستندات رابط برنامه نویسی برنامه Google Street View Image. 2018. در دسترس آنلاین: https://developers.google.com/maps/documentation/streetview/intro (در 31 ژانویه 2020 قابل دسترسی است).
  11. API استاتیک نمای خیابان. در دسترس آنلاین: https://www.google.de/intl/de/streetview/ (در 31 ژانویه 2020 قابل دسترسی است).
  12. لی، ایکس. ژانگ، سی. لی، دبلیو. ریکارد، آر. منگ، کیو. ژانگ، دبلیو. ارزیابی فضای سبز شهری در سطح خیابان با استفاده از نمای خیابان گوگل و نمایه نمای سبز اصلاح شده. شهری برای. سبز شهری. 2015 ، 14 ، 675-685. [ Google Scholar ] [ CrossRef ]
  13. سیفرلینگ، آی. نایک، ن. راتی، سی. خیابان‌های پرولکس، آر. Landsc. طرح شهری. 2017 ، 165 ، 93-101. [ Google Scholar ] [ CrossRef ]
  14. برلند، ا. Lange، DA Google Street View نویدبخش نظرسنجی‌های درخت خیابان مجازی است. شهری برای. سبز شهری. 2017 ، 21 ، 11-15. [ Google Scholar ] [ CrossRef ]
  15. تنسنت. در دسترس آنلاین: https://www.tencent.com/en-us/ (در 31 ژانویه 2020 قابل دسترسی است).
  16. ژانگ، ی. دونگ، آر. تأثیر فضای سبز قابل مشاهده در خیابان بر قیمت مسکن: شواهدی از یک مدل قیمت لذت‌بخش و مجموعه داده‌های عظیم نمای خیابان در پکن. ISPRS Int. J. Geo-Inf. 2018 ، 7 ، 104. [ Google Scholar ] [ CrossRef ] [ نسخه سبز ]
  17. بدرینارایانان، وی. کندال، ا. Cipolla، R. SegNet: معماری رمزگذار-رمزگشای پیچیده پیچیده برای تقسیم بندی تصویر. IEEE Trans. الگوی مقعدی ماخ هوشمند 2017 ، 39 ، 2481-2495. [ Google Scholar ] [ CrossRef ] [ PubMed ]
  18. تانگ، جی. طولانی، Y. اندازه گیری کیفیت بصری فضای خیابان و تغییرات زمانی آن: روش شناسی و کاربرد آن در منطقه هوتونگ در پکن. Landsc. طرح شهری. 2018 . [ Google Scholar ] [ CrossRef ]
  19. چنگ، ال. چو، اس. زونگ، دبلیو. لی، اس. وو، جی. لی، ام. استفاده از تصاویر نمای خیابان Tencent برای درک بصری از خیابان ها. ISPRS Int. J. Geo-Inf. 2017 ، 6 ، 265. [ Google Scholar ] [ CrossRef ]
  20. میدل، ا. لوکاشیک، جی. ماسیجوسکی، آر. دموزیر، م. Roth, M. Sky View Factor برای مدل‌سازی آب و هوای شهری. آب و هوای شهری 2018 ، 25 ، 120-134. [ Google Scholar ] [ CrossRef ]
  21. میدل، ا. لوکاشیک، جی. زاکرزوسکی، اس. آرنولد، ام. Maciejewski، R. فرم شهری و ترکیب دره های خیابانی: یک داده های بزرگ انسان محور و رویکرد یادگیری عمیق. Landsc. طرح شهری. 2019 ، 183 ، 122-132. [ Google Scholar ] [ CrossRef ]
  22. زنگ، ال. لو، جی. لی، دبلیو. Li, Y. یک رویکرد سریع برای تخمین فاکتور نمای آسمان در مقیاس بزرگ با استفاده از تصاویر نمای خیابان. ساختن. محیط زیست 2018 ، 135 ، 74-84. [ Google Scholar ] [ CrossRef ]
  23. لی، ایکس. راتی، سی. سیفرلینگ، I. کمی کردن سایه درختان خیابان در منظر شهری: مطالعه موردی در بوستون، ایالات متحده، با استفاده از نمای خیابان گوگل. Landsc. طرح شهری. 2018 ، 169 ، 81-91. [ Google Scholar ] [ CrossRef ]
  24. ریچاردز، DR. ادواردز، PJ تعیین کمیت درخت خیابانی که خدمات اکوسیستم را تنظیم می کند با استفاده از نمای خیابان گوگل. Ecol. اندیک. 2017 ، 77 ، 31-40. [ Google Scholar ] [ CrossRef ]
  25. گونگ، FY؛ Zeng، ZC; ژانگ، اف. لی، ایکس. نگ، ای. نورفورد، LK نقشه برداری از آسمان، درخت و عوامل نمای ساختمان دره های خیابان در یک محیط شهری با تراکم بالا. ساختن. محیط زیست 2018 ، 134 ، 155-167. [ Google Scholar ] [ CrossRef ]
  26. یین، ال. چنگ، کیو. وانگ، ز. Shao, Z. “داده های بزرگ” برای حجم عابر پیاده: کاوش در استفاده از تصاویر نمای خیابان Google برای تعداد عابران پیاده. Appl. Geogr. 2015 ، 63 ، 337-345. [ Google Scholar ] [ CrossRef ]
  27. دلار، پی. اپل، آر. بلنگی، اس. Perona، P. Fast Feature Herramids for Object Detection. IEEE Trans. الگوی مقعدی ماخ هوشمند 2014 ، 36 ، 1532-1545. [ Google Scholar ] [ CrossRef ] [ PubMed ][ نسخه سبز ]
  28. کانگ، جی. کورنر، ام. وانگ، ی. تاوبنبوک، اچ. طبقه‌بندی نمونه ساختمان Zhu، XX با استفاده از تصاویر نمای خیابان. ISPRS J. Photogramm. Remote Sens. 2018 , 145 , 44–59. [ Google Scholar ] [ CrossRef ]
  29. لیو، ال. سیلوا، EA؛ وو، سی. وانگ، اچ. روش مبتنی بر یادگیری ماشین برای ارزیابی مقیاس بزرگ کیفیت محیط شهری. محاسبه کنید. محیط زیست سیستم شهری 2017 ، 65 ، 113-125. [ Google Scholar ] [ CrossRef ]
  30. کائور، تی. جوگلکار، س. ردی، م. Aiello، LM; Quercia، D. نقشه برداری و تجسم زیباسازی شهری با یادگیری عمیق. محاسبات IEEE. نمودار. Appl. 2018 , 38 . [ Google Scholar ] [ CrossRef ] [ PubMed ]
  31. زیلسترا، دی. Hochmair، HH تجزیه و تحلیل دقت موقعیت تصاویر Flickr و Panoramio برای مناطق منتخب جهان. جی. اسپات. علمی 2013 ، 58 ، 251-273. [ Google Scholar ] [ CrossRef ]
  32. سیمونیان، ک. زیسرمن، الف. شبکه های پیچیده بسیار عمیق برای تشخیص تصویر در مقیاس بزرگ. arXiv 2014 ، arXiv:1409.1556. [ Google Scholar ]
  33. تانگ، م. نی، اف. پونگ پیچت، اس. Jain, R. یادگیری نیمه نظارت شده بر روی عکس های دارای برچسب جغرافیایی در مقیاس بزرگ برای تشخیص موقعیت. J. Vis. اشتراک. نماینده تصویر 2017 ، 48 ، 310-316. [ Google Scholar ] [ CrossRef ]
  34. وانگ، آر کیو؛ مائو، اچ. وانگ، ی. رائه، سی. Shaw, W. نظارت با وضوح بیش از حد سیل شهری با رسانه های اجتماعی و داده های جمع سپاری. محاسبه کنید. Geosci. 2018 ، 111 ، 139-147. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  35. لی، اچ. سئو، بی. کولنر، تی. Lautenbach, S. نقشه برداری خدمات اکوسیستم فرهنگی 2.0 – پتانسیل و کاستی های ناشی از تصاویر بدون برچسب منبع جمعیت. Ecol. اندیک. 2019 ، 96 ، 505-515. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  36. پاتاک، ع. پاندی، م. Rautaray، S. کاربرد یادگیری عمیق برای تشخیص اشیا. Procedia Comput. علمی 2018 ، 132 ، 1706-1717. [ Google Scholar ] [ CrossRef ]
  37. سرینیواس، اس. سرواداباتلا، RK; موپوری، KR; پرابهو، ن. کروتیونتی، اس.اس. بابو، RV فصل 2 – مقدمه ای بر شبکه های عصبی کانولوشن عمیق برای بینایی کامپیوتری. در یادگیری عمیق برای تجزیه و تحلیل تصویر پزشکی ; Zhou, SK, Greenspan, H., Shen, D., Eds. مطبوعات دانشگاهی: کمبریج، MA، ایالات متحده آمریکا، 2017; صص 25-52. [ Google Scholar ] [ CrossRef ]
  38. زو، XX; تویا، دی. مو، ال. شیا، جی. ژانگ، ال. خو، اف. Fraundorfer، F. یادگیری عمیق در سنجش از دور: بررسی جامع و فهرست منابع. IEEE Geosci. سنسور از راه دور Mag. 2017 ، 5 ، 8-36. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  39. چنگ، جی. هان، جی. Lu, X. طبقه بندی صحنه تصویر سنجش از دور: معیار و وضعیت هنر. Proc. IEEE 2017 ، 105 ، 1865-1883. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  40. روساکوفسکی، او. دنگ، ج. سو، اچ. کراوز، جی. ستایش، س. ما، س. هوانگ، ز. کارپاتی، ا. خسلا، ع. برنشتاین، ام. و همکاران چالش تشخیص بصری در مقیاس بزرگ ImageNet. بین المللی جی. کامپیوتر. Vis. (IJCV) 2015 ، 115 ، 211-252. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
  41. سریواستاوا، ن. هینتون، جی. کریژفسکی، آ. سوتسکور، آی. Salakhutdinov, R. Dropout: راهی ساده برای جلوگیری از بیش از حد شبکه های عصبی. جی. ماخ. فرا گرفتن. Res. 2014 ، 15 ، 1929-1958. [ Google Scholar ]
  42. دوچی، جی. هازان، ای. سینگر، ی. روش‌های زیرگروه تطبیقی ​​برای یادگیری آنلاین و بهینه‌سازی تصادفی. جی. ماخ. فرا گرفتن. Res. 2011 ، 12 ، 39. [ Google Scholar ]
  43. کوهن، جی. ضریب توافق برای مقیاس های اسمی. آموزش. روانی Meas. 1960 ، 20 ، 37-46. [ Google Scholar ] [ CrossRef ]
  44. نقشه کشی. در دسترس آنلاین: https://www.mapillary.com/ (در 31 ژانویه 2020 قابل دسترسی است).
  45. کلاریفای. در دسترس آنلاین: https://clarifai.com/ (در 31 ژانویه 2020 قابل دسترسی است).
  46. کوئرسیا، دی. شیفانلا، آر. آیلو، LM کوتاهترین مسیر برای خوشبختی: توصیه مسیرهای زیبا، آرام و شاد در شهر. در مجموعه مقالات بیست و پنجمین کنفرانس ACM در مورد فرامتن و رسانه های اجتماعی، سانتیاگو، شیلی، 1 تا 4 سپتامبر 2014. ACM: نیویورک، نیویورک، ایالات متحده آمریکا، 2014; صص 116-125. [ Google Scholar ]
  47. کاچکایف، آ. Wood, J. برنامه‌ریزی خودکار پیاده‌روی‌های اوقات فراغت بر اساس محتوای عکاسی جمع‌آوری‌شده. در مجموعه مقالات چهل و ششمین کنفرانس سالانه گروه مطالعه حمل و نقل دانشگاه ها، نیوکاسل، بریتانیا، 6 تا 8 ژانویه 2014. [ Google Scholar ]
  48. نواک، تی. وانگ، ز. Zipf، A. سیستمی برای ایجاد مسیرهای دلپذیر عابر پیاده بر اساس OpenStreetMap. Sensors 2018 , 18 , 3794. [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
Ijgi 09 00098 g001 550
شکل 1. معمولاً ویژگی های هنر خیابانی در OSM به صورت گره نشان داده می شوند. ( الف ) شناسه گره 4689460491. ( ب ) شناسه گره 3804685610.
Ijgi 09 00098 g002 550
شکل 2. توزیع فرکانس مطلق و تجمعی 100 تگ متداول تعریف شده توسط کاربر از نمونه عکس های فلیکر. 70 تگ متداول در زیر نمودار ذکر شده است. فرکانس های تگ مطلق در محور عمودی سمت چپ نشان داده شده است. فرکانس های تجمعی در محور عمودی سمت راست نشان داده شده اند.
Ijgi 09 00098 g003 550
شکل 3. توزیع فراوانی تجمعی مربوط به آثار هنری گرافیتی همه عکس‌های فلیکر دارای برچسب جغرافیایی از منطقه مورد مطالعه.
Ijgi 09 00098 g004 550
شکل 4. نمونه هایی از نمونه های مورد استفاده برای آموزش یک شبکه عصبی کانولوشن که برای متمایز کردن تصاویر نمای خیابان گوگل از ( الف ) “گرافیتی” و ( ب ) “نه گرافیتی” استفاده شده است.
Ijgi 09 00098 g005 550
شکل 5. مراحل تشخیص نمای ساختمان حاوی آثار هنری گرافیتی. ( الف ) محل کسب و عنوان یک تصویر حاوی آثار هنری گرافیتی استخراج می شود (به ترتیب به عنوان نقطه سبز و فلش نشان داده می شود). ( ب ) شعاع 5 متری در محل دریافت تصویر متمرکز شده و بخش‌های خیابان متقاطع استخراج می‌شوند (به رنگ قرمز روشن نشان داده می‌شوند). ( ج ) خطوط از این بخش‌های خیابان در جهت تصویر پیش‌بینی می‌شوند و بخش‌های نما که این خطوط را قطع می‌کنند استخراج می‌شوند.
Ijgi 09 00098 g006 550
شکل 6. نقشه‌های چگالی هسته ( الف ) 87 ویژگی OSM حاوی برچسب‌های مربوط به هنر خیابانی و گرافیتی و ( ب ) 617 عکس برچسب‌گذاری شده جغرافیایی فلیکر حاوی برچسب‌های «هنر خیابانی» و «گرافیتی». فاصله شعاع جستجو 1.5 کیلومتر تعیین شد.
Ijgi 09 00098 g007 550
شکل 7. Bounding-box در مرکز عکس فلیکر با ارتباط زیاد با آثار هنری گرافیتی (به رنگ زرد). نقاط آبی نشان دهنده مکان های دریافت تصویر GSV است. نقشه رنگی امتیاز پتانسیل نمای ساختمان OSM حاوی آثار هنری گرافیتی را نشان می دهد. نماهای قرمز تیره در این مورد به درستی نشان دهنده وجود آثار هنری گرافیتی هستند.
Ijgi 09 00098 g008 550
شکل 8. توزیع تجمعی امتیازات نمای OpenStreetMap (به رنگ آبی). خطوط سبز و قرمز به ترتیب میزان دقت و میزان یادآوری به دست آمده را هنگام در نظر گرفتن نماهایی با امتیاز بالاتر از هر پله در محدوده x به عنوان حاوی آثار هنری گرافیتی نشان می دهند.
Ijgi 09 00098 g009 550
شکل 9. علل رایج خطاهای مثبت کاذب. از بالا به پایین: نماهای رنگارنگ مغازه ها، نوشته ها و تبلیغات، و اشیاء متحرک حاوی آثار هنری گرافیتی و مانع از نمای ساختمان.
Ijgi 09 00098 g010 550
شکل 10. مثالی از خطای مثبت کاذب به دلیل عدم تطابق زمانی بین تصاویر GSV و وضعیت فعلی نقشه OSM. تصویر GSV از نقطه سبز در جهت تقریباً 180 به دست می آید ∘به درستی به عنوان حاوی گرافیتی طبقه بندی شد. با این حال، از آنجایی که ویژگی گرافیتی در OSM ترسیم نشده بود، وجود گرافیتی به اشتباه با نمای ساختمان که با رنگ سبز برجسته شده بود مرتبط بود.

مقالات داخلی و بین المللی

مطالب مرتبط ...

بدون دیدگاه

دیدگاهتان را بنویسید