ERROR FINGERPRINT AND ENTROPY MAPS AS A WAY TO VISUALIZE THE EVALUATION OF THE QUALITY OF PERFORMANCE OF DEEP LEARNING MODELS FOR AERIAL IMAGE PROCESSING

Роботу присвячено процесу дослідження та розробці власного підходу для створення стандартизованої карти помилок якості роботи моделей глибокого навчання та ентропії у випадках аналізу аерофотознімків, отриманих з дронів. За допомогою таких карт можливо зрозуміти на яких ділянках зображень моделі найчастіше помиляються на тестових даних та отримати відповідні невизначеності. Побудова таких карт допомагає виявити слабкі місця в моделях та особливо корисна для випадків, коли середні стандартні метрики майже однакові. Для проведення дослідження та експериментів було використано найпопулярніші архітектури нейронних мереж U-Net, DeepLabV3+ та Feature Pyramid Network, що найчастіше використовуються у задачах сегментації зображень у сфері комп’ютерного зору. Семантична сегментація відіграє ключову роль в аналізі просторорових даних у задачах моніторингу навколишнього середовища, картографування та управління земельними ресурсами. Висока точність популярних архітектур не виключає проблему аналізу помилок та невизначеностей. У роботі представлено підхід до побудови теплових карт помилок, які показують у яких місцях зображень моделі найбільш неправильно класифікують пікселі на тестових даних, а для оцінки невизначеностей пропонується будувати спеціальні карти ентропії. Окрім визначення кількісних показників якості роботи моделей (точності, індексу Жаккара, F-метрики) такі візуалізації дозволяють якісно аналізувати слабкі місця, наприклад, у випадках коли зображення мають неоднорідну місцевість або нечіткі контури. У ході проведення експериментів на власному наборі аерофотознімків було визначено, що ефективність запропонованих підходів до візуалізації може значно підвищити розуміння результатів роботи навчених моделей. Результати таких досліджень можуть мати значний вплив на покращення архітектур сегментації, підготовці навчальних даних та аналізу помилок в цілому. Майбутні дослідження можуть фокусуватися на розширенні набору даних аерофотознімків для оцінювання роботи моделей та зниження кількості помилок.Ключові слова: глибоке навчання, семантична сегментація, U-Net, DeepLabV3+, FPN, нейронні мережі, карти помилок, карти ентропії, спосіб візуалізації, дрони, аерофотознімки.