dmitriidenisov / area_assessment Goto Github PK

Возможные шаги для улучшения:

• Узнать почему в ходе обучения горки появляются
• Новые спутниковые снимки (без угла)
  ——————————————————
• На входе int8 вместо float. Итог: без нормировки намного медленнее обучается
• Сделать выходную размерность не 2, а 1: уже реализовано в коде. Модель Кирилла (unet_old) изначально заточена под выход […,2]. Новые же объявления поддерживают как 1, так и 2
• Сделать предсказание с пересечением: patches_toarray_overlap: Готово
• Две сети для: а) Маски б) Спутника. Потом метаклассификатор: Готово
• Попробовать какое качество если предсказание=Nokia_map: сделано, качество хуже, в районе 0.7
• Переписать на новый Keras: готово
• Поменять зоом: на 20 не обучается, на 19 норм, на 18 обучается примерно так же, как и z19
• Поменять окошко с 64x64: работает успешно с 128x128, динамика обучения: unet_old(128, 128, 3)

Динамика с output_channels = 2:

Динамика с output_channels = 1:

С окошком 256x256 не работает - не хватает памяти.

Структура storage:

• cnn_weights: веса моделей
• mapbox: демка
• geoserver: какие-то данные по Pyramid и Dawmat. По сути просто спутниковые снимки + мусорные файлы
• geoshapes: файлы с расширениями dbf, pro, she, shx
• geotiffs: содержит Heatmaps для полей. Около 60 файлов большой размерности, все *.tif файлы
• result_buildings/unet_weights_epoch…: содержит HeatMaps примерно 60 штук каждая 10328x3793 пикселей
• sakaka_data:
  • buildings: содержит несколько train и test
• satellite_images:
  • raw_geofits: содержит спутниковые Dumat, три разных папки, видимо, по разным датам
  • retiled_geotiffs: содержит две папки, разрезанную карту и с полигоны, каждая картинка по 512x512 в формате tif. Каждая примерно по 800KB
  • united_geotiffs: содержит объединенные все

——
sakaka_data-buildings:

• train_evaluate: содержит огромную маску города и фотографию города

Pipeline:

1. Размечаем территорию через ArcGIS: получаем geojson
2. Скачиваем через SAS.Planet с ArcGIS спутниковые снимки
3. Делаем train маски из изображений с ArcGIS + geojson при помощи make_train_masks.py
4. DataGenerator:
   1. Вход - считать изображение с ArcGis. Плюс Аугментация
   2. Выход - считываем маску размеченную из п.3
5. Обучаем модель

• Делаем предсказание моделью -> сохраняем вместе с geo метаданными -> трансформируем в shape file -> грузим на ArcGIS online -> Front подсоединяется к layer'у

Текущая лучшая модель:
z18_epoch306_jaccard0.891_dice_coef_K0.942_fmeasure0.960.hdf5
Или
z18_epoch263_jaccard0.890_dice_coef_K0.942_fmeasure0.960.hdf5