docentszachista / cnn-tackle-imbalance Goto Github PK

Wymyślić sobie jak poddać obrazki tej klasy przeróbkom by na przykład wygenerować obrazki każdy obrócony o ileś stopni, bądź wykonać inne transformacje na obrazach.

• przydatne może być biblioteka albumentations, bądź torchvision.
• trzeba będzie prawdopodobnie zrezygnować z zapisu plików do npy, a przenieść się na robienie podzbiorów w pytorchu poprzez klasę Subset bądź inną, google it

Na razie mamy accuracy i loss w sieci na datasecie testowym, lecz w zbiorach niezbalansowanych te metryki nie są wystarczające. Aby lepiej zrozumieć problem dobrze by było móc poszerzyć statystykę o to ile obrazków ze zbioru testowego rozpoznał poprawnie.
Moja propozycja to kiedy będziemy testować sieci, to wydobywać wszystkie logits'y z sieci dla każdego testowego obrakza i zapisywać do dataframe'a pandasowego, wraz z informacją jak był oznaczony obrazek. Następnie będzie można wyznaczać na podstawie tego takie rzeczy jak:
confusion matrix, precision, czy też recall. Przykłady tych metryk oraz innych podane tutaj

Mają zawierać kilka scenariuszy. Moja propozycja:

• scenariusz z jedną klasą która została zminimalizowana do 10% a reszta pozostaje bez zmian
• scenariusz gdzie sekwencyjnie zmieniamy liczebność klas (np pierwsza ma 10, druga 20 trzecia 30 itd.)
• scenariusz gdzie wybieramy może 2, 3 klasy z czego jedną mocno minimalizujemy a inne trochę mniej
  Każdy scenariusz zapisać do postaci Database'a.
  Zapis najlepiej do pliku a następnie odczyt przy odpalaniu konkretnego scenariusza
  Dane w datasecie to jest lista tupli dwu elementowa, w pierwszym indeksie jest obrazek, w drugim labelka co przedstawia (np psa)
  Najlepiej pogrupować by pobrać indeksy wszystkich psów, reniferów, następnie w zależności od strategii usunąc dane obrazki i zapisać pozostałość datasetu do jakiegoś pliku

• Dopiero gdy już uporamy się ze zbiorami danych
• za pomocą torch.save zapisuje się model
• Dobrze będzie zapisywać po każdej iteracji model co jest już ogarnięte wstępnie w repo ale dobrze by było ją jeszcze przemyśleć

• na start loss i accuracy
• Wzorować się na metodzie test w main'ie, zapisać to do jakiegoś pliku. Format do uzgodnienia

Do implementacji:

• obracanie obrazków z klasy niezbalansowanej
• pokazywanie częściej klasy niezbalansowanej
• Modyfikacja wag klasy

Workflow:

• wyciągasz obrazki które są w klasie mniejszości
• spłaszczasz każdy z obrazków z postaci macierzy 32x32x3 do postaci wektora, ewentualnie macierzy 1024x3 ( nie jestem pewien co zadziała bo sam tego nigdy nie robiłem)
• wrzucasz do obiektu klasy SMOTE dane.
• Otrzymane dogenerowane dane z powrotem przywracasz do postaci 32x32x3

https://stackoverflow.com/questions/53666759/use-smote-to-oversample-image-data
https://imbalanced-learn.org/stable/references/generated/imblearn.over_sampling.SMOTE.html

Kwestia by nie gubić danych.

• Zastanowić się czy zostawić to po prostu w zależności

Import biblioteki

from google.colab import drive
drive.mount('/content/drive')

Następnie odwoływanie się do drive'a wygląda tak

save_path= "/content/drive/MyDrive/jakis_folder/"

Myśli wolne jak i szybkie:

• W colabie robić import
• Do funkcji zapisującej dane wrzucać ściezkę jedynie i resztę program powinien ogarnąć.
• Stworzenie funkcji run, która zezwoli na odpalenie treningu na wybranym pliku / datasecie

Celem jest utworzenie albo funkcji np run, która dla otrzymanych parametrów będzie odpalała uczenie dla danych zbiorów danych modelu Resnet, bądź wykorzystując np argparse'a stworzyć interfejs linii komend do tego samego celu.

Co ta funkcja miałaby przyjmować

• ścieżkę do pliku z którego ma czytać zbiór danych
• ścieżkę gdzie ma zapisać plik z siecią neuronową.
  #5 jest w sumie powiązane z tym. (też bardziej w sumie przyszłościowo, bo każda ingerencja w zbiór uczący, a będzie ich dużo będzie wymagało nauczania modelu na nowo)