Regelen back-up in Ierland (disaster recovery) about geo-storage HOT 10 CLOSED

@marnixdessing voegt deze toe aan de backup epic

from geo-storage.

Backup op acceptatie gerealiseerd:

• Replicatie naar buckets in andere region
• Testen van batch job replication voor backup van nu bestaande files.

Nog uit te rollen naar productie en daar op batch jobs te draaien.

from geo-storage.

Replication uitgerold, batch jobs draaien lukt nog niet.

from geo-storage.

Ik maak eerst voor alle buckets inventory reports aan, dit duurt 48 uur...

from geo-storage.

Inventory reports zijn aangemaakt en worden dagelijks gegenereerd. PR om rechten goed te zetten voor backup-replication-role is aangemaakt. Stappen die nog nodig zijn:

• Kopieren objecten naar zelfde bucket (nieuwe versie, versleuteld met nieuwe KMS key)
• Batch job draaien voor replicatie van objecten die nu met de nieuwe key zijn versleuteld
• Done?

from geo-storage.

Sommige objecten hebben nog geen version ID, hier gaat het fout met de manifest CSV die wordt gegenereerd door AWS S3 Inventory. Kijken of we de CSV kunnen aanpassen en formatteren zodat we die versie kunnen gebruiken...

from geo-storage.

Objecten opnieuw versleutelen met SSE-KMS is nu gelukt. Zelf een script moeten schrijven om het inventory report te fixen. Het versionID veld was "" en voor batch jobs moet dit "null" zijn om naar een object zonder versie nummer te verwijzen.

from geo-storage.

Backup zou nu moeten werken, even 2 dagen wachten tot de oude versies zijn verwijderd. Dan kunnen we de replicatie van bestaande objecten doorvoeren.

from geo-storage.

Oude versies zijn verwijderd, behalve voor een bucket (lifecycle rule vandaag aangepast).

SSE-KMS voor backup buckets opzetten en dan replication voor bestaande objecten starten.

from geo-storage.

Dit heeft iets meer gekost dan 4 uur, maar is nu ingeregeld en werkt cross-account.

from geo-storage.