Stoppen Sie Datenverluste in BigQuery mit HYCUs neuen Atomic Backups

Seit Jahren ist HYCU die umfassendste Datensicherungslösung für Google Cloud Workloads. HYCU schützt mehr Google Cloud-Dienste als jede andere Backup-Lösung oder jeder andere Dienst. In Anerkennung dieser langjährigen Innovation für Google Cloud-Nutzer ernannte Google HYCU zum Google Cloud Partner of the Year für Backup und DR auf der Google Cloud Next 24 in Las Vegas für sein kontinuierliches Engagement, die Messlatte für Ausfallsicherheit und Wiederherstellung der Kronjuwelen der Kunden, ihrer Daten, höher zu legen.

Google Cloud wird mit seinem extrem robusten Datenportfolio oft liebevoll "The Data Cloud" genannt. Google BigQuery ist das Herzstück der Datenstrategie von Google und ist die einheitliche Datenplattform, die es den Nutzern ermöglicht, mehrere Petabyte an multimodalen Daten zu speichern, zu analysieren und zu visualisieren.

BiqQuery ist ein vollständig verwalteter Dienst, der strukturierte und unstrukturierte Daten unterstützt, einschließlich offener Tabellenformate; mehrere Verarbeitungs-Engines unterstützt; Daten über mehrere Clouds hinweg verarbeitet; Daten in Stapeln und durch Echtzeit-Streaming (IOT, Social Media Feeds, Events etc.) aufnimmt.)

Im Zeitalter der KI ist es wichtig zu wissen, dass die KI dorthin kommt, wo die Daten sind und nicht andersherum. Mit BigQuery ML werden KI-Modelle demokratisiert und für jeden zugänglich gemacht, der über grundlegende SQL-Kenntnisse verfügt. Das macht BigQuery zu einem der strategisch wichtigsten Workloads für alle Unternehmen. Viele Branchenführer wie Walmart, Spotify, Wayfair, Home Depot, Ford und Palo Alto Networks verlassen sich auf BigQuery als Datenplattform ihrer Wahl.

Um sicherzustellen, dass Ihre Google BigQuery-Daten über mehrere Ausfalldomänen hinweg angemessen geschützt sind, benötigen Sie eine Sicherungs- und Wiederherstellungslösung der Unternehmensklasse, die umfassend schützt, über abhängige Datensätze hinweg konsistent ist und bei der Wiederherstellung granular ist. HYCU R-Cloud ist die erste und einzige Backup-Lösung für Unternehmen, die Backup- und Recovery-Unterstützung für Google BigQuery bietet. Wir haben Kunden, die BigQuery-Daten mit mehreren TB/Minute sichern.

Die Innovation für BigQuery geht noch einen Schritt weiter: HYCU unterstützt jetzt Atomic Backup Sets für BigQuery. Atomic Backup Sets wurden entwickelt, um konsistente Ansichten und Abfragen von Daten zu gewährleisten, die über mehrere Datensätze in BigQuery verteilt sind. Ganz gleich, ob es sich um abhängige Datensätze aus verschiedenen Quellen oder um Querverweise von Ansichten über verschiedene Datensätze hinweg handelt, Unternehmen sind jetzt viel länger als das einwöchige Zeitreisefenster, das BigQuery-Benutzern zur Verfügung steht, mit einer konsistenten Kopie vor Datenverlust geschützt.

Warum Datenschutz für BigQuery wichtig ist

Der wichtigste Grund, warum Sie Ihre BigQuery-Daten schützen müssen, ist der Schutz vor Datenverlust. Datenverluste in Google BigQuery können aus einer Reihe von Gründen auftreten, daher ist es wichtig, sich der Risiken bewusst zu sein. Hier sind einige häufige Szenarien:

• Ausfälle auf Zonen- und unterer Ebene: Hardware- oder Netzwerkprobleme in einer bestimmten Zone können dazu führen, dass Ihre Daten nicht mehr verfügbar sind oder sogar verloren gehen, wenn sie nicht in anderen Zonen repliziert werden.
• Regionale Ausfälle: Große Ereignisse wie Naturkatastrophen können eine ganze Region betreffen. Wenn Ihre Backups nur dort gespeichert sind, verlieren Sie möglicherweise den Zugriff auf Ihre Daten, wenn Sie sie am dringendsten benötigen.
• Bugs im SQL-Code: Kleine Fehler in SQL-Abfragen können versehentlich Daten löschen oder beschädigen, wenn keine Sicherheitsvorkehrungen getroffen wurden.
• Menschliche Fehler: Versehentliche Löschungen oder Fehlkonfigurationen können zu unbeabsichtigtem Datenverlust führen.
• Insider-Bedrohungen: Autorisierte Personen könnten Daten absichtlich löschen oder durchsickern lassen, was ein ernsthaftes Risiko für die Sicherheit Ihrer Daten darstellt.

Wenn Sie sich dieser Risiken bewusst sind, können Sie Maßnahmen zum Schutz Ihrer Daten in BigQuery ergreifen.

Die hohen Kosten für die Neuerstellung Ihres BigQuery-Datensatzes

Traditionell sind Data Warehouses eine Kopie transformierter Daten aus mehreren Quellen, und viele fragen sich, warum sie gesichert werden müssen. Eine wichtige Überlegung ist jedoch, den Zeitaufwand und die Kosten zu berücksichtigen, die mit der Wiederherstellung des Warehouses im Falle eines anhaltenden Datenverlusts verbunden sind. Die Kosten umfassen:

• ETL (Extrahieren, Transformieren, Laden)
• Streaming
• API
• Pipeline-Dienste, Egress und mehr.

Außerdem verlassen sich viele Kunden bei massiv skalierenden Systemen wie BigQuery auf das Streaming von Ereignissen in Echtzeit, um das Data Warehouse zu befüllen, und in vielen Fällen wäre eine Wiederherstellung gar nicht möglich, weil die einzige Kopie der Daten als BigQuery-Datensatz gespeichert ist.

Während Zeitreise- und Snapshot-Funktionen über den Dienst verfügbar sind, erfordert der Schutz nach sieben Tagen ein Backup. Moderne Regulierungen wie DORA erfordern einen größeren Ausfallbereich für kritische Anwendungen. Die meisten regulierten Branchen, wie Gesundheitswesen und Finanzwesen, unterliegen ebenfalls Anforderungen an die Einhaltung von Vorschriften, die langfristige Aufbewahrung und die Haltbarkeit.

Warum Atomic Backup Sets?

Während BigQuery problemlos mit riesigen Datensätzen umgehen kann, ist es für BigQuery-Benutzer üblich, ihre Daten in mehrere Datensätze zu segmentieren. Diese Segmentierung bietet ihnen eine bessere Kontrolle über:

• Datenorganisation und -verwaltung
• Granulare Zugriffskontrolle
• Leistung und Abfrageoptimierung
• Verwaltung der Abfragekosten
• Verwaltung des Datenlebenszyklus/Datensatzablaufs

Auch bei segmentierten Datensätzen bietet BigQuery mehrere Möglichkeiten, Daten über diese Datensätze hinweg zu analysieren und zu verarbeiten, und zwar durch Verbundabfragen, datenbankübergreifende Joins, Views usw. Views sind virtuelle Tabellen, die eine Möglichkeit bieten, komplexe Abfragen zu kapseln und sie als einfache Tabellen darzustellen. Dies ist besonders nützlich, um wiederverwendbare Abfragen zu erstellen, die von verschiedenen Teams gemeinsam genutzt werden können, und wird oft zur Hauptmethode, über die BigQuery-Benutzer Daten nutzen.

Bei der Datensicherung ist es daher wichtig, dass diese zugrundeliegenden Datensätze mit einer Version vom gleichen Zeitpunkt gesichert werden, damit diese Ansichten zuverlässig sind. Ein weiterer wichtiger Punkt ist, dass herkömmliche Backups mit zunehmender Größe dieser Datensätze ein größeres Inkonsistenzfenster erzeugen und somit diese atomaren Backup-Sets kritischer werden.

Es ist auch wichtig zu beachten, dass der Export von Daten aus BigQuery keine Zeitreisedaten enthält und Sie nicht zu einem konsistenten Punkt zurückverfolgen können. Daher ist die Möglichkeit, eine koordinierte Konsistenz zum Zeitpunkt des Backups herzustellen, von entscheidender Bedeutung.

Atomic Backup Sets ist eine leistungsstarke neue Funktion, mit der Benutzer Datensätze gruppieren und sicherstellen können, dass sie zum gleichen Zeitpunkt im gesamten Satz gesichert werden. Dies ist besonders nützlich für die Wahrung der Datenintegrität bei zusammenhängenden Datensätzen.

Vorteile der Verwendung von Atomic Backup Sets

1. Datenintegrität: Stellt sicher, dass zusammenhängende Datensätze miteinander konsistent sind, und verhindert so Diskrepanzen, die durch den Export von Datensätzen zu unterschiedlichen Zeitpunkten entstehen können. Ansichten, die auf Tabellen in anderen Datensätzen verweisen, sind häufig und der gemeinsame Export dieser abhängigen Datensätze trägt zu einer besseren Konsistenz bei.
2. Vereinfachte Verwaltung: Die Gruppierung von Datensätzen erleichtert die Verwaltung und Organisation Ihrer Datenexporte.
3. Verbesserte Zuverlässigkeit: Indem Sie Datensätze zum gleichen Zeitpunkt sichern, verringern Sie das Risiko von Dateninkongruenzen und verbessern die Zuverlässigkeit Ihrer Datenanalyse.

Wie einfach ist es, Atomic Backup Sets zu erstellen?

Bei HYCU bemühen wir uns stets, es unseren Kunden einfach zu machen. Das Erstellen von Atomic Backup Sets ist so einfach wie das Erstellen eines Atomic-Backup-Set-Labels mit den zugehörigen Datensätzen. Mit diesem Etikett können Sie festlegen, welche Datensätze in einer Gruppe zusammengefasst werden sollen. Wenn ein Backup initiiert wird, werden alle Datensätze mit demselben Atomic-Backup-set-Etikett zum selben Zeitpunkt gesichert, um eine konsistente Gruppierung Ihrer Daten zu gewährleisten. Diese Gruppierung ist derzeit nur für BigQuery-Datensätze verfügbar, die in derselben Region gehostet werden.

Einstieg in Atomic Backup Sets

Um mit der Verwendung von Atomic Backup Sets in Ihren BigQuery-Backups zu beginnen, folgen Sie diesen einfachen Schritten:

1. Beschriften Sie Ihre Datensätze: Fügen Sie das Label Atomic-Backup-set zu den Datensätzen hinzu, die Sie gemeinsam sichern möchten. HYCU zeigt in der R-Cloud-Benutzeroberfläche eine neue Gruppe im Format __
2. ‍

3. ‍Richtlinie zuordnen: Ordnen Sie der neuen Gruppe in HYCU R-Cloud die gewünschte Sicherungsrichtlinie zu. Wenn die Richtlinie das Backup für BigQuery startet, gruppiert und sichert HYCU automatisch die BigQuery-Datensätze mit demselben Atomic-Backup-set-Label zum selben Zeitpunkt.

Wiederherstellung von BigQuery-Datensätzen

Ihre Wiederherstellungsoptionen bleiben flexibel. Sie können weiterhin einzelne Datensätze und Tabellen wiederherstellen, und zwar in demselben Projekt oder in einem anderen Projekt mit demselben oder einem neuen Namen. Jeder Datensatz, der Teil des Atomic Backup Set ist, verfügt über Wiederherstellungspunkte, die zum gleichen Zeitpunkt gesichert wurden. Wenn Sie Datasets wiederherstellen, werden auch die Ansichten und Routinen mit wiederhergestellt.

Fazit

Die Einführung von Atomic Backup Sets in BigQuery-Exporten durch HYCU ist ein bedeutender Schritt nach vorn in der Datenverwaltung. Durch die Nutzung von Konsistenzgruppierungen und atomaren Backups können Sie sicherstellen, dass Ihre BigQuery-Datensätze konsistent, zuverlässig und einfacher zu verwalten sind. Ganz gleich, ob Sie mit groß angelegten Datenanalysen, Trending, Mining auf historischen Daten arbeiten oder einfach nur die Datenintegrität aufrechterhalten müssen, Atomic Backup Sets bieten eine robuste Lösung für Ihre Anforderungen.