HYCUの新しいアトミック・バックアップでBigQueryのデータ損失を阻止

長年にわたり、HYCU は Google Cloud ワークロードのための最も包括的なデータ保護ソリューションです。 HYCUは、他のどのバックアップソリューションやサービスよりも多くのGoogle Cloudサービスを保護しています。Google Cloudユーザーのためのこの長年のイノベーションが評価され、Googleはラスベガスで開催されたGoogle Cloud Next 24において、HYCUをバックアップとDRのGoogleクラウドパートナー・オブ・ザ・イヤーに選出しました。

Google Cloudは、その非常に堅牢なデータポートフォリオにより、しばしば「データクラウド」と呼ばれます。Google BigQuery は、Google のデータ戦略の中心であり、ユーザーが数ペタバイトのマルチモーダル データを保存、分析、視覚化できるようにする統合データ プラットフォームです。

BiqQueryは、オープンテーブル形式を含む構造化データおよび非構造化データをサポートするフルマネージドサービスです；複数の処理エンジンをサポートし、複数のクラウドでデータを処理し、バッチおよびリアルタイムストリーミング（IoT、ソーシャルメディアフィード、イベントなど）でデータを取り込みます。

AIの時代において重要なことは、AIはデータがあるところにやってくるのであって、その逆ではないということです。BigQuery MLによって、AIモデルは民主化され、基本的なSQLスキルがあれば誰でもアクセスできるようになります。これにより、BigQueryはすべての企業にとって最も戦略的なワークロードの1つになります。Walmart、Spotify、Wayfair、Home Depot、Ford、Palo Alto Networksなど、業界をリードする多くの企業が、データプラットフォームとしてBigQueryを選択しています。

Google BigQuery のデータを複数の障害ドメインにわたって適切に保護するためには、保護対象が包括的で、依存するデータセット間で一貫性があり、リカバリ時に粒度の細かいエンタープライズ クラスのバックアップとリカバリが必要です。HYCU R-Cloudは、Google BigQueryのバックアップとリカバリのサポートを追加した最初で唯一のエンタープライズバックアップソリューションです。

BigQueryのイノベーションを一歩前進させるために、HYCUはBigQuery用のアトミックバックアップセットをサポートするようになりました。アトミックバックアップセットは、BigQueryの複数のデータセットにまたがるデータの一貫したビューとクエリを保証するように設計されています。異なるソースからの依存データセットであろうと、異なるデータセット間の相互参照ビューであろうと、組織は一貫性のあるコピーによって、BigQueryユーザーが利用できる1週間のTime Travel windowよりもはるかに長い期間、データ損失から保護されるようになりました。

BigQueryでデータ保護が重要な理由

BigQueryのデータを保護する必要がある1番の理由は、データ損失を防ぐためです。Google BigQueryのデータ損失はさまざまな理由で発生する可能性があるため、リスクを認識しておくことが非常に重要です。

• ゾーンレベルおよび下位レベルの障害: 特定のゾーンでハードウェアやネットワークの問題が発生すると、データが利用できなくなったり、他のゾーンにレプリケートされないとデータが失われたりする可能性があります。
• 地域の障害: 自然災害のような大規模なイベントが発生すると、データが影響を受ける可能性があります：自然災害のような大きなイベントは、地域全体に影響を与える可能性があります。
• SQLコードのバグ: SQLクエリの小さなエラーは、安全対策が講じられていない場合、誤ってデータを削除したり破損したりする可能性があります：
• 内部脅威: 誤って削除したり、設定ミスをしたりすると、意図しないデータ損失につながることがあります。
• 内部脅威：

これらのリスクを認識することで、BigQueryのデータを保護するための対策を講じることができます。

BigQueryデータセットの再作成にかかる高いコスト

従来、データウェアハウスは複数のソースから変換されたデータのコピーであり、なぜバックアップが必要なのか疑問に思う人も多いでしょう。しかし、重要な考慮点は、持続的なデータ損失が発生した場合に、ウェアハウスの再作成にかかる時間とコストを考慮することです。

• ETL(Extract, Transform, Load)
• ストリーミング
• API
• パイプラインサービス、イグレス、その他。

また、BigQueryのような大規模なスケーリングシステムでは、多くの顧客がデータウェアハウスにデータを投入するためにリアルタイムのイベントストリーミングに依存しており、データの唯一のコピーがBigQueryデータセットとして保存されているため、多くの場合、それを再作成することは不可能です。

タイムトラベルとスナップショット機能はサービスを通じて利用可能ですが、7日前以降の保護にはバックアップが必要です。最新のDORAのような規制では、重要なアプリケーションに対してより大きな障害領域が必要です。ヘルスケアや金融のようなほとんどの規制産業も、コンプライアンス、長期保存、および耐久性の要件に従います。

なぜアトミックバックアップセットなのか

BigQueryは巨大なデータセットを簡単に扱うことができますが、BigQueryユーザーはデータを複数のデータセットに分割するのが一般的です。このセグメンテーションにより、以下のことをよりよく制御できるようになります：

• データの整理と管理
• 粒度の細かいアクセス制御
• パフォーマンスとクエリの最適化
• クエリのコスト管理
• データのライフサイクル/レコードの有効期限管理

セグメント化されたデータセットであっても、BigQueryは、連携クエリ、クロスデータセット結合、ビューなどを通じて、これらのデータセット間でデータを分析およびマイニングする方法をいくつか提供します。ビューは、複雑なクエリをカプセル化し、シンプルなテーブルとして表示する方法を提供する仮想テーブルです。これは、異なるチーム間で共有できる再利用可能なクエリを作成する際に特に有用であり、多くの場合、BigQueryユーザーがデータを消費する主な方法となります。

したがって、バックアップ時には、これらのビューの信頼性を高めるために、これらの基礎となるデータセットを同じ時点からのバージョンで保護することが重要です。

また、BigQueryからのエクスポートデータにはタイムトラベルデータが含まれないため、一貫性のある時点まで遡ることができない点にも注意が必要です。

アトミックバックアップセットは強力な新機能で、データセットをグループ化し、セット全体が同じ時点でバックアップされるようにすることができます。これは特に、関連するデータセット間でデータの整合性を維持するのに役立ちます。

アトミックバックアップセットを使用する利点

1. データの整合性：関連するデータセットが互いに一貫していることを保証し、異なる時間にデータセットをエクスポートすることで発生する矛盾を防ぎます。
2. 管理の簡素化: 他のデータセット内のテーブルを参照するビューは一般的であり、これらの依存するデータセットを一緒にエクスポートすることで、より優れた一貫性を実現できます：
3. 信頼性の向上: 同じ時点でデータセットを保護することで、データの不一致のリスクを減らし、データ分析の信頼性を向上させます。

アトミックバックアップセットの作成は簡単ですか

HYCUでは、お客様が簡単に作成できるように常に努力しています。アトミックバックアップセットの作成は、関連するデータセットがタグ付けされたAtomic-Backup-setラベルを作成するのと同じくらい簡単です。このラベルにより、どのデータセットをグループ化するかを定義できます。バックアップが開始されると、同じAtomic-Backup-setラベルの値を持つすべてのデータセットが同じ時点を使って保護され、データ全体の一貫したグループ化が保証されます。このグループ化は現在、同じリージョン内でホストされているBigQueryデータセットに対してのみ有効です。

アトミックバックアップセットを使い始める

BigQueryバックアップでアトミックバックアップセットを使い始めるには、以下の簡単な手順に従ってください：

1. データセットにラベルを付ける：一緒に保護したいデータセットにAtomic-Backup-setラベルを追加します。HYCUはR-Cloud UIに<プロジェクト名>_<領域名>_
2. ⇦

3. ⇦ポリシーの関連付け：HYCU R-Cloudの新しいグループに希望のバックアップポリシーを関連付けます。ポリシーがBigQueryのバックアップを開始すると、HYCUは自動的にグループ化し、同じ時点で同じAtomic-Backup-setラベルを持つBigQueryデータセットをバックアップします。

BigQuery データセットの回復

回復オプションは柔軟なままです。個々のデータセットとテーブルを、同じプロジェクトまたは別のプロジェクトに、同じ名前または新しい名前でリストアし続けることができます。アトミックバックアップセットの一部であるデータセットには、同じ時点で保護されたリカバリポイントがあります。データセットをリストアすると、ビューとルーチンも一緒にリストアされます。

結論

HYCUがBigQueryエクスポートにアトミックバックアップセットを導入したことは、データ管理における大きな前進です。一貫性のグループ化とアトミックバックアップを活用することで、BigQueryデータセットの一貫性、信頼性を確保し、管理を容易にすることができます。大規模なデータ分析、トレンド分析、履歴データのマイニング、または単にデータの整合性を維持する必要がある場合など、アトミックバックアップセットはお客様のニーズを満たす堅牢なソリューションを提供します。