Google BigQuery と SAP Datasphere のデータ連携

akaney · ‎2023 Sep 04

本ブログでは、Google BigQueryとSAP Datasphere とのデータ連携の設定について解説します。

はじめに

Google BigQueryとSAP Datasphere連携のシステム構成の概要図をご紹介します。

＊手順を進めるに当たりGoogle Cloud Platformのアカウントが必要であり、こちらのブログではGoogle Cloud Platformのトライアルアカウントでの設定となります。

＊また、本ブログでは以下を前提としています。バージョンの相違にご注意ください。

SAP Datasphere: 2023.18.67

接続作成に当たり大まかな全体の流れは以下の通りです。

サービスアカウントの作成
APIの有効化
サービスアカウントキーの生成
リモートテーブルの有効化
データフローの有効化
接続作成

１．サービスアカウントの作成

まず初めに、新しいサービスアカウントを作成します。

サービスアカウントはGoogle Cloudのリソースを使用するために必要なアカウントで、これに付与するアクセス権限によってアクセス可能なリソースを制御することが出来ます。詳しくはこちらを参照ください。（ナビゲーションメニュー＞ IAMと管理＞サービスアカウント＞サービスアカウントを作成）

サービスアカウント名およびサービスアカウントの説明を入力します。
（ナビゲーションメニュー＞ IAMと管理＞サービスアカウント＞サービスアカウントを作成）

サービスアカウント名：BigQuery_Datasphere

説明：Service Account for Datasphere

次に、「作成して実行」を選択しロールの追加をします。

以下のロールを付与し、「完了」します。

ロール：BigQueryデータ閲覧者とBigQueryユーザー

作成したサービスアカウントおよび付与したロールはIAMから確認できます。
（ナビゲーションメニュー＞IAMと管理＞IAM）

2．APIの有効化

Google BigQueryの外部データベースへの接続はBigQuery Connection APIを使用します。そのため、こちらのAPIが有効化されているかを確認するためAPIライブラリーへ移動します。（APIとサービス＞有効なAPIサービス）

APIライブラリページ遍移するので、BigQuery Connection APIを検索します。

有効化するAPI：BigQuery Connection API

無効になっている場合は、APIを有効にします。

3．サービスアカウントキーの生成

SAP DatasphereからGoogle BigQueryにアクセスするために、サービスアカウントキーの作成を行います。サービスアカウントから「キー」タブに移動し、「新しい鍵を作成」を選択します。
（サービスアカウント＞キー＞鍵を追加＞新しい鍵を作成）

キーのタイプはJSONファイルを選択し「作成」をすると、ローカルにダウンロードされます。

4．リモートテーブルの有効化

Google BigQueryとの接続はデータプロビジョニングエージェントを使用しない接続タイプになります。そのため、サーバ証明書をSAP DatasphereにアップロードをすることでSSL/TLSベースのセキュアな接続を確立することができ、リモートテーブルを有効化することが出来るようになっています。詳細はこちらをご確認ください。

サーバ証明書の取得は以下のダウンロードサイトから行います。

• https://www.google.com/

証明書ビューアから証明書のエクスポートを実行します。

こちらでは「GTS CA 1C3.crt」という名前で証明書をローカルに保存しました。

SAP Datasphereへの証明書の追加は次のパスから出来ます。ローカルディレクトリから証明書を選択し、証明書に関する説明を入力します。（システム＞セキュリティ＞+証明書を追加）

5．データフローの有効化

Google BigQueryにアクセスしてデータフローを使用する場合はODBC経由となるので、必要なODBCドライバをSAP Datasphereにアップロードする必要があります。詳細はこちらをご確認ください。

ODBCドライバの取得は以下のダウンロードサイトから行います。

https://cloud.google.com/bigquery/providers/simba-drivers

ドライバのアップロードは以下のパスから出来ます。サードドライバンに移動し、＋アップロードを選択します。（システム＞データ統合＞サードパーティのドライバ＞＋アップロード）

ドライバのアップロード後は以下のようにファイルを選択し、「同期」を実行してください。

5分から10分ほどで同期の完了が出来ますので、その後に接続の確立、あるいは接続によるデータフローの使用を開始してください。

6．接続作成

接続タイプ一覧からGoogle BigQueryを選択します。（接続＞作成＞Google BigQuery)

Google Cloud プロジェクトのIDとキーのアップロードを行います。

「キー」には、「3．サービスアカウントキーの生成」で作成したサービスアカウントキーのJSONファイルを指定します。

「プロジェクト」には、Google CloudのプロジェクトIDを指定しますが、このJSONファイルでも確認可能です。

最後に、接続にビジネス名と接続名を付け「接続を作成」します。

以下のように、作成した接続のチェックボックスを選択し、右上にあるチェックを行います。問題なく作成が出来ていれば、このように“接続が有効です”と表示されます。

**注記：以下のようなエラーが発生する場合はこちらのSAP Noteをご確認ください。

＜エラーメッセージ＞

「接続にエラーがあるため、リモートテーブルを使用できません。

リモートテーブル: サーバ証明書をチェックできなかったため、安全な接続を確立できませんでした。

サーバの証明書または署名機関 (CA) の証明書をアップロードしてください。権限がない場合は、管理者に連絡してください。」

＜解決策＞

中間証明書またはサーバ証明書ではなく、Google ルート証明書をダウンロードしてください。

ブラウザで https://cloud.google.com/ を開き、2036 年まで有効な GTS ルート R1 証明書をエクスポートし、SAP Datasphere に再度アップロードします (システム -> 設定 -> セキュリティ)。