2023年4月16日日曜日

kintoneの営業データをBigQueryに自動同期し、Tableauで可視化する

https://qiita.com/hiro_koba_jp/items/65c76f7fee43eb6695f5

概要

Kintone(キントーン)で自社の事業に合わせたアプリを作成し、顧客や案件の管理などに役立てている企業も多いでしょう。Kintoneはノンプログラミングでアプリが作れる点が魅力的ですが、いくつもの自社アプリに散らばるデータを統合し、高度な分析を行うにはプログラミングとデータベースについての知識が必要となることがほとんどです。またデータベースを常に更新し続けるのはコストがかかります。
そこで今回は、trocco®︎(トロッコ)という分析基盤向けデータ統合サービスを使い、Kintoneのデータの抽出自動化+DWH(データウェアハウス)への統合+簡単な可視化を試みます。
なおこちらのtrocco®︎は、Kintoneの他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。
trocco®︎の使い方まとめ(広告・CRM・データベース他)
Kintone_BugQuery.png

はじめに

今回はこのようなKintoneのデータを
Kintoneデータ元画面.png
以下のように簡単なグラフにします
スクリーンショット 2022-02-24 9.59.34.png

こんな人におすすめ

  • アプリだけでなくデータ分析もノンプログラミングで実現させたい
  • KintoneのデータをGoogle BigQueryに自動的に蓄積させたい
  • Kintoneに集めた営業・顧客データを自動的に分析できるようにしたい

1. trocco®︎でKintone→Google BigQueryの転送自動化

1-0. 事前準備

データの転送のためにはKintoneのアカウントはもちろん、trocco®︎のアカウント、Google BigQueryを利用するGoogleアカウントが必要です。(Google BigQueryはデータセット、テーブルの作成も済ませておきましょう。)
trocco®︎は無料トライアルも実施しています。事前に申し込み・登録を済ませておきましょう。
https://trocco.io/lp/index.html
(申込時に、こちらの記事を見たという旨を記載して頂ければスムーズにご案内できます)

1-1. 転送元・転送先を決定

trocco®︎にアクセスします。ダッシュボードから「転送設定を作成」のボタンを押しましょう。
転送設定新規作成.jpg
trocco®︎では多くのサービスをデータ元としてサポートしています。今回は転送元に「Kintone」を選択します
Kintone選択.png
転送先には「Google BigQuery」を選択し、転送設定を作成します。
BigQuery選択.png
この内容で作成.png
続いて設定画面になるので、必要な情報を入力していきます。

1-2. Kintoneとの連携設定

後で見返したときに内容がわかるよう転送設定の名前とメモを入力します。
概要設定.png
「Kintone接続情報」内の「接続情報を追加」ボタンを押します。
Kintone接続情報.png
別のタブでKintone接続情報の新規作成画面が開きます。
Kintoneとの接続にはユーザーネームやパスワード、サブドメイン名といった情報が必要になります。
問題がなければ保存して設定画面に戻ります。
Kintone接続情報作成.png
設定画面に戻り、接続情報の「接続情報を読み込む」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。
スクリーンショット 2022-02-21 17.19.28.png

1-3. Kintoneからのデータ抽出設定

Kintoneとの接続ができたらどのようなデータを取得するかを設定していきます。
今回はあるアプリからクリック数のデータを取得しますので、必要なカラムの設定を行っていきます。
スクリーンショット 2022-02-21 17.25.28.png

1-4. 転送先Google BigQueryの設定

転送元のKintoneと同様に「接続情報を追加」のボタンから接続情報の設定をしていきます。
スクリーンショット 2022-02-21 17.45.32.png
別のタブで設定画面が開きます。Google BigQueryに関してはGoogleアカウントとの連携が必要となるほか、事前に転送先となるデータセットとテーブルを作成しておく必要があります。
スクリーンショット 2022-02-21 17.47.59.png
Google BigQueryを利用するアカウント名や、プロジェクトIDなど接続に必要な情報を入力したら、保存して設定画面に戻ります。
スクリーンショット 2022-02-21 17.52.28.png
設定画面に戻り、「接続情報を読み込む」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。
スクリーンショット 2022-02-21 18.09.11.png
転送先となるデータセット、テーブルを設定します
接続情報が正しく設定されていれば、データセット名、テーブル名はtrocco®︎の方で読み込んで一覧で表示してくれます。
スクリーンショット 2022-02-21 18.29.30.png
その他必要な設定を行い、「次のSTEPへ」を押します。
trocco®︎ではいくつかの転送モードを選択することが可能です。必ずしも毎回の転送で全てのデータを転送する必要はなく、また万が一転送に失敗してしまった際も不要なデータがテーブルに残らないように設定することができます。詳しくはこちらのヘルプページをご覧ください。
スクリーンショット 2022-02-24 0.46.47.png
なお、今回は転送設定を作成しながら接続情報の作成も行いましたが、ダッシュボードの「接続情報」から事前に設定を済ませておくことも可能です。
スクリーンショット 2022-02-24 10.10.34.png

1-5. データのプレビュー

設定に従って転送のプレビューが作成されます。
スクリーンショット 2022-02-24 1.10.png
しばらく待つとプレビューが作成されました。
スクリーンショット 2022-02-24 1.27.26.png
プレビューが作成されましたが、BigQueryではカラム名に日本語は使用できません。このまま転送を行うと失敗してしまう可能性があるのでプレビュー下部の詳細設定からカラム名の修正を行います。
スクリーンショット 2022-02-24 1.29.51.png
設定を変更し、再度プレビューを作成します。カラム名も変更され、問題なさそうなので次の確認画面へ進みます。
スクリーンショット 2022-02-24 1.34.33.png

1-6.確認画面

確認画面では設定内容が確認できます。
また既存の設定を編集した場合はこの画面で編集した内容が差分としてハイライト表示されます。
ページ下部の「保存して適用」を押しましょう。
スクリーンショット 2022-02-24 1.37.58.png
trocco®︎は設定の変更を履歴として保存することで必要に応じて過去の設定を復元する機能があります。今回は新規の設定なので初版とでもしておきます。
スクリーンショット 2022-02-24 1.41.55.png

2-1.転送設定の詳細確認

転送設定の詳細設定の画面に移動します。
「転送設定概要」タブでは大まかな内容が確認できます。
スクリーンショット 2022-02-24 1.49.52.png
「スケジュール・トリガー設定」タブから「スケジュールを追加」を押します。
スクリーンショット 2022-02-24 1.55.51.png
スケジュール設定のモーダルが出ます。ここで設定を行うことで定期的に転送が実行されるようになります。今回は毎週月曜日の0時に転送を行うよう設定をします。
スクリーンショット 2022-02-24 1.57.27.png
スクリーンショット 2022-02-24 1.57.43.png

2-2. データ転送ジョブの実行

設定はこれで終わりです。先程転送スケジュールを設定しましたが、今回は手動で転送を行ってみましょう。右上の「実行」を押します。
スクリーンショット 2022-02-24 2.04.15.png
実行メモの作成や、設定した場合はカスタム変数の展開方法を設定できます。特になにもないのでそのまま「実行」を押します。
スクリーンショット 2022-02-24 2.06.24.png
スクリーンショット 2022-02-24 2.09.16.png
転送が成功したようです。
スクリーンショット 2022-02-24 2.14.01.png

2. Google BigQueryの設定

特に設定することはありません。プレビュー画面から確認して見るとデータがきちんと転送されていることが確認できます。
スクリーンショット 2022-02-24 2.19.34.png

3. Tableauの設定

Tableauのコンソール画面から新規のワークブックを作成します。
スクリーンショット 2022-02-24 9.42.29.png
コネクタの一覧からGoogle BigQueryを選択します。Googleアカウントの認証を求められるので、先程転送先に使用したGoogle BigQueryを利用するアカウントで認証を行います。
スクリーンショット 2022-02-24 9.45.34.png
転送先のテーブルを選択するとデータが読み込めているのが確認できます。
スクリーンショット 2022-02-24 9.49.00.png
分析に必要なフィールドを選択、配置することで自動的にグラフが作成されます。
スクリーンショット 2022-02-24 9.54.28.png
他にもいくつか作成し、ダッシュボードに配置して完成です。
スクリーンショット 2022-02-24 9.59.34.png

まとめ

Kintoneのデータをノンコード、ノンプログラミングで可視化してみました。今回は簡単なテストデータを使用しましたが、trocco®︎を利用することでKintoneアプリで集積した大量の顧客データ、案件データも自動でDWHへ格納、BIツールで可視化という流れを作ることが可能です。
Kintoneをさらに活用してみたい方はぜひいかがでしょうか。
https://trocco.io/lp/index.html
今は無料トライアルも実施しています。この機会にぜひ一度お試しください。(申込時に、この記事を見た旨を記載して頂ければスムーズにご案内できます)
その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
trocco®︎の使い方まとめ(CRM・広告・データベース他)

新規登録して、もっと便利にQiitaを使ってみよう

  1. あなたにマッチした記事をお届けします
  2. 便利な情報をあとで効率的に読み返せます
ログインすると使える機能について
hiro_koba_jp
ゴルフエンジニア
primenumber_inc
ビッグデータ分析基盤向けデータ統合自動化サービス「trocco」などを提供する、データエンジニアリングスタートアップ

0 コメント:

コメントを投稿