Tableau Hyper API-BIチームはあなたに感謝します

BIチームが、タブロイドデータストレージ形式「ハイパー」を使用してMongoDBからTableauサーバーにデータを配信する自動プロセスを整理し、データ生成を設定するプロセスがシンプルなWebインターフェイスを介して実行されるように支援した方法について説明します。



最初に、内部製品A1にプログラムでデータソースを収集し、それらをTableau Serverに公開するように教えた前後の、プロセスがどのようになっていたかを簡単に説明します。次に、BIコマンドの問題と見つかった解決策を詳しく調べ、内部を調べます（ここでは、.hyperファイルの作成、tableauサーバーでのファイルの公開、およびハイパーの更新について説明します）。猫へようこそ！







私たちDAN広告グループは、メディア市場の産業用メーターであるMediascopeからの広告監視データを使用して多くの作業を行っています。さまざまなシナリオがあります。生データをアップロードする従業員もいれば、既製の前処理済みデータベースを使用する従業員もいれば、このデータに基づいて自動ダッシュボードの開発を注文する従業員もいます。最後のシナリオについて詳しく説明しましょう。BI開発者はTableauでダッシュボードを収集しますが、「描画」を開始する前に、開発に便利な目的の形式にデータを移動する必要もあります。



原材料から美しい自動グラフまでのデータのライフパスは、大きく4つのステップに分けることができます。

1. 生データの取得
2. データのクリーニングと改訂
3. Tableauのデータソースの作成
4. 視覚化の開発

そうだった

Tableauのデータソースをプログラムで生成する方法を学ぶ前は、プロセスは次のようになりました。





1.生データの取得



ユーザーは、内部ツールA1を使用して表形式のレポートを生成します。これについては、以下で詳しく説明します。



2.データのクリーニングと変更データ



変換機能もA1ツールに含まれています。その後、クリーンアップされたデータをxslx / csvにアップロードして、ツールの外部で引き続き作業できます。ここで注目に値するのは、一部のユーザーは自分自身を1番目のポイントに制限し、レポートをアップロードした後、自分でデータを変更することです。



3.Tableauのデータソースを作成する



以前は、ダッシュボードのお客様には、前の段落で生成した一連のExcelが付属していました。そして、BI開発者は、これらの元の作品を独自の単一のデータソース（タブロイドスラング）に持ち込みました。 Tableauツールだけに限定することが常に可能であるとは限りませんでした。彼らはしばしばPythonでスクリプトを作成しました。



4.ビジュアライゼーションの開発



最後に、氷山の一角はダッシュボードを作成し、それをTableau Serverに公開して、顧客がそれを見ることができるようにすることです。実際には、レンダリングは、データを収集して更新を設定するよりも時間がかからないことがよくあります。



カスタムソリューションの数が増えるにつれ、3番目のステップで苦痛が蓄積しましたが、これは維持と実装に費用がかかりました。また、2番目のステップのデータのエラーが定期的にリークされていました。2つのシステム（A1とTableau）の中間のExcelが、ユーザーに「ペンで何かを修正しましょう。誰も気付かないでしょう」とプッシュしていました。

になった

主なタスクは、ステップ2と3の間の余分な毛皮を排除することでした。その結果、A1にデータソースを収集してTableauServerに公開するように教えました。何が起こったのか：





ここで、ステップ1から3がA1で実行されます。出力で、BIチームは、視覚化を開発するためにTableauServerで公開されたデータソースを受け取ります。Hyper APIが接続リンクになりましたが、これについては後で説明します。

結果

さまざまなツールで作業するときのノードの数を減らしました。これで、プロセスのどこかでミスを犯すことがより難しくなり、エラーが発生した場所を見つけやすくなり、障害の調査にかかる時間が短縮されます。システムは、一般的なエラーについてユーザーに警告します。



BIチームの時間を解放します。以前は、テンプレートソリューションはほとんどなく、多くのカスタマイズがありました。ほとんどの場合、Python処理はプロジェクトごとに追加されました。まれに、処理が不要な場合は、Tableau Desktop（メインの開発ツール）で直接作業しました。



これで、データソースの準備は次のようになります。A1インターフェイスで必須フィールドをクリックし、（必要に応じて）行に展開するフィールドをマークし、オプションでフィールドのタイプを事前に定義します。



TableauServerをロードしませんかさばるデータソースの更新-更新はA1によって行われ、既製のハイパーがサーバーにダウンロードされます。



*ボーナス-ユーザーにはA1内で作業することをお勧めします。以前に一部のユーザーが生のレポートをアンロードした後、ツールの外部で手動で変更した場合、ステップ1から3までのプロセス全体がA1で行われるため、ユーザーはそこでクリーニングプロセスを設定する方が簡単です。

問題と解決策

A1について少し

ソリューションについて説明する前に、データソースの生成をアタッチした内部製品A1について説明する必要があります。



A1は社内製品であり、主な仕事が次の従業員のワークフローを簡素化するように設計されています。

• MediaScopeソフトウェア製品からデータを取得する
• このデータを対象のアナリストにとって便利な形式に（クリーンに）持ち込みます
• 必要に応じて、ダッシュボードを作成するためのデータを準備します（これについては本日説明します）

ユーザーがデータのクリーニングを終了すると、データはA1システムに保存されます。私たちの用語では、これは「コンテナ」と呼ばれます。コンテナはMongoDBの通常のドキュメントであり、Tableauサーバーに転送する必要があります。

BIチームの問題

私たちのBI開発チームは、MongoDBに保存されているA1から何らかの方法でデータを取得し、受信したデータに基づいてダッシュボードを構築する必要がありました。まず、通常のスコアボードツールを使用してMongoDBからデータをフェッチしようとしましたが、これでは問題は解決しませんでした。

• データはMongoDBに保存されるため、スコアボードの入り口で任意の構造のデータを受信します。つまり、このロジックを常に維持する必要があります。
• MongoDBからデータを集約するには、コレクション全体ではなく、コレクションから特定のレコードをドラッグする必要がありました。Tableauドライバーはこれを実行できません。
• 特に、データを取得するだけでは不十分でした。一部の列を行に「ピボット解除」するために、データを「展開」する必要がある場合がありました。これも、一言で言えば、それほど簡単なことではありませんでした。

私たちは何を思いついたのですか

Tableau Hyper API ライブラリを使用して、私のバイクでこの問題を解決しようと決心しました。このライブラリを使用すると、データを簡単に追加できる.hyper形式のファイルを作成し、それをデータソースとして使用して、サーバーボード上にダッシュボードを作成できます。



スコアボードの開発者がハイパー自体を説明すると、次のようになります。

Hyperは、データベースクエリを効率的に評価することにより、大規模または複雑なデータセットを迅速に分析するのに役立つ高性能のメモリ内データエンジンです。Tableauプラットフォームに基づいて、Hyperは独自の動的コード生成技術と高度な同時実行テクノロジーを使用して、抽出とクエリで高いパフォーマンスを実現します。

私たちのプログラムでの作業のおおよそのプロセスは次のとおりです。

• ユーザーがコンテナと目的の列を選択します
• システムはコンテナからデータを引き出します
• 受信したデータに基づいて、システムは列のタイプを判別します
• ハイパーの作成とハイパーへのデータの挿入が初期化されます
• ハイパーはスコアボードサーバーにロードされます
• BI開発者はサーバー上のハイパーを確認し、それに基づいてダッシュボードを作成します

新しいデータがコンテナに注がれると、ハイパーを更新する必要があるという信号がシステムに送信されます。

• システムはスコアボードサーバーからハイパーをダウンロードします
• MongoDBから新しいデータを取得し、ハイパーを更新します
• その後、システムは新しいハイパーをサーバーにアップロードし、既存のハイパーを上書きします。
• ユーザーは「更新」ボタンをクリックするだけで、ダッシュボードに最新の情報を表示できます。

ユーザーに表示されるもの

前述のように、A1はWebアプリケーションです。 Vue.jsとVuetifyを使用して、フロントエンドのハイパー生成サービスを作成しました。



アプリケーションインターフェイスは3つの画面に分かれています。







最初の画面で、ユーザーは目的のコンテナーと列を選択します。



[ピボット解除]オプションが有効になっている場合、ハイパーに2つの追加の列が作成されます：変数-メトリック列によって選択された列の名前と値-これらの列からの値。



ディメンション列は、同じ名前の選択された列を持つ列をハイパーに追加します。選択した列の数ディメンションとその名前は、ハイパー内のテーブルの整合性が侵害されないように、すべてのコンテナーで同じである必要があります。したがって、コンテナー内で異なる名前が付けられている場合に、選択した列の名前を指定できる列「ハイパー名」があります。







これで、ハイパーを設定するプロセスは終了です。ユーザーは2番目の画面に移動し、[ハイパーを作成]をクリックして、ログでイベントの進行状況を確認するだけです。







3番目の画面には、追加の設定が含まれています。

• ハイパーを自動的に更新するシステムが必要ない場合は、更新の無視をオンにすることができます
• 更新レポートを送信するメールを指定できます
• 値列のデータタイプを手動で指定できます（ピボット解除モードでのみ使用されます）：float、string、またはシステムによって自動的に決定されます（タイプについてはさらに説明します）
• コンテナ内の選択した列のデータタイプを指定することもできます。

ボンネットの下にあるもの

A1はPythonで書かれています。データを処理するために、Pandasを使用し、Pandasからのデータをシリアル化して、MongoDBGridFSにピクルスして保存します。



ハイパーを作成するコマンドを受信すると、システムは次の操作を実行します。

• MongoDBから必要なすべてのコンテナをアンロードし、データをpandasdatafremesに逆シリアル化します
• データを準備します：データフレームに必要な列のみを残し、新しい名前を付け、必要に応じてpandas.meltを介してテーブルを展開します
• ユーザーが列のデータタイプを設定した場合は、データをfloat32またはstringに変換します
• データを使用したすべての準備作業の後、システムはハイパーapiを介してファイルを作成し、tabcmdを介してファイルをスコアボードサーバーに送信します。

列のデータタイプについて少し説明する価値があります。A1コンテナにデータを保存する機能の1つは、ユーザーが列に割り当てるタイプを気にせず、パンダが完全にそれを行うことです：システムは、数値と文字列値が列に存在する状況に冷静に対処します。ただし、ハイパーはこれを好みません。列がint型である必要があることを彼に伝えると、システムは整数以外のものを挿入しようとすると誓います。したがって、ハイパーでは、stringとfloatの2つのデータタイプのみを使用することにしました。



それで、私たちは仕事の一般的な原則を理解しました、ハイパー自体で働くことについて話しましょう。

.hyperファイルの作成

Hyper APIを使用するには、ライブラリをインストールする必要があります。こちらの公式Webサイトからダウンロードできます。このツールの操作方法の良い例もいくつかあります。主なポイントを簡単に説明します。



hyiperファイル自体は一種のデータベースであり、SQLiteをいくらか連想させます。apiを介して、次のようなSQL構文を使用してデータにアクセスできます。

f"SELECT {escape_name('Customer ID')} FROM {escape_name('Customer')}"

システムはPythonで記述されているため、対応する言語のライブラリも使用します。ファイルを作成するときは、スキーマ名、テーブル名、および列をタイプで指定する必要があります。Tableau Serverが本のデータを抽出するために登るのはこのスキーマ内のテーブルであるため、スキーマとテーブルの名前は「Extract」と呼ばれる必要があります。

with HyperProcess(Telemetry.SEND_USAGE_DATA_TO_TABLEAU) as hyper:
    with Connection(
        hyper.endpoint, self.fullpath_hyper, CreateMode.CREATE_AND_REPLACE
    ) as connection:
        connection.catalog.create_schema("Extract")
        main_table = TableName("Extract", "Extract")
        example_table = TableDefinition(main_table)

テーブルを作成したら、列を作成してタイプを設定する必要があります。前に述べたように、データには2つのタイプ（フロートまたは文字列）しかないため、データフレーム内の列のタイプに基づいて、これを列に設定します。

for column in dataframe.columns:
    if dataframe[column].dtype.name in ("category", "object"):
        example_table.add_column(TableDefinition.Column(column, SqlType.text()))

    elif dataframe[column].dtype.name in ("float32"):
        example_table.add_column(
            TableDefinition.Column(column, SqlType.double())
        )

    connection.catalog.create_table(example_table)

テーブルを作成した後、データを挿入できます。

with Inserter(connection, example_table) as inserter:
    for val in dataframe.values:
        inserter.add_row(val.tolist())
    inserter.execute()

ここでは、データフレームを1行ずつ実行し、inserter.add_row （）を介して値を含むリストを累積します。実際、apiハイパーには関数add_rows（）があり、リストのリストを取得して、すでに値を挿入しています。なぜこれが行われなかったのですか？ RAMを節約するには：データフレームから値のリストのリストを提供するには、パンダにvalues.tolist（）を実行するように依頼する必要があります。また、1億5000万行のデータがある場合、RAMの操作は非常にコストがかかることがわかりますが、パフォーマンスにはまったく影響しません（いずれの場合も、行を繰り返し繰り返すため、ハイパーの作成速度が低下したことに気づきませんでした）。さらに、add_rows（）構文シュガーのように機能します。実際にはリストのリストを取得し、データを繰り返し追加します。



これでハイパーの作成は完了です。次に、サーバーに公開する必要があります。

Tableauサーバーへのファイルの公開

tableau-serverにアクセスするには、tabcmdユーティリティを使用します。これはサーバーに接続して管理機能を実行できるコンソールユーティリティです。ユーザー、グループ、ブックなどを作成します。



Pythonサブプロセスを介してtabcmdコマンドを実行します。Popen：

popen = subprocess.Popen(
    f'/opt/tableau/tabcmd/bin/tabcmd publish "{fullpath_hyper}" -n "{filename}" -o -r "A1_test" '
    '-s http://tableau.domain.com -u "username" -p "password" --no-certcheck',
    shell=True,
    stderr=subprocess.PIPE,
    stdout=subprocess.PIPE,
)
return_code = popen.wait()
if return_code:
    error = str(popen.communicate()[1])
    return f"     . {error}"

次のコマンドとキーをtabcmdに渡します。

• 公開：ファイルをサーバーにアップロードします
• -n（-name）：サーバー上にあるファイル名
• -o（-overwrite）：この名前のファイルがある場合は、上書きします
• -r “A1_test” (--project): ( )
• -s (--server): tableau-
• -u -p:
• --no-certcheck: SSL-

新しいハイパーを作成する方法を理解しましたが、ハイパーが10個のコンテナーで構成され、そのうちの1つが新しいデータを受信した場合はどうすればよいでしょうか。ハイパーを更新します。



新しいデータがコンテナに到着すると、システムはこのコンテナを使用するハイパーがあるかどうかを確認します。ある場合、タスクはハイパーを更新することです。



どのコンテナからどのデータがハイパーにあるかを理解するために、システムはハイパーを作成するときに追加のcontainer_id列も作成します。このアプローチでは、更新が非常に簡単になります。

• サーバーからファイルを取得します
• ハイパー内のすべての行を削除します。container_idは更新されたコンテナーと同じです。
• 新しい行を挿入します
• 上書きファイルをサーバーにアップロードし直します。

ファイルを取得するプロセスは、ファイルをダウンロードするプロセスとは少し異なります。まず、サーバーから.hyperファイルを取得するのではなく、.tdsxアーカイブを取得します。これを解凍して、.hyper自体を開きます。



ファイルを取得するには、tabcmdを使用します。

popen = subprocess.Popen(
    f'/opt/tableau/tabcmd/bin/tabcmd get "datasources/{filename_tdsx}" '
    f'-s http://tableau.domain.com -u "username" -p "password" '
    f'--no-certcheck -f "{fullpath_tdsx}"',
    shell=True,
    stderr=subprocess.PIPE,
    stdout=subprocess.PIPE,
)
return_code = popen.wait()
if return_code:
    error = str(popen.communicate()[1])
    return f". {error}"

ここでは、次のコマンドとキーを使用します。

• get：サーバーからファイルを取得します。test.hyperファイルがサーバー上にある場合は、test.tdsxファイルを参照する必要があり、それらはすべてデータソースディレクトリにあります（スコアボードのそのような機能がコメントで共有されている理由をグーグルできませんでした）
• -f（-filename）：ファイル名と拡張子を含むフルパス。ファイルの保存場所

ファイルがダウンロードされたら、zipファイルを介して解凍する必要があります。

with zipfile.ZipFile(fullpath_tdsx, "r") as zip_ref:
    zip_ref.extractall(path)

解凍後、ハイパーは./Data/Extractsディレクトリにあります。



ファイルの現在のバージョンができたので、不要な行をファイルから削除できます。

table_name = TableName("Extract", "Extract")

with HyperProcess(Telemetry.SEND_USAGE_DATA_TO_TABLEAU) as hyper:
    with Connection(hyper.endpoint, self.fullpath_hyper) as connection:
        connection.execute_query(
            f"DELETE FROM {table_name} WHERE "
            f'{escape_name("container_id")}={container_id}'
        ).close()

さて、ファイルの挿入と公開はすでに上で説明されています。

結論

収益は何ですか？ハイパーファイルの生成とtableau-serverへの自動配信の実装に関する作業を行った後、BIチームの負荷を大幅に軽減し、ダッシュボードのデータの更新が容易になり、最も重要なこととして、より高速になりました。ハイパーAPIに精通していることは苦痛ではなく、ドキュメントは適切に記述されており、テクノロジーをシステムに統合することは簡単でした。



ご清聴ありがとうございました！ご質問やご意見がございましたら、コメント欄にご記入ください。



この記事はVasilyLavrov（VasilyFromOpenSpace) — -