ApacheNiFiによるJira分析の自動化

紳士の皆さん、こんにちは。私はマーシャです。23歳です。ApacheNiFiの研究と実装を6か月間行っています。



この技術に精通してから1か月後に、抗うつ薬を使い始めたことに注意する必要があります。 NiFiがトリガーだったのか、最後のストローだったのかは定かではなく、この事実への関与も不明です。しかし、私はこの道の潜在的な初心者を待っているすべてを概説することを約束したので、私はできるだけ率直でなければなりません。



技術的には、Apache NiFiがさまざまなサービス間の強力なリンクである（サービス間でデータを交換し、途中でそれらを強化および変更できるようにする）とき、私はアナリストの観点からそれを検討します。これは、NiFiが非常に便利なETLツールであるためです。特に、チームとして、SaaSアーキテクチャの構築に重点を置いています。



私のワークフローの1つ、つまりJira Softwareに関する週次レポートの作成と配布を自動化した経験について、この記事で開示したいと思います。ちなみに、タスクトラッカー分析手法についても説明して公開します。これは、従業員が何をしているのかという質問に明確に答えます。また、近い将来、説明して公開します。



この記事は初心者向けですが、経験豊富なアーキテクト（いわば教祖）がこの記事を批評したり、さまざまな活動分野でNiFiの使用例を共有したりすると、正しくて役立つと思います。私を含めてたくさんの人に感謝します。

ApacheNiFiの概念を簡単に説明します。

Apache NiFiは、システム間の自動化とデータフロー制御のためのオープンソース製品です。始めるには、2つのことをすぐに理解することが重要です。



1つ目はローコードゾーンです。私が意味したのは？ NiFiに入った瞬間から抽出までのデータを使用したすべての操作は、標準のツール（プロセッサ）を使用して実行できると想定されています。特別な場合のために、bashからスクリプトを実行するためのプロセッサがあります。



これは、NiFiで何かを行うのが間違っていることを示唆しています-それは非常に困難です（しかし、私はなんとかしました！-それが2番目のポイントです）。プロセッサがすぐにあなたを蹴るので難しい-どこにエラーを送信しますか？それらをどうするか？どのぐらい待つのか？そして、ここであなたは私に少しスペースを与えました！ドキュメントを注意深く読みましたか？等







2番目（キー）はストリーミングプログラミングの概念であり、それ以上のものではありません。ここで、私は個人的にすぐにはわかりませんでした（判断しないでください）。Rで機能プログラミングの経験があり、無意識のうちにNiFiで機能を形成しました。最終的に-やり直し-私の同僚は、これらの「機能」を友達にしようとする私の無駄な試みを見たときに私に話しました。



今日は理論で十分だと思います。練習からすべてをもっとよく学びましょう。毎週のJira分析の技術仕様の類似性を定式化しましょう。

• その週の脂肪から作業ログと変更の履歴を取得します。
• この期間の基本的な統計を表示し、質問に答えます：チームは何をしていましたか？
• 上司や同僚にレポートを送信します。

世界により多くの利益をもたらすために、私は毎週の期間にとどまらず、はるかに大量のデータをダウンロードする機能を備えたプロセスを開発しました。



それを理解しましょう。

最初のステップ。APIからデータを取得する

Apache NiFiには、別のプロジェクトのようなものはありません。共通のワークスペースと、その中にプロセスのグループを形成する機能しかありません。これで十分です。



ツールバーでプロセスグループを見つけて、Jira_reportグループを作成します。 グループに移動して、ワークフローの作成を開始します。組み立て可能なプロセッサのほとんどは、アップストリーム接続を必要とします。簡単に言うと、これはプロセッサが起動するトリガーです。したがって、フロー全体が通常のトリガーで始まることは論理的です。NiFiでは、これがGenerateFlowFileプロセッサです。 彼はどんなお仕事をしていますか。属性とコンテンツのセットで構成されるストリーミングファイルを作成します。属性は、コンテンツに関連付けられている文字列のキーと値のペアです。















コンテンツは通常のファイルであり、バイトのセットです。コンテンツがFlowFileの添付ファイルであると想像してください。



AddProcessor→GenerateFlowFileを実行します。設定では、まず、プロセッサ名を設定することを強くお勧めします（これは良いトーンです）-[設定]タブ。もう1つのポイント：デフォルトでは、GenerateFlowFileはストリームファイルを継続的に生成します。これが必要になる可能性はほとんどありません。実行スケジュールをすぐに、たとえば最大60秒（[スケジュール]タブ）に増やします。 また、[プロパティ]タブで、レポート期間の開始日（report_from属性）をyyyy / mm / ddの形式の値で示します。 Jira APIのドキュメントによると、アンロードの問題には1000以下の制限があります。したがって、すべてのタスクを取得するには、ページネーションパラメーターstartAtとmaxResultsを指定するJQLリクエストを作成する必要があります。















UpdateAttributeプロセッサを使用して属性を設定しましょう。同時に、レポートの生成日を固定します。後で必要になります。 おそらくactual_date属性に気づいたでしょう。その値は、式言語を使用して設定されます。その上にクールなチートシートをキャッチします。 これで、JQLを太くすることができます。ページネーションパラメータと必須フィールドを示します。その後、HTTPリクエストの本文になりますので、コンテンツに送信します。これを行うには、ReplaceTextプロセッサを使用し、その置換値を次のように指定します。

{"startAt": ${startAt}, "maxResults": ${maxResults}, "jql": "updated >= '2020/11/02'", "fields":["summary", "project", "issuetype", "timespent", "priority", "created", "resolutiondate",  "status", "customfield_10100", "aggregatetimespent", "timeoriginalestimate", "description", "assignee", "parent", "components"]}

属性リンクがどのように記述されているかに注目してください。



おめでとうございます。HTTPリクエストを送信する準備が整いました。 InvokeHTTPプロセッサはここに適合します。ちなみに、彼は何でもできます...私はメソッドGET、POST、PUT、PATCH、DELETE、HEAD、OPTIONSを意味します。そのプロパティを次のように変更してみましょう



。HTTPメソッドPOSTがあります。



私たちのfatのリモートURLには、IP、ポート、および/ rest / api / 2 / search？Jql =が含まれます。



基本認証ユーザー名と基本認証パスワードは、太った資格です。



Content-Typeをapplication / json bに変更し、Send Message Bodyでtrueにします。これは、リクエスト本文の前のプロセッサから送信されるJSONを送信することを意味します。



適用します。







apishの応答は、コンテンツに含まれるJSONファイルになります。その中には、システム内のタスクの総数を含む合計フィールドと、すでにいくつかのタスクが含まれている問題配列の2つに関心があります。答えを解析して、EvaluateJsonPathプロセッサについて理解しましょう。



JsonPathが1つのオブジェクトを指している場合、解析結果はフローファイル属性に書き込まれます。これが例です-合計フィールドと次の画面。 JsonPathがオブジェクトの配列を指している場合、フローファイルを解析した結果、各オブジェクトに対応するコンテンツを含むセットに分割されます。次に例を示します-問題フィールド。別のEvaluateJsonPathを配置し、次のように記述します。プロパティ-問題、値-$。issue。











これで、ストリームは1つのファイルではなく、多数のファイルで構成されます。それぞれのコンテンツには、1つの特定のタスクに関する情報を含むJSONが含まれます。



進め。 maxResultsを100に設定したことを覚えていますか？前のステップの後、最初のタソクが100個あります。もっと取得して、ページネーションを実装しましょう。



これを行うには、開始タスク番号をmaxResultsだけ増やしましょう。 UpdateAttributeをもう一度使用してみましょう。startAt属性を指定し、それに新しい値$ {startAt：plus（$ {maxResults}）}を割り当てます。



さて、タスクの最大数に到達するためのチェックなしでは実行できません-RouteOnAttributeプロセッサ。設定は次のとおりです。 そしてループします。合計すると、開始タスク数がタスクの総数より少ない限り、サイクルが実行されます。それからの出口で-tasoksの流れ。プロセスは次のようになります。















はい、友達、私は知っています-あなたは各広場への私のコメントを読むのにうんざりしています。原理そのものを理解したい。私はそれに反対するものは何もありません。



このセクションでは、初心者がNiFiに簡単に参加できるようにする必要があります。それなら、私が惜しみなく提示したテンプレートを手にしたので、詳細を掘り下げるのは難しくありません。

ヨーロッパ中のギャロップ。作業ログのアップロードなど。

さて、スピードを上げましょう。彼らが言うように、違いを見つけてください： より簡単な認識のために、私はワークログと変更の履歴をアンロードするプロセスを別のグループに移しました。ここでは、次のとおりです。 自動的にJiraのからの作業ログをアンロードする際に制限を回避するには、個別にそれぞれのタスクを参照することをお勧めします。それが彼らの鍵が必要な理由です。最初の列は、tasokのストリームをキーのストリームに変換するだけです。次に、アピッシュに目を向けて答えを保存します。 すべてのタスクの作業ログと変更ログを別々のドキュメントの形式で整理すると便利です。したがって、MergeContentプロセッサを使用して、すべてのフローファイルのコンテンツをそれに接着します。























また、テンプレートには、エピックごとにデータをアンロードするためのグループがあります。ジラの叙事詩は、他の多くの人が拘束する一般的なタスクです。このグループは、一部のタスクのエピックに関する情報を失わないように、タスクの一部のみがマイニングされる場合に役立ちます。

最終段階。レポートの生成と電子メールによる送信

はい。すべてのドットがアンロードされ、2つの方法で移動しました。ワークログをアンロードするためのグループと、レポートを生成するためのスクリプトです。後者では、STDINが1つあるため、すべてのタスクを1つの山に集める必要があります。これはMergeContentで行いますが、その前に、最終的なjsonが正しくなるように、コンテンツを少し修正します。 スクリプト生成スクエア（ExecuteStreamCommand）の前に、興味深い待機プロセッサがあります。彼は、ワークログアンロードグループにあるNotifyプロセッサから、すべての準備が整い、次に進むことができるという信号を待ちます。次に、bash-a --ExecuteStreamCommandからスクリプトを実行します。そして、PutEmailを使用してチーム全体にレポートを送信します。











スクリプトについて詳しく説明します。また、Jira Software分析を当社に実装した経験については、別の記事で詳しく説明します。この記事は先日準備が整います。



要するに、私たちが開発したレポートは、ユニットまたはチームが行っていることの戦略的ビューを提供します。そして、これはどんな上司にとってもかけがえのないものです、あなたは同意しなければなりません。

あとがき

スクリプトを使ってこれらすべてを一度に実行できるのなら、なぜ疲れ果ててしまうのでしょうか。はい、同意しますが、部分的にです。



Apache NiFiは開発プロセスを簡素化するのではなく、操作を簡素化します。いつでもスレッドを停止し、編集して最初からやり直すことができます。



さらに、NiFiは、会社が生きているプロセスをトップダウンで表示します。次のグループでは、別のスクリプトを作成します。もう1つは私の同僚の裁判です。わかりますよね？あなたの手のひらの上で建築。上司の冗談として、後で全員を解雇できるようにApache NiFiを実装していますが、ボタンを押したのは私だけでした。しかし、これは冗談です。



さて、この例では、レポートを生成して手紙を送るためのスケジュールタスクの形のパンもとてもとても楽しいです。



私は告白します、私は私の魂を注ぎ出し、技術を研究する過程で私が踏んだレーキについてあなたに話すことを計画していました-それらの数。しかし、ここではすでに長い間読まれています。興味のあるトピックがあれば教えてください。それまでの間、友達、ありがとう、コメントであなたを待っています。

---

便利なリンク

ApacheNiFiを指で文字でカバーする独創的な記事。ロシア語の



短いガイド。



クールな表現言語チートシート。



英語を話すApacheNiFiコミュニティは質問を受け付けています。Telegram



のロシア語を話すApacheNiFiコミュニティは、すべての生き物よりも生き生きとしています。