「デジタルブレイクスルー-2020」の2人のキャプテン、または数時間でケースを解決する

Habrのオープンスペースには、Rosneftの従業員チームのキャプテンが2人いて、Digital Breakthrough 2020 ITマラソンの決勝戦に参加し、沈黙を守ることはできません。



RosneftはITイベントに無関心ではありません。なぜ、会社自体は、ITコミュニティを揺るがして緊急の問題を解決するために、毎年ハッカソンと課題を生成しています（ https://rn.digital/it2020）。ただし、その従業員はRosneft自身のハッカソン（マラソン）に参加することは許可されていません。外部の参加者との関係では倫理的ではありません。しかし、彼ら、企業のハイテクソフトウェアの開発者とプログラマーは、英雄的な強さに対して自分自身を測定したいと思っています！



したがって、さまざまなハッカソンへのRosneftの従業員の参加は、戦闘状態でのチームの一種の維持であり、インスピレーションとアイデアの源であり、ITタスクへの非標準的なアプローチの開発を奨励します。主なことは主な仕事を損なうことではありませんが、これはすでに明らかです。石油リーダーは、石油・ガス生産の分野でビジネスプロセスのデジタル化と情報技術の輸入代替を目指しているため、会社の従業員間の競争心の存在と世界の他の地域との競争意欲は良い形であると考えられます。



この記事では、RN-BashNIPIneftの従業員であるChingizAkhmetovとMayaBikmetovaが、クールなITイベントのフィナーレまでのチームの道筋についてカラーで説明し、洞察とライフハックを共有します。

ChingizAkhmetovと「InnBTG」チーム

まず自己紹介をしましょう。 「インBTG」は次のとおりです。「革新的に。見事に。技術的に。壮大に」。彼らはまた、ウラジミール・リジコフ、ラドミール・カリモフ、ムラド・ムシン、チンギス・アクメトフです。



1年ちょっと前、デジタルブレイクスルーのステージの1つである2019年のハッカソンがネイティブのUfaで行われたとき、私たちはそれに参加するチームを結成し、問題の解決に関与しました。その記念すべき時間に、カザンで開催された決勝に到達しました！残念ながら、当時、私たちのチーム全員がイベントに参加できたわけではありませんでした。したがって、緊急モードでは、チームの残党は他の都市からの同じレネゲードの新しい「ギャング」を形成する必要がありました（私たちのUfaにはCherepovetsとSt. Petersburgが加わりました）。残念ながら、決勝では勝つことができず、ノミネートすらできませんでした。したがって、昨年のハッカソンからは、競争のシンボルと決勝に勝つための覆われていないゲスタルトを備えた美しい明るいスウェットシャツの形の商品しかありません...



この点で、デジタルブレイクスルー-2020マラソンのウラルITハブの開始の2週間前の2020年に、最初は地域で、次に競争の最終段階で、輝かしい無条件の勝利のための新しいチームを作成するという強い意志の決定がなされました。



昨年と同様に、バックボーン（3人の戦闘機）は、油田の地質モデリング用のソフトウェアパッケージ「RN-GEOSIM」を開発している科学設計研究所の1つの部門の同僚から形成されました。また、信頼性のために、チームには銀行員が補充されましたが、ローンや住宅ローンのためではありませんが、彼は元学生のベンチの友人であり、彼のビジネスを知っているためです。このように、各参加者がプログラミングの特定の分野で経験を積んだ「ファンタスティックフォー」を集めることができ、何らかの形で専門家でした。





訴訟の勝者の発表中の放送のスクリーンショット。



経験豊富な参加者として、これまで以上にハッカソンの組織化のレベルが高まっていることに注目したいと思います。今年はさらに多くのタスクがあり、それらはより多様です。たとえば、タスクはWebサービスだけでなく登場しました。今回はオンラインでハッカソンを開催することで、参加者の生活をより快適にし、交通費を節約することができました。主要なニュース、興味深い人々へのインタビュー、さまざまなコンテストやクイズがYouTubeチャンネルで放送されています。参加者向けの情報はテレグラムチャンネルに掲載されています。大会のメインテレグラムチャットでは、一般的な質問に対するサポートとのコミュニケーションがあり、答えはすぐに来ます。メンバーやチームを見つけるためのチャネルもあります。チーム内のコミュニケーションには不和が選ばれました（チェックポイントでのケースエキスパートとのコミュニケーションにも使用されました）。一言で言えば、すべては人々のためです！



これとは別に、この地域への厳格な拘束力がなくなったという事実に「プラス」を付けたいと思います。私たちのチームはUfa出身ですが、一時は忙しく、Volga Hubに参加できませんでしたが、Uralに参加することができました。すべての放送の録音とストリーミング保護がYouTubeチャンネルに投稿されたことを嬉しく思います。透明で有益です。



私たちのチームは、Tyumen地域の情報化部門からの「CycleRoute」ケースの解決策に参加することを選択しました：「歩行者の交差点、自転車道、および都市住民の実際の歩行とサイクリングの初期配置を分析できるソフトウェアの開発」私たちがそんなに大ファンだというわけではありません。このタスクが選択されたのは、ケース所有者のインタビューで非常に詳細に説明されていたためです（ https://www.youtube.com/watch?v=hLPGCZ-5HRc）、そして主な目標は、いくつかの技術、アルゴリズムを取得することでした。これはまさに私たちのトピックです。





チームは、開始前にケースに優先順位を付けました。ウラルハブでのケースごとのチーム数の最終的な比率は、開始後に明らかになりました。



MVP（Minimum Viable Product、または私たちの意見では「最初の消費者を満足させるための最小限で十分な機能を備えた製品」）を最速で作成するのに役立つツールを選択することが非常に重要であることを理解しました。私たちにとって、それらは、ライブラリNetworkX（グラフを操作するため）とOSMnx（OpenStreetMapデータをグラフとして表すため）を備えたPythonです。 Python自体は低速であり、NetworkXにはロードグラフを操作するための特別なアルゴリズムがなかったため、このようなソリューションのパフォーマンスには多くの要望があります。私たちのプロトタイプでは、かなり小さなクラスタリングでの動作時間は数十分に達しました。そのような時間がユーザーにとって受け入れられないことは明らかですが、私たちはそのアイデアが機能していることを示しました。以下では、並列化を備えた特殊なアルゴリズムを使用して、計算カーネルをコンパイル済み言語に書き直すことをお勧めします。



私たちのアルゴリズムの簡単な本質は、都市全体（アルゴリズムのスキーム、左、上）がセクションにクラスター化されていることです。各セクションでは、自転車道の需要の程度が決定されます（アルゴリズムのスキーム、右、上）。道路グラフはフィルタリングされ、自転車道を建設できる道路のみが残ります。次に、フィルタリングされたグラフがクラスターと比較され、クラスターの要求されたセクションに分類される道路のみが残されます（アルゴリズムは機能します、左、下）。結果として得られる島は、自転車の経路のシステムが接続されるように、最短経路のアルゴリズムによって接続されます。つまり、サイクリストは、あるエリアから別のエリアに乗ることができます（アルゴリズムは右下で機能します）。





アルゴリズムのスキーム。



サブタスクに分けられました。1つは計算部分、2つ目はサーバーの起動、3つ目はWebページでの視覚化、4つ目はデスクトップビューです。私たちはほとんどすべてを達成することができました。結果のグラフを完全にクライアントに転送し、OpenLayersを介して描画することにしましたが、独自のタイルサーバーを展開する方がおそらく良いでしょう。





設計されたMVP回路図（最適ではない）。

最終結果

デジタルブレイクスルーコンペティションの決勝戦では、エネルギー省から「地域や産業によるロシア連邦の電力消費と経済指標の依存性をモデル化するためのシステムの開発」の事例がありました。地域のステージと比較して、決勝戦はより野心的でした。ケースの数が増加し（15対9）、ケースのチーム数が増加しました（26対10）。受賞者の賞金も増えています。正確な数はウェブサイトhttps://leadersofdigital.ruで確認でき ます。



問題に取り組み、ケースホルダーとの協議の結果を受けて、プロジェクトをPythonのJupyter Notebookに実装し、モデリングにエコノメトリックスを使用することにしました。モデルの従属変数は実際のエネルギー消費量であり、独立変数は採掘と製造の量でした。従属変数の予測は、次のアルゴリズムに従って実行されました



。1。工業生産が予測されます（線形トレンドが構築されます）

。グラフのセクションが強調表示され、トレンド係数の計算に使用されます。

b。線形トレンド係数は、最小二乗法によって決定されます。

2.電力消費の傾向の工業生産量への依存性のモデルが構築され







ます。3。エネルギー消費量は、構築されたモデルとSARIMAメソッドによるモデリングを使用して予測されます（記事https://habr.com/ru/company/ods/blog/327242/は私たちに大いに役立ちました。 ）。





残りの予測結果。



残念ながら、選択したアプローチはトップ3をわずかに下回り、22位になりました。今後も同様のハッカソンに参加しますか？もちろん！仕事に関係のない仕事を解くと、後で新鮮な目で仕事の仕事を見ることができます。

マヤビクメトワと「NEII」

Digital Breakthrough 2020の数週間前に、私は別の小さなハッカソンに参加し、私のチームが1位になりました。おそらく、これは全ロシアの競争で彼の手を試すという決定に影響を与えました。



同僚や友人のMarinaSemyonova、Guzel、Nail Akmurzinをチームに招待しました。これは、私が知っている友人と時間のプレッシャーで作業する方がはるかに簡単だからです。これは時間を無駄にすることはなく、ハッカソンの30〜36時間すべてを、MVPの開発と作成に費やすことができます。 NEIIチームとして、Volga IT Hub of Digital Breakthrough-2020に参加しました。この名前は長い間私たちにありました。人工知能（AI）に基づくシステムの開発に従事する研究機関の従業員という私たちの本質を最もよく反映していると私たちは信じています。



私の同僚（そして彼らは競争相手です）がすでに上で書いたように、複雑な疫学的状況のために、ハッカソンはオンラインで開催されました。 3つのチェックポイントがあり、モデレーター、技術専門家、ケースホルダーの代表者と話し合いました。彼らは私たちのアイデアに耳を傾け、アドバイスを与え、私たちが行ったことを見て、私たちのプレゼンテーションを評価しました。



すべてのチームに10件のケースのリストが提供されました。登録時には優先順位をつけました。そして、チームにとって最も優先度の高いケースの1つは、ハッカソンで彼女のところに行くことでした。さらに、各ケースには問題の一般的な説明が含まれており、詳細なケースはコンテストの開始時にのみ提供されました。情報を自動化し、国民に社会的利益をもたらすインテリジェントなシステムを開発する必要がある場合がありました。この訴訟の顧客は、サマラ地域の社会人口統計家族政策省でした。





開発されたソリューションの一般的なスキーム。



また、Discordについてチャットしてタスクについて話し合いました。彼らは一緒に解決策のアイデアを投げかけ、誰が何をするかを配布しました。マリーナはサーバーロジック（バックエンドとデータベース）、Guzelはプレゼンテーション、Nailはフロントエンドを担当しました。機械学習モデルの開発、チーム管理、ケースホルダーとのコミュニケーションを引き継ぎました。



このタスクに取り組んだ結果、2つのシステムのプロトタイプを実装しました。



1.チャットボットの形式のWebアプリケーションで、メリットについて住民に通知します。



クライアントの部分では、市民は自分の生活状況を説明します。結果の要求は、自然言語処理を担当するNLPサービスに送信されます。内部では、ユーザーの要求のカテゴリは、機械学習方法を使用して決定されます。言い換えれば、テキスト分類の問題は解決されています。モデルのNLP予測がデータベースに送信されます。期待されるメリットに関する必要な情報は、キーを使用してデータベースから返され、クライアントに再度提供されます。





メインバックエンドスクリプトは、NLPサービスとデータベースにアクセスします。



ダイアログボックスで、ユーザーは自分が受ける資格のある特典、収集する必要のあるドキュメントを確認できます。





メリットについて住民に知らせるためのチャットボットプロトタイプのスクリーンショット。



2.規範的および立法的な行為の更新をチェックするためのサービス。



訴訟当事者の代表者とのコミュニケーションの過程で、社会保障労働者の大きな苦痛は、法律の変更を迅速に特定するために多くの規制文書を定期的に見直す必要があることであることが判明しました。変更がある場合、従業員はローカルデータベースを更新します。当然、これには多くの時間と労力がかかり、従業員が直接人と仕事をする時間が少なくなります。このような日常業務は自動化できるし、自動化する必要があると確信しています。



この問題を解決するための最初の概算として、ローカルのソーシャルセキュリティデータベースのドキュメントを、「ConsultantPlus」などのオンラインサービスのデータベースの同じドキュメントと定期的に比較するサービスを提案しました。ドキュメントの違いを検出すると、サービスはソーシャルセキュリティワーカーに「ドキュメントXに変更がありました。ローカルデータベースを更新してください。」したがって、社会保障担当官は、大量の文書をシャベルする必要から解放されます。彼/彼女が市民と一緒に働いている間、機械は彼/彼女のために法律の変更を検出します。



問題の技術的な側面について話す場合、テキストを比較する問題を解決するためのベースラインとして、情報検索でよく使用される古典的なアプローチを使用しました。これは、数値ベクトルの形式でドキュメントを表し、その後にそれらの間の余弦距離の推定値が続きます。





2つのドキュメントのベクトル間のコサイン距離を計算するための式。



そして今、いくつかのハッカソンサバイバルハック。使用するライブラリのリストとバージョンを最初に承認することをお勧めします。これにより、バージョンの競合が原因でプロジェクトがビルドされず、10分以内にレビューのためにコードを送信する必要がある状況を回避できます。ちなみに、コンテスト終了の30分前にプレゼンテーションとソリューションへのリンクを投稿し、最後の瞬間まで残さない方がよいでしょう。ハッカソンでは、プロジェクト全体が最終的に配信される5分前にサイトがクラッシュしたことに人々は本当に緊張していました...





使用されたテクノロジー：長生きするオープンソース！主なことは、フレームワークのバージョンを追跡することです。



一方では、ハッカソンは技術スペシャリストの競争であり、審査員はコードを評価します：読みやすさ、操作性、ソリューションアーキテクチャ、ドキュメント。一方、ケースホルダーがあり、彼の代表者はITの世界から遠く離れています。彼らはまず第一に、プレゼンテーションの美しさ、一貫性、明快さ、インターフェースデザインを高く評価しています。言い換えれば、プレゼンテーションのみを処理するチーム内の人、その助けを借りてケースホルダーにソリューションを「販売」する人がいる方が良いです。

最終結果

残念ながら、2020年のデジタルブレイクスルーの決勝戦に備える時間はありませんでした。年末までに、仕事は伝統的に増加します。だから私たちは運とお互いに頼りました！

ハッカソンの決勝戦では、同じラインナップでした。今回、Sberbankからのケースに遭遇しました。タスクは、メールの処理を高速化するのに役立つソリューションを作成することです。上級管理職は1日に2,000通のメールを整理する必要があり、少なくとも3時間かかるため、これは大きな問題であることが判明しました。



最初のチェックポイントで、Sberbankの開発者はこの問題について長い間困惑していると言われましたが、具体的な解決策はまだ考えられていません。最終的に何かに到達するのに役立つアイデアが必要でした。



そして、私たちは考え始めました。 2時間で、さまざまな興味深いアイデアが生成されました（1つが提案され、もう1つが補足されたため、これはハッカソンの最もクリエイティブな部分であり、このアイデアは通常の電子メール= Dに代わる完璧なツールになりました）。



その結果、通信をチャットに変換し、チャットを件名ごとにフォルダにグループ化し、システムが通信（チャット）の重要性を自動的に判断する独自のメールクライアント「Sber-secretary」の実装を考案しました。チャットでは、未読のメッセージを聞いたり、メッセージのテキストを口述したり、1つの音声コマンドで新しい文字を作成したり、メインウィンドウに、1つの通信の代わりに、1から4に高速化するために、いくつかの追加機能を表示したりできます。





メールクライアントインターフェイスのレイアウト



次に、私たちは責任を割り当てました。私はプロジェクトのサーバー側を担当し、ネイルはクライアント側を担当し、マリーナはfigmaでデザインを開発し、グゼルは美しく広々としたプレゼンテーションを行い、防御の準備をしました。



動作するアプリケーションを作成する時間がないことはすぐにわかりましたが、少なくともクライアント部分が成熟することを望んでいました。大変な作業であることが判明し、その結果、メールクライアントがどのような機能を備えているかをfigmaで示し、プロジェクトのアーキテクチャを説明し、そのようなソリューションの多くの利点を挙げ、Outlookと比較し、プロジェクトのコストと実装の段階を比較しました。



チェックポイントの1つで、トラッカーが正しい方向に進んでいることを示したため、審査員は私たちの決定を気に入ったと言えます。なんとかうまくいくアプリケーションを作ることができませんでしたが、11チーム中トップ5（5位）に入りました。5位は私たちにとってどういう意味ですか？これは、次回最高の結果を示す機会があることを意味します！



「DigitalBreakthrough-2020」にも参加された方は、コメントに感想や感想を書いてください！