最新のデータ分析ツールの概要

好きなものを分析できるので、アナリストにはたくさんの種類があることをすぐに明らかにします。これらは、Webアナリスト、古典的なデータサイエンティスト、ビジネスアナリスト、金融アナリスト、および製品、システム、UXのアナリストです。この多様性の理由は、明らかに、多くの大企業では、数十または数百ものプログラマーとアナリストが同時に1つのプラットフォームまたは製品の作成に取り組むことができるためです。このような状況では、専門分野の大幅な狭まりが発生します。



これらのタイプのアナリストはすべて、独自の特定のツールセットを使用しています。したがって、私はこのデータそのものの起源の文脈の外で、データ分析の分野に直接焦点を当てます。したがって、Web分析、CRM、ERP、倉庫会計システム、ロジスティクス、およびドキュメント管理のシステムをレビューから除外します。

1.プログラミング言語

私たちは、例外的、ユニーク、またはまれな機会に住むことはありません。最も人気のあるものだけを考えてみましょう。そしてもちろん、まず第一に、それはPython言語です。



Python



Pythonは、データサイエンティストの手に渡る主要なツールとして機能し、強く型付けされておらず、ラピッドプロトタイピングまたは短いスクリプトまたはスクリプト用に設計されています。プログラミングとコンピュータサイエンスを理解している人々は、純粋なPythonで記述されたアルゴリズムが、パフォーマンスとメモリ要件の点で最適ではないという事実について彼を批判することがよくあります。



それにもかかわらず、このプログラミング言語には多くの利点があります。その中でも、Pythonはほとんどどこでも教えられているので、Pythonを知っているアナリストを見つけるのは比較的簡単です。 2番目の利点は、データと機械学習を操作するためのライブラリであり、ユーザーフレンドリーなインターフェイスを備えています。たとえば、sklearnを使用すると、前処理とモデル構築パイプラインを簡単に構築できます。すべての機械学習アルゴリズムと設定はクラスとオブジェクト内にカプセル化されているため、コードは非常にシンプルです。



R



最近まで、Pythonの主な競合相手はR言語でした。Rの知識の要求は、少なくとも「メリット」セクションの職務記述書に表示されることはめったにありません。 2018年半ばまで、私自身はRでプログラミングを行っていました。機械学習作業の一部を自動化しようとしながら、Rでのデータ準備とモデルトレーニング用のパイプラインを作成しようとして、車輪の再発明をほぼ試みました。少し後に、そのようなパイプラインがsklearnライブラリに長い間存在し、パイプラインと呼ばれていることを知りました。



C ++、C＃



既存のPythonライブラリが不十分で、高性能の新しいアルゴリズムを実装する必要がある場合は、コンパイルされ、静的に型指定されたC ++言語または同様の言語C＃を使用できます。



Matlab



MatLab言語は、同じ名前のソフトウェアパッケージと、工学計算のためのインタラクティブな環境に組み込まれています。確かに、この言語は、技術的な問題を解決することを目的としており、財務分析やビジネス分析を行うことを目的としていません。たとえば、MatLabを2回使用できたのは幸運でした。構造物のアコースティックエミッション信号を研究する過程と、人間の音声の処理でです。



Java、JavaScript、Scalaなどの他のプログラミング言語用のAPIを備えた機械学習ライブラリがいくつかあります。ただし、記事の目的が少し異なるため、ここでは詳しく説明しません。



少しお待ちください。次のセクションですべてについて学びます。

2.AutoMLおよびビジュアルデザイナー

AutoMLは、その基本的な考え方に従って、研究者のタスクを劇的に簡素化し、データの調査と準備、機能の構築、機械学習アルゴリズムの選択と比較、ハイパーパラメーターの調整のいくつかのステップを1つのステップに減らします。そして、このステップは、AutoMLと呼ばれる1つの大きなボックスを選択して構成することです。 AutoMLアルゴリズムを実行した結果、パイプラインが構築され、適切に構成され、トレーニングされます。 「生の」データを取得し、それをパイプラインに入れて、出力で予測の形で結果を待つだけです。



「AutoML」と呼ばれるボックスは、データがアップロードされる機械学習ライブラリまたはWebサービスのように見えます。



これがライブラリの場合、通常の20〜30行のコードが5行に圧縮されるという点で、sklearnとは異なります。そのようなライブラリの有名な例はH2Oです。



もう1つの例は、MLBoxライブラリです。彼女についての話はインターネットで見つけることができます。MLBoxを使用することで、彼女がどのようにしてkaggleコンテストで上位5％に入ることができたのかについてです。



次に、AutoMLクラウドサービスについて少し説明します。第一に、すべての主要なデジタル巨人は彼らの技術的解決策を提示することを急いでいます。それらのいくつかは次のとおりです。GoogleAutoMLテーブル、Azure Machine Learning（Microsoft）、SageMaker Autopilot（Amazon）。記載されているサービスは、主にクラウドプラットフォームで分析システムを開発している企業にとって興味深いものです。データインフラストラクチャ、コンピューティングリソース、および既製の機械学習アルゴリズムが同じプロバイダーによって提供される場合、非常に便利です。統合は本当にシームレスです。



デジタルの巨人に加えて、より小さなプレーヤーがAutoML市場に参入しています。たとえば、Bell Integratorは現在、neuton.aiプラットフォームで積極的に取り組んでいます。



同じセクションで、RとPythonの直接プログラミングと完全にパッケージ化されたAutoMLの中間の位置を占める機械学習システムを覚えておく価値があります。これらは、いわゆるワークフローコンストラクターです。2つの典型的な例は、MicrosoftのAzure Machine LearningDesignerとSberbankのSberDSプラットフォームです。



コンストラクターは、モデルの状態の最終チェックを含む、機械学習パイプライン全体を組み立てることができるブリックのセットです。これは、機械学習とモデルテストのプロセスを図の形で表現することに慣れている視覚的な考え方を持つ人々にとって間違いなく美しいソリューションです。

3.BIツール

ここでは、分析の分野におけるいくつかのBIソリューション（Power BI、Tableau、Qlick Sense、Qlick View、Excel）を確認したいと思います。



Power BI



Power BIは、デスクトップアプリおよびクラウドサービスとして利用できるMicrosoftの分析ツールのセットです。会社のクローズドITインフラストラクチャで機能する企業ソリューションがあります。 Power BIDesktopまたはPowerBI Servicesでの作業には、コーディングスキルは必要ありません。外部データソースとのオンライン統合、およびcsv形式のデータのダウンロードの可能性があります。



Power BIは、AutoMLを使用して機械学習の問題を解決できます。つまり、分類モデルや回帰モデルを構築するためにPythonのようにコードを記述する必要はありません。表形式のデータを分析する標準的なタスクに加えて、この機能には、感情分析、キーフレーズの抽出、言語認識、および画像へのタグの追加のためのテクノロジーが含まれています。



Tableau



Tableauは、Power BIと同様に、オンラインおよびデスクトップアプリケーションのファミリー全体でもあります。これらのアプリケーションはシンプルなビジュアルインターフェイスを備えており、ドラッグアンドドロップ方式で作業できます。数回クリックするだけで美しいチャートが作成されます。表形式でデータを分析し、さまざまなフィルターを適用することもできます。



Tableauを使用すると、回帰、時系列予測、クラスター分析などの機械学習の問題を解決できます。最も重要なことは、TableauがRおよびPythonの外部スクリプトと統合できることです。簡単に拡張できるツールであることがわかります。



QlickSenceとQlickView



QlickSenceとQlickViewは、配置とインターフェイスが異なりますが、本質的に、問題解決アルゴリズムでは、同じエンジン上に構築されています。 Qlick Viewは、スペシャリストが運営するエンタープライズプラットフォームです。QlickSenceは、技術者に助けを求めることなく、個人的に使用するためのツールです。サポート。



最初の知り合いでは、「美しさ」と視覚化のしやすさが印象的です。これは、人目を引く管理ダッシュボードを構築するためのまさにツールです。私の見解では、2次元グラフで地理マップとクラスターを分析するときにスケールを変更する機能は特に見事に見えます。映画のショットを思い出します。衛星の写真では、車のナンバープレートを作成したり、広場の群衆から人を区別したりしようとしています。



もう1つの興味深いオプションは、スマートフォンから分析を実行するためのモバイルアプリケーションの存在です。これは、小売ネットワークのトップマネージャーが空港で次のフライトに急いで、ダッシュボードへのリンクを含む予期しないメッセージをメッセンジャーで受信する方法です。

Qlick SenceはPythonと統合されているため、機械学習が可能です。



Excel



あなたは私を許してくれるでしょう、しかし私はExcelを通り過ぎることができませんでした。どんなに笑っても、どんな楽器もそれなりにいいです。たとえば、Excelのピボットテーブルとグラフは、数回クリックするだけで美しく作成されます。便利なスプレッドシートとcsv形式を組み合わせると、非常に優れたツールになります。

4.ケーキのハイライト。AIベースの自動コード生成

かつて、ネットで会ったとき、「Pythonでプログラムしますか？」という質問がありました。そして、「はい」と答えたとき、続編はまったく予想外でした。



「あなたはこれについて知っていますか...」そしてそれからYoutubehttps

：//www.youtube.com/watch？v = fZSFNUT6iY8 ＆ t = 4s ＆ ab_channel = FazilBabuのビデオへのリンクがありました 。



これは、GitHubリポジトリでトレーニングされたOpenAIの生成テキストモデルです。特定の例は、関数のタイトルとその簡単な説明に基づいてPythonコードを生成するモデルの機能を示しています。



しかし、そのようなモデルがデータサイエンティストによってスクリプトでうまくトレーニングできるとしたらどうでしょうか？これは思考の質問です...