Gartner MQ Review 2020：機械学習および人工知能プラットフォーム

私がこれを読んだ理由を説明することは不可能です。ちょうど時間があり、市場がどのように機能するかは興味深いものでした。そして、これは2018年以来すでにGartnerにとって本格的な市場です。 2014年から2016年までは、高度な分析（BIにルーツ）と呼ばれ、2017年にはデータサイエンスと呼ばれていました（これをロシア語に変換する方法がわかりません）。広場でのベンダーの動きに興味のある方はこちらをご覧ください。そして、2020年の広場についてお話します。特に、2019年以降の変更は最小限であるため、SAPは去り、AltairはDatawatchを購入しました。



これは体系的な分析ではなく、表でもありません。地球物理学者の観点からも、個々の視点。しかし、私は常にGartner MQを読みたいと思っています。彼らは、いくつかのポイントを完璧に定式化しています。それで、ここに私が技術的、市場的そして哲学的な観点から注意を払ったものがあります。



これは、MLに深く関心のある人向けではなく、市場で一般的に起こっていることに関心のある人向けです。



DSML市場自体は、BIとCloudAI開発者サービスの間に論理的にネストしています。







最初の引用と用語が気に入りました：

• 「リーダーは最良の選択ではないかもしれません」 -マーケットリーダーは必ずしもあなたが必要とするものではありません。非常に緊急！機能的な顧客が不足しているため、彼らは常に「適切な」ソリューションではなく、「最良の」ソリューションを探しています。
• モデルの運用化はMOPと略されます。そして、パグは誰にとっても難しいです！-（クールなパグテーマはモデルを機能させます）。
• ノートブック環境は、コード、コメント、データ、および結果がまとめられる重要な概念です。これは非常に明確で有望であり、UIコードの量を大幅に減らすことができます。
• «Rooted in OpenSource» — – .
• «Citizen Data Scientists» — , , , . .
• «Democratise» — “ ”. «democratise the data» «free the data», . «Democratise» — long tail . — !
• «Exploratory Data Analysis – EDA» — . . . , . ,
• 「再現性」 -環境、入力、出力のすべてのパラメーターを最大限に保持するため、一度実行すると実験を繰り返すことができます。実験的なテスト環境の最も重要な用語！

そう：

Alteryx

クールなインターフェースは単なるおもちゃです。もちろん、スケーラビリティは少しきついです。したがって、tsatskiと同じ周りのエンジニアの市民コミュニティがプレイします。Analyticsには、独自のオールインワンボトルがあります。90年代にプログラムされたCoscadSpectral Correlation DataAnalysisスイートを思い出しました。

アナコンダ

PythonとRの専門家を中心としたコミュニティ。オープンソースはそれぞれ大きいです。私の同僚は常に使用していることがわかりました。知りませんでした。

DataBricks

3つのオープンソースプロジェクトで構成されています-Spark開発者は2013年以来、莫大な資金を調達しています。私はwikiを直接読む必要があります。

「2013年9月、DatabricksはAndreessenHorowitzから1390万ドルを調達したと発表しました。同社は、2014年に3,300万ドル、2016年に6,000万ドル、2017年に1億4,000万ドル、2019年（2月）に2億5,000万ドル、2019年（10月）に4億ドルを追加で調達しました。

スパークが見た素晴らしい人々。なじみがないごめんなさい！



そしてプロジェクトは次のとおりです。

• Delta Lake -ACID on Sparkが最近リリースされました（Elasticsearchで夢見ていたもの）-それをデータベースに変換します：厳密なスキーム、ACID、監査、バージョン...
• MLフロー-モデルの追跡、パッケージ化、管理、および保管。
• Koalas -Spark上のPandasDataFrameAPI-Pandas-一般にテーブルとデータを操作するためのPythonAPI。

突然知らない、または忘れてしまったSparkについて見ることができます：link。Vidosikiは、少し退屈で詳細なコンサルティングのキツツキの例を見てみました。DataScience用のDataBricks（リンク）とData Engineering用（リンク）です。



つまり、DatabricksはSparkを引き出します。クラウドで通常Sparkを使用したい人は、意図したとおり、ためらうことなくDataBricksを使用します:)ここでの主な差別化要因はSparkです。

SparkStreamingは本物の偽のリアルタイムまたはマイクロバッチ処理ではないことがわかりました。また、実際のリアルタイムが必要な場合は、ApacheSTORMにあります。それでも誰もがSparkはMapReduceよりもクールだと言ったり書いたりしています。スローガンはこれです。

DATAIKU

クールなエンドツーエンドのもの。たくさんの広告があります。Alteryxとの違いがわかりませんか？

DataRobot

データを準備するためのPaxataは、2019年12月にDateRobotsに買収された別の会社です。 20 MUSDを調達し、販売しました。 7年ですべて。



ExcelではなくPaxataでデータを準備しています-ここを参照してください：link。

2つのデータセット間に自動スプーフィングと結合提案があります。素晴らしいこと-データを整理するために、テキスト情報にさらに重点を置きます（リンク）。

データカタログは、誰も必要としない「ライブ」データセットの優れたカタログです。

Paxataでカタログがどのように形成されるかも興味深いです（リンク）。

«According to analyst firm Ovum, the software is made possible through advances in predictive analytics, machine learning and the NoSQL data caching methodology.[15] The software uses semantic algorithms to understand the meaning of a data table's columns and pattern recognition algorithms to find potential duplicates in a data-set.[15][7] It also uses indexing, text pattern recognition and other technologies traditionally found in social media and search software.»

データロボットの主な製品はこちらです。彼らのスローガンはモデルから企業アプリケーションまでです！危機に関連して石油業界向けのコンサルティングを発見しましたが、非常に平凡で面白くありません：リンク。 MopsまたはMLopsで彼らのビデオを見ました（リンク）。これは、さまざまな製品の6〜7回の買収で構成されたフランケンシュタインです。



もちろん、データサイエンティストの大規模なチームは、モデルを操作するためのまさにそのような環境を備えている必要があることが明らかになります。そうしないと、モデルの多くが生成され、何も展開されません。そして、私たちの石油とガスの上流の現実では、1つのモデルを正常に作成することができ、これはすでに大きな進歩です！



プロセス自体は、地質学における設計システムの作業を非常に彷彿とさせます-地球物理学、例えば、ペトレル..。すべての雑貨がモデルを作成および変更します。モデルにデータを収集します。それから彼らはリファレンスモデルを作り、それを生産に投入しました！たとえば、地質学的モデルとMLモデルの間には多くの類似点があります。

ドミノ

オープンプラットフォームとコラボレーションに重点を置いています。ビジネスユーザーは無料で入場できます。彼らのデータラボはシェアポイントに非常に似ています。 （そしてその名前からIBMに強く与えます）。すべての実験は元のデータセットにリンクされています。どれほど馴染みがあるか:)私たちの実践のように-いくつかのデータがモデルにドラッグされ、次にそれがクリーンアップされてモデルに整理されました、そしてこれはすべてモデルにすでに存在し、初期データで終わりを見つけることができません。



Dominoにはクールなインフラストラクチャ仮想化があります。私はマシンに1秒あたりのコア数を収集し、カウントしました。それがどのように行われたかは、すぐには完全には明らかではありません。どこでもDocker。たくさんの自由！最新バージョンの任意のワークスペースに接続できます。並行して実験を実行します。成功したものの追跡と選択。



DataRobotと同じ-結果はアプリケーションの形でビジネスユーザー向けに公開されます。特に才能のある「利害関係者」のために。また、モデルの実際の使用も監視されます。パグのためのすべて！



複雑なモデルがどのように生産されるのか完全には理解していませんでした。それらにデータを供給して結果を取得するために、いくつかのAPIが提供されています。

H2O

ドライブレスAIは、監視対象ML向けの非常にコンパクトでわかりやすいシステムです。 1つのボックスにすべて。バックエンドについてすぐに明確ではありません。



モデルは自動的にRESTサーバーまたはJavaアプリにパッケージ化されます。これは素晴らしいアイデアです。解釈可能性と説明可能性については多くのことが行われてきました。モデルの操作結果の解釈と説明（本質的に説明できないものは何ですか、そうでなければ人は同じことを計算できますか？）。

初めて、非構造化データとNLPに関するケーススタディが詳細に検討されます。高品質の建築写真。一般的に、私は写真が好きでした。



完全には明確ではない大規模なオープンソースH2Oフレームワークがあります（一連のアルゴリズム/ライブラリ？）。ジュピターのようなプログラミングなしで自分のビジュアルラップトップ（リンク）。PojoとMojoについても読みました-現実に包まれたH2Oモデル。1つ目は額にあり、2つ目は最適化です。Gartnerがテキスト分析とNLPを長所として、また説明可能性の取り組みについて書いたのはH20だけです（！）。それは非常に重要です！



同上：鉄と雲の統合のための高性能、最適化、および業界標準。



そして、それは弱点で論理的です-Driverles AIは、独自のオープンソースと比較して弱くて狭いです。同じPaxataと比較すると、データの準備が不十分です。そして、産業データ（ストリーム、グラフ、地理）を無視します。まあ、すべてが正しいわけではありません。

KNIME

ホームページにある6つの非常に具体的な非常に興味深いビジネスケースが気に入りました。強力なオープンソース。



ガートナーはリーダーからビジョナリーに昇格しました。リーダーが常に最良の選択であるとは限らないことを考えると、貧しいお金を稼ぐことはユーザーにとって良い兆候です。



キーワードはH2Oと同じです-拡張された、それは貧しい市民のデータ科学者を助けることを意味します。レビューでパフォーマンスで叱られたのはこれが初めてです！面白い？つまり、計算能力が非常に高いため、パフォーマンスがシステム上の問題になることはありませんか？Gartnerには、この単語「Augmented」に関する別の記事がありますが、私はそれを知ることができませんでした。

そして、KNIMEはレビューで最初の非アメリカ人のようです！（そして私たちのデザイナーは彼らのランディングページが本当に好きでした。奇妙な人々。

MathWorks

MatLabは、誰もが知っている古くからの名誉ある友人です。生活と状況のすべての分野のためのツールボックス。非常に異なる何か。実際、一般的にすべての機会のためにたくさん、たくさん、たくさんの数学！



システム設計用のSimulinkアドオン製品。Digital Twinsのツールボックスを掘り下げました-それについては何も理解していませんが、ここにはたくさんのことが書かれています。以下のための石油産業。一般的に、これは数学や工学の深さとは根本的に異なる製品です。特定の数学ツールキットを選択します。ガートナーによれば、彼らは皆、賢いエンジニアのような問題を抱えています-コラボレーションがありません-それぞれが彼のモデルの中で暴れ回っていて、民主主義も搾取可能性もありません。

RapidMiner

私は以前、（Matlabと一緒に）優れたオープンソースのコンテキストで多くのことを知り、聞いたことがあります。いつものようにTurboPrepに少し埋めました。ダーティデータからクリーンなデータを取得する方法に興味があります。



繰り返しになりますが、機能のデモでは、2018年のマーケティング資料とひどい英語を話す人が優れていることがわかります。



そして2001年以来、ドイツの強い過去を持つドルトムントの人々）





オープンソースで正確に何が利用できるのか、サイトからはわかりませんでした。さらに深く掘り下げる必要があります。展開とAutoMLの概念に関する優れたビデオ。



RapidMinerServerバックエンドについても特別なことは何もありません。それはおそらくコンパクトで、箱から出してすぐに構内でうまく機能します。 Dockerにパッケージ化されています。 RapidMinerサーバーのみの共有環境。そして、スタジオワークフローでSparkからのリズムを数えるRadoop、hadupからのデータがあります。



ホットな若いベンダー「ストライプスティックセラー」が期待するようにそれらを押し下げました。ただし、Gartnerは、エンタープライズ分野での将来の成功を予測しています。あなたはそこでお金を集めることができます。ドイツ人はどれほど聖なるものかを知っています：）SAPについては言及しないでください!!!



彼らは市民のためにたくさんのことをします！しかし、このページでは、Gartnerが販売革新に苦労しており、対象範囲の広さではなく収益性を求めて戦っていると言っていることがわかります。



左SASおよびTibcoの一般的なBIは私のためにベンダー...そして、両方が正常なデータサイエンスは、論理的に成長することを、私の信念を確認し、トップにある

BIからではなく、雲とのHadoopインフラの外に。ビジネスから、つまりITからではありません。Gazpromneftの例：linkのように、成熟したDSML環境は堅実なBIプラクティスから成長します。しかし、おそらく彼女はMDMやその他のことに汚染と偏見を持っています。

SAS

言うことはあまりありません。明白なことだけ。

TIBCO

戦略は、1ページに及ぶWikiページのショッピングリストで読み取られます。はい、長い話ですが、28 !!! チャールズ。私のテクノの若者にBISpotfire（2007）を買収しました。また、Jaspersoft（2014）、Insightful（S-plus）（2008）、Statistica（2017）、Alpine Data（2017）、イベント処理およびストリーミングStreambase System（2013）、MDM Orchestra Networks（2018）の3つの予測分析ベンダーによるレポートもあります。 ）およびSnappy Data（2019）インメモリプラットフォーム。



こんにちはフランキー！