IntelliJ IDEA Ultimate、PyCharm、およびDataGripにインストールできるBig DataToolsというプラグイン用の別のEAP11アップデートがリリースされました。サイトのプラグインページまたはIDE内からインストールできます。
Big Data Toolsは、HadoopおよびSparkクラスターに接続できるようにするプラグインです。ノード、アプリケーション、および個々のタスクの監視を提供します。さらに、IDEAとDataGripでは、Zeppelinノートブックを作成、実行、編集できます。Zeppelin Webインターフェイスに切り替えて、お気に入りのIDEを離れることなく安心して作業する必要はありません。プラグインを使用すると、コードを簡単にナビゲートし、ラップトップ内でスマートコンプリーション、リファクタリング、およびクイックフィックスを実行できます。
spark-submitの新しいタイプの起動構成
— Spark- IDE, . IDE, PyCharm. , spark-submit bin Spark . : - . .
spark-submit , . , SSH, spark-submit . bash- , . , , - .
Big Data Tools , . run configuration, spark-submit, SSH, - . .
Apache Zeppelin DataGrip
Zeppelin DataGrip. DataGrip , - . , SQL .
, SQL. , Matplotlib Scala DataGrip .
- Spark-submit IntelliJ IDEA, DataGrip PyCharm (BDIDE-843).
- Apache Zeppelin DataGrip (BDIDE-1045).
- Zeppelin (BDIDE-906).
- Spark Monitoring (BDIDE-1159).
- Zeppelin (BDIDE-1172).
- Zeppelin: , (, HTML Zeppelin) (BDIDE-1132).
- Zeppelin: – IntelliJ IDEA 2020.1 Zeppelin, (BDIDE-1184).
- Zeppelin: – , /api/version (BRIDE-1199).
- Zeppelin: – (BDIDE-1171).
- Zeppelin: – Structure Zeppelin (BDIDE-1135).
- Zeppelin: Fixed – IDEA , (BDIDE-1208).
- Zeppelin: – "Open in browser" (BDIDE-1142).
- Zeppelin: – (BDIDE-1129).
- Spark Monitoring: – JSON, Storages, (BDIDE-1162).
- Remote FS: – Azure (BDIDE-1141).
- Remote FS: – (BDIDE-1192).
- Remote FS: – (BDIDE-1202).
- General: – (BDIDE-1195).
- HTTP Proxy: – Spark Hadoop SOCKS proxy (BDIDE-1209).
- HTTP Proxy: – SCOKS proxy (BDIDE-1215).
- HTTP Proxy: – (BDIDE-1216).
, Big Data Tools, . , Twitter.
, , , .
Big Data Tools