🌊 👩🏻‍🔧 🙋🏼 ビッグデータツールEAP10：SSHトンネル、アプリケーションフィルタリング、カスタムモジュールなど 😾 🕢 👨🏿‍🎓

Big DataToolsプラグインの次のバージョンがリリースされました。HadoopおよびSparkとの統合を提供するIntelliJIDEA Ultimate、DataGrip、およびPyCharmのプラグインにより、Zeppelinでインタラクティブノートブックを編集および実行できます。

このリリースの主な目標は、可能な限り多くの問題を修正し、プラグインを内部から改善することですが、2つの重要な改善が目に見えます。

SSHトンネル

多くの場合、必要なサーバーには直接アクセスできません。たとえば、保護された企業回路内にある場合や、ファイアウォールの特別なルールによって閉じられている場合などです。中に入るには、ある種のトンネルまたはVPNを使用できます。常に手元にある最も単純なトンネルはSSHです。

単一のコンソールコマンドでトンネルを作成できます。

ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server

ファイルは~/.ssh/config、接続パラメータを一度保存してから使用するプロセスを少し自動化するのに役立ちます。

Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user

これで、コンソールに書き込むだけで十分ssh -f -N sparkです。トンネルは、IPアドレスを入力せずに自動的に上昇します。便利です。

-, - . -f -N -L? , — ? ? , , .

-, , IDE. , , , IDE .

, Big Data Tools SSH-.

, , SSH.

Enable tunneling :

, , SSH. : , , , .

, . - , SSH, VPN .

, Spark Monitoring , , .

, .

Big Data Tools , . , .

, .

Zeppelin JAR-. Big Data Tools , IDE .

Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.

Maven JAR-. , -, .

. "User dependencies":

Big Data Tools — , . , . EAP 10 , Spark Monitoring.