大数据工具EAP 10:SSH隧道,应用程序过滤,自定义模块等

大数据工具插件的新版本刚刚发布-IntelliJ IDEA Ultimate,DataGrip和PyCharm插件提供了与Hadoop和Spark的集成,允许您在Zeppelin中编辑和运行交互式笔记本。



此版本的主要目标是修复尽可能多的问题并从内部改进插件,但是肉眼可以看到两个重要的改进:



  • 现在,可以通过几次鼠标单击创建的SSH隧道连接到Hadoop和Spark。
  • 在查看应用程序列表时,Hadoop监视可以限制加载的数据量。




SSH隧道



通常,我们所需的服务器通常无法直接访问,例如,如果它位于受保护的公司电路内,或者被防火墙上的特殊规则所关闭。要进入内部,您可以使用某种隧道或VPN。始终在手头的最简单的隧道是SSH。



您可以使用单个控制台命令创建隧道:



ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server


一个文件将有助于稍微自动化该过程~/.ssh/config,在该文件中,您只需保存一次连接参数,然后使用:



Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user


现在,在控制台中进行写入就足够了ssh -f -N spark-隧道将自行上升,而无需输入IP地址。方便。



.



-, - . -f -N -L? , — ? ? , , .



-, , IDE. , , , IDE .



, Big Data Tools SSH-.





, , SSH.



Enable tunneling :



  • Zeppelin
  • HDFS
  • Hadoop
  • Spark Monitoring


, , SSH. : , , , .



, . - , SSH, VPN .



BDIDE-1063 YouTrack.





, Spark Monitoring , , .





, .



Big Data Tools , . , .



, .



BDIDE-1077.



Zeppelin



Zeppelin JAR-. Big Data Tools , IDE .



Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.



Maven JAR-. , -, .



. "User dependencies":





BDIDE-1087.





Big Data Tools — , . , . EAP 10 , Spark Monitoring.






All Articles