大数据工具插件的新版本刚刚发布-IntelliJ IDEA Ultimate,DataGrip和PyCharm插件提供了与Hadoop和Spark的集成,允许您在Zeppelin中编辑和运行交互式笔记本。
此版本的主要目标是修复尽可能多的问题并从内部改进插件,但是肉眼可以看到两个重要的改进:
- 现在,可以通过几次鼠标单击创建的SSH隧道连接到Hadoop和Spark。
- 在查看应用程序列表时,Hadoop监视可以限制加载的数据量。
SSH隧道
通常,我们所需的服务器通常无法直接访问,例如,如果它位于受保护的公司电路内,或者被防火墙上的特殊规则所关闭。要进入内部,您可以使用某种隧道或VPN。始终在手头的最简单的隧道是SSH。
您可以使用单个控制台命令创建隧道:
ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server
一个文件将有助于稍微自动化该过程~/.ssh/config
,在该文件中,您只需保存一次连接参数,然后使用:
Host spark
HostName spark.server
IdentityFile ~/.ssh/spark.server.key
LocalForward 1005 127.0.0.1:8080
User user
现在,在控制台中进行写入就足够了ssh -f -N spark
-隧道将自行上升,而无需输入IP地址。方便。
.
-, - . -f -N -L
? , — ? ? , , .
-, , IDE. , , , IDE .
, Big Data Tools SSH-.
, , SSH.
Enable tunneling :
- Zeppelin
- HDFS
- Hadoop
- Spark Monitoring
, , SSH. : , , , .
, . - , SSH, VPN .
BDIDE-1063 YouTrack.
, Spark Monitoring , , .
, .
Big Data Tools , . , .
, .
Zeppelin
Zeppelin JAR-. Big Data Tools , IDE .
Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.
Maven JAR-. , -, .
. "User dependencies":
Big Data Tools — , . , . EAP 10 , Spark Monitoring.
- [BDIDE-1078] . , Big Data Tools — .
- [BDIDE-1137] Spark Monitoring Hadoop IncorrectOperationException.
- [BDIDE-570] Jobs Spark Monitoring .
- [BDIDE-706] Spark Monitoring .
- [BDIDE-737] , Spark Monitoring IDE.
- [BDIDE-1049] IDE DisposalException.
- [BDIDE-1060] IDE Variable View ( ZTools) IllegalArgumentException.
- [BDIDE-1066] Spark Monitoring .
- [BDIDE-1091] Zeppelin ConcurrentModificationException.
- [BDIDE-1092] Refresh Spark Monitoring.
- [BDIDE-1093] Spark Spark Monitoring .
- [BDIDE-1094] Spark Monitoring .
- [BDIDE-1099] Spark Monitoring SQL "Loading" "Empty List".
- [BDIDE-1119] Spark Monitoring SQL .
- [BDIDE-1130] Spark Monitoring , IndexOutOfBoundsException.
- [BDIDE-1133] , .
- [BDIDE-406] Zeppelin . Zeppelin 0.9, — collaborative mode.
- [BDIDE-746] Spark Monitoring .
- [BDIDE-769] Spark Monitoring .
- [BDIDE-893] Spark Monitoring , .
- [BDIDE-1010] , "Ready" .
- [BDIDE-1013] Zeppelin .
- [BDIDE-1020] SQL.
- [BDIDE-1023] , .
- [BDIDE-1041] HDFS , - .
- [BDIDE-1061] SQL-. , Spark History Server.
- [BDIDE-1068] Spark .
- [BDIDE-1072], [BDIDE-838] Big Data Tools Hadoop Spark.
- [BDIDE-1083] IDE , "Memory leak detected".
- [BDIDE-1089] .
- [BDIDE-1103] Zeppelin .
- [BDIDE-1104] .
- [BDIDE-1120] Spark Monitoring RuntimeExceptionWithAttachments.
- [BDIDE-1122] KotlinNullPointerException.
- [BDIDE-1124] Hadoop SOCKS-.