✅ datax无法在fe宿主机网络之外的机器上进行写入

👨🏻‍💻 技术问答 数据导入&导出
1

【Doris 使用环境】测试

【Doris 版本】1.2.2

【问题描述】

  • 报错信息：使用datax的doriswriter超时
  • 具体表现：
    fe: 内网 192.168.1.1， 外网：120.18.65.7
    be:192.168.1.2
    be:192.168.1.3
    只能在fe宿主机上用192.168.1.1:8030进行导入，如果在外网用：120.18.65.7:8030进行导入就会报链接：192.168.1.2：8040或者192.168.1.3：8040 超时
    【操作系统】

【机器配置】

【复现路径】

【附件】可附加 截图/监控/日志/相关 issue 等进行辅助说明

2

你好，看到你的提问信息不太全面，可以参考：提问模版 - 帮助你更快的得到有效帮助 来补充。这样可以方便你的问题更快速的被定位，从而提升被解答的几率

3

1、be绑定的ip是内网ip，8040端口绑定在了内网上，外网IP无法访问（为了网络安全）。
2、fe只管数据路由和重定向，路由和重定向后返回给前端写入端的是be的内网ip和端口
3、以上两点原因导致外网ip无法访问。如果外网和be的192.168.网段在一起，并且防火墙打开的话，也是可以写入的。

4

那是不是可以这样理解：就是说doris的数据导入设计上就只支持内网操作，不支持doris所在网络之外的导入操作？

5

准确的说，应该是导入就要求数据的客户端和BE节点网络是通的，因为数据写入会直接通过BE协议，而不会让FE作一层数据流入的Proxy。

1 个赞
6

部署be的时候，给的ip是外网ip，外网就能访问，只是放在公网的话，需要防火墙配合 不然不安全。

1 个赞
7

嗯，开源Doris是有这个，因为写入都是和BE直接打交道。

8

这个应该是你的宿主机之外的机器和Doris集群网络不通
具体的异常信息发出来看看

写入底层是stream load ，stream load 是首先连接fe，fe 做一个307临时重定向到随机一个be，这个时候客户端是和be的http接口进行通讯

1 个赞