doris 1.2 版本开始我们提供了table valuefunction的功能,Doris 可以直接将对象存储或 HDFS 上的文件作为 Table 进行查询分析。并且支持自动的列类型推断。
目前支持 S3,HDFS两种外部存储
目前支持对 Parquet、ORC、CSV、Json 格式进行分析和列类型推断
如果我们要讲对象存储上json格式的文件导入到doris表中只需要执行下面的语句就可以
insert into target_table
select * from s3 (
"URI" = "http://127.0.0.1:9312/test2/test.json",
"ACCESS_KEY"= "minioadmin",
"SECRET_KEY" = "minioadmin",
"Format" = "json",
"use_path_style"="true")