HDFS文件

导入HDFS数据

下面例子使用 SQL 将hdfs的student.csv文件载入到student表或student卷。

COPY INTO student FROM 'hdfs://localhost:9000/data/student.csv'
    WITH CREDENTIALS (ACCESS_KEY='access_key', SECRET_KEY='secret_key',  SECURITY_TOKEN='security_token',ENDPOINT='endpoint')
    FORMAT=csv ('header'='true', 'delimiter'=',');

湖仓会根据student的类型(表或卷)来确定载入数据存储方式。

也可以通过 Scala, Java 或 Python 脚本将指定的一组云对象存储文件数据导入，例如下面的脚本实现了相同的功能

spark.tables.copyInto("student", sources, formatOptions = Map("header" -> "true"))

关于使用 COPY INTO 导入数据请参阅:

• COPY INTO

关于使用 copyInto 函数导入数据请参阅:

• copyInto函数