下面介绍使用Sqoop将Mysql表中的数据导出到HDFS中的步骤:
# 1. 在Mysql中创建一个表test,并向其中插入一些数据 create table test( id int primary key auto_increment, name varchar(20), age int ); insert into test(name,age) values('Tom',20); insert into test(name,age) values('Jerry',21); # 2. 使用Sqoop导出数据到HDFS sqoop export \ --connect jdbc:mysql://localhost/test \ --username root \ --password 123456 \ --table test \ --export-dir /user/hadoop/test \ --input-fields-terminated-by ',' \ --lines-terminated-by '\n' \ -m 1
上面的代码中 Sqoop export 命令后面跟上了MySQL的连接信息,要导出的表名,以及导出的数据存放的目录,这里选择了HDFS的 /user/hadoop/test 目录。–input-fields-terminated-by 参数表示字段分隔符,–lines-terminated-by参数表示每行的结尾符。
最后 -m 参数的含义是使用的Mapreduce作业数,可以根据数据的大小来设置。
通过上述步骤,大家可以快速高效地将Mysql表中的数据导出到HDFS中,方便后续大数据处理和分析。