博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Sqoop-从hive导出分区表到MySQL
阅读量:6878 次
发布时间:2019-06-26

本文共 824 字,大约阅读时间需要 2 分钟。

经多次验证,发现并没有特殊的方法能够直接把多个分区一次性读入,并插入MySQL的方法,以后发现会在此添加。

Sqoop只提供了从MySQL导入到HIVE分区表的相关参数,反向并无特别参数。

从HIVE分区表导入到MySQL,需要依次导入每个分区的数据

sqoop export   \

--connect jdbc:mysql://server74:3306/Server74   \

--username root   \

--password 123456   \

--table dw_pvs_hour \

--hive-partition-key datestr \

--hive-partition-value ‘2017-11-05’ \

--export-dir /user/hive/warehouse/dw_pvs_hour/datestr=2017-11-15/  \

--input-fields-terminated-by '\001'   \

--input-lines-terminated-by '\n'

 

根据官方文档的说法,---export-dir这个参数是必须的,指定hive表源文件路径后,sqoop回到路径下路径下的文件,文件不是路径否则报错。所以分区表需要单独指定每个分区的目录,分别导入。

The --export-dir argument and one of --table or --call are required. These specify the table to populate in the database (or the stored procedure to call), and the directory in HDFS that contains the source data.

 

转载于:https://www.cnblogs.com/kouryoushine/p/7844352.html

你可能感兴趣的文章
android Support Annotations(注解支持)
查看>>
如何对待用户需求的几点思考
查看>>
团队进展报告(3)
查看>>
沈阳市房地产市场信息系统数据容灾与异地备份
查看>>
nlp Task2
查看>>
我的友情链接
查看>>
简单干净的C#方法设计案例:SFCUI.AjaxLoadPage()之一
查看>>
XMPP协议的原理介绍
查看>>
Undo管理
查看>>
jsp简易留言板
查看>>
3.15好水指数N1能否让饮水健康不失控?
查看>>
Linux防火墙的设置
查看>>
人人商城PHP网站打开网页空白
查看>>
redhat修改源
查看>>
ruby 访问权限
查看>>
linux磁盘管理命令--df
查看>>
cocos2d: 单击,双击,及双指捏合事件的判断
查看>>
读书笔记《unix系统编程》-第2章 文件
查看>>
统一日志平台-搭建
查看>>
项目经理,不要迷信制度!
查看>>