【CDH】CDH大数据平台实施经验总结( 二 ) _sqoop

3.4.sqoop成功执行需要驱动包，在以下目录添加2个jar包/opt///CDH-5.5.2-1.cdh5.5.2.p0.4/lib/sqoop/lib：
mysql--java-5.1.38-bin.jar
-10.2.0.4.jar
3.5.sqoop命令中并发参数 –m 属性，一定要放在table属性之后，否则命令无法识别
3.6.采用jsch远程调用模式时，在sqoop命令没有执行完成之前不能关闭远程连接，否则即使已经提交了yarn也会中断执行。
3.7．sqoop默认会把中和date类型转换为和类型，需要在sqoop命令中指定一下类型的转换规则。
3.8 sqoop增量抽取时，where条件使用双引号而非单引号，在Java代码远程调用ssh时，尽量使用 and，否则必须得转义才能使用。
3.9 sqoop先创建表，后插入数据时容易跟对应的字段错位，需要设置分隔符参数 –--by “\001”，另外插入数据的顺序一定要与创建表的字段的顺序一致。
5. spark与容器结合
5.1.在程序中采用URL方式连接spark的节点时必须用别名，IP地址无效。
5.2.应用部署于容器中，调用spark组件的时候应用会莫名的重启，后来排查发现是里需要维护hosts,不然 new ()会导致应用服务重启。但由于机制决定了，即使注册了也无法持久化存在，应用重启之后就还原了，所以直接在Java程序中完成，应用启动的时候注册到的hosts中。
5.3.应用部署于之中，调用spark组件的时候，spark的和节点需要返回消息给，即需要访问部署应用的容器，如下图所示：

文章插图
而的原有机制决定了，只能由部署于中的应用去访问集群中的物理节点，而外面的物理节点无法访问中的私网。
此外还有2个限制条件，第一：不支持映射地址和端口，必须是应用程序所在的IP；第二：容器的私网地址随着应用重启而在某个网段变化，如果固定为物理IP，将无限制的浪费物理IP地址，客户不会同意；
最终通过开启服务器的路由转发功能，在spark的和节点上配置静态的路由信息得以实现由物理IP节点去访问容器内部的私网地址的功能，也就是说开启服务器的路由转发功能之后，其他机器发往172私网号段的请求，全部发给服务器。
命令：ip route add / via
6. hive操作注意事项
6.1 hive中sql没有像那样进行自动优化，sql的优化非常重要，比如：同一业务逻辑，采用join方式一分钟搞定，但是如果采用等值连接的方式，2小时都没出结果。
6.2 hive中不支持join…on…or的形式，可以转换成union all的方式，此外hive也不支持on后面不相等的条件，只支持相等条件。
6.3 hive的存储方式一般有、、等三种，其中即是文本格式，hive的默认存储格式，数据不做压缩，磁盘开销大，数据解析开销大，查询的效率最低，可以直接存储，但加载数据的效率最高；，是提供的一种二进制文件格式是支持的标准文件格式，可压缩、可切片，查询效率高，但需要通过text文件转化来加载；和的存储格式都是基于行存储的，而是一种行列存储相结合的存储方式，先将数据按行分块再按列式存储，保证同一条记录在一个块上，避免读取多个块，有利于数据压缩和快速进行列存储，具备相当于行存储的数据加载和负载适应能力，扫描表时避免不必要的列读取，而使用列维度的压缩，能有效提升存储空间利用率，因此存储空间最小，查询的效率最高，但需要通过text文件转化来加载，加载的速度最低，但是由于hdfs一般都是一次写入多次读取，所以加载的速度较慢可以接受；目前大数据平台中hive的存储格式采用的是普通的，后续还有很大的优化提示空间。
7. CM管理页面操作