好久没有更新blog了,又得开始啦,不然传不习乎都忘记了。这里主要记录下vim下配置latex的一些经过,整个过程还是比较快可以上手的。 这里没有去手动下载安装texlive2015,而是采取直接apt安装。

现为apache项目的sqoop是原来是一款hadoop第三方开源模块,通过使用sqoop可以使进行hadoop(hive)的数据与传统关系型数据库(mysql、pgsql)交互。可以把关系型数据库导入hdfs,也可以把hdfs的数据导入关系型数据库。这里我用实例记录的方式讲一下怎么通过它把hive中的数据导入到mysql结果表中。

hadoop2.0下开发软件我目前主要采用maven做项目构建管理,但要注意要使生产环境的版本和开发的版本一致。可以做的就是先了解生产环境的版本,然后给自己的软件指定相同的版本,避免兼容问题的发生。以下是方法记录。

进入hive的src/contrib目录,开始编译,提示需要这几个包得加到classpath中

1
2
/home/hadoop/software/hadoop-2.0.0-cdh4.7.0/share/hadoop/common/hadoop-common-2.0.0-cdh4.7.0.jar
/home/hadoop/software/hadoop-2.0.0-cdh4.7.0/share/hadoop/mapreduce1/hadoop-core-2.0.0-mr1-cdh4.7.0.jar

运行hadoop cli时会出现

14/07/25 14:45:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...

using builtin-java classes where applicable

虽然表面上看来不影响工作结果,但是放着警告不处理太不科学了,想办法解决,过程还是比较漫长,要解决的要有耐心看下文了。