reduce输出结果到sqlserver数据库异常怎么办
本篇文章为大家展示了reduce输出结果到sqlserver数据库异常,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
为黄州等地区用户提供了全套网页设计制作服务,及黄州网站建设行业解决方案。主营业务为网站建设、网站设计、黄州网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
最近在做个hadoop统计的小项目,结果需要输出到sqlserver数据,其中遇到一些小问题
在map、reduce进行的比较顺利,因为数据比较规范,很快都搞定了
在运行时出现以下情况
遇到这种情况,第一时间想到是因为结点上驱动包的问题
对于缺少驱动的问题,有两种方案
1、在集群的每个结点${HADOOP_HOME}/lib下添加驱动包,并重启集群。这是最原始的方法,因为需要重启集群,不建议使用
2、先把驱动包上传到集群中
hadoop fs -put /lib/sqljdbc.jar
然后在新建Job之前添加到classpath环境中
Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); //添加到classpath DistributedCache.addFileToClassPath(new Path("/lib/sqljdbc.jar"), conf, fs); //必须在新建JOB之前执行,这样才能在初始化 加载数据库驱动、以及连接数据库 传入到conf中供JOB使用 DBConfiguration.configureDB(conf, "com.microsoft.sqlserver.jdbc.SQLServerDriver", "jdbc:sqlserver://192.168.240.1:1433;DatabaseName=dbname", "sa", "123456"); Job job = new Job(conf, "statistic"); job.setJarByClass(DbnameDownedStatistic.class); job.setMapperClass(StatisticMap.class); job.setReducerClass(StatisticReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(StatisticDBWritable.class); job.setOutputValueClass(Text.class); job.setNumReduceTasks(4); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(DBOutputFormat.class); FileInputFormat.addInputPath(job, new Path("hdfs://node1:9000/user/hadoop/statictic/")); String[] fileds = new String[] { "name","down", "count" }; DBOutputFormat.setOutput(job, "statistic", fileds); System.exit(job.waitForCompletion(true) ? 0 : 1);
这里需要注意的是
DBConfiguration.configureDB();
这个方法必须在new Job()之前执行,这样conf才能加载到驱动包,才能保证其他结点也能加载到驱动包。
上述内容就是reduce输出结果到sqlserver数据库异常,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
网站名称:reduce输出结果到sqlserver数据库异常怎么办
本文地址:http://scyanting.com/article/jhdopc.html