Tag: hadoop

使用电源查询将文件从centos中的hdfs提取到ms-excel

我已经在excel.and下载电源查询从hdfs选项它要求服务器主机名..它是本地主机..但然后它给出了以下错误: DataSource.Error:HDFS无法连接到服务器'localhost'。 无法连接到远程服务器。 详情: http:// localhost:50070 / webhdfs / v1 / 我已经在hdfs-site.xml中启用了webhdfs,如下所示: dfs.replication 1 dfs.block.size 67108864 dfs.webhdfs.enabled true 帮我出来..如何做到这一点..我卡住了

水槽加载CSV文件擅长hdfs水槽

我已将Flume源configuration为Spooldirtypes。 我有很多CSV文件,.xl3和.xls ,我希望我的Flume代理将所有文件从spooldir加载到HDFS接收器。 然而,水槽代理返回exception 这是我的configurationflume来源: agent.sources.s1.type = spooldir agent.sources.s1.spoolDir = /my-directory agent.sources.s1.basenameHeader = true agent.sources.batchSize = 10000 和我的HDFS接收器: agent.sinks.sk1.type = hdfs agent.sinks.sk1.hdfs.path = hdfs://…:8020/user/importflume/%Y/%m/%d/%H agent.sinks.sk1.hdfs.filePrefix = %{basename} agent.sinks.sk1.hdfs.rollSize = 0 agent.sinks.sk1.hdfs.rollCount = 0 agent.sinks.sk1.hdfs.useLocalTimeStamp = true agent.sinks.sk1.hdfs.batchsize = 10000 agent.sinks.sk1.hdfs.fileType = DataStream agent.sinks.sk1.serializer = avro_event agent.sinks.sk1.serializer.compressionCodec = snappy

创buildHive表并从xls文件插入数据

我已经从我的主pipe得到了一个项目任务,声称可以在HDInsight中使用Hive(对于Windows)来查询两种不同的文件types,然后从中提取数据。 其中一个文件是.xls,另一个是.csv文件。 我已经设法将这两个file upload到Hadoop集群与VS,然后尝试创build一个Hive表.xls文件(我使用的教程之前使用.csv文件与Hive工作得很好),但与.xls文件时,我经常收到“失败”错误时尝试。 我尝试了下面的示例代码来创build表,分隔,字段终止(我尝试了几个没有成功),文件types(不知道还有什么其他用途)和目标位置。 DROP TABLE IF EXISTS table1; CREATE EXTERNAL TABLE IF NOT EXISTS table1(id int, postcde int, city string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION 'wasb://container@resourcegroup.blob.core.windows.net/folder1/data.xls/' 我不确定这是否可能,因为似乎对这里的类似问题似乎有矛盾的回应,但根据我的主pipe,应该有可能与Hive做到这一点 – 无需将文件types转换为在上传到Hadoop之前使用相同的格式! https://community.hortonworks.com/questions/31968/hi-is-there-a-way-to-load-xlsx-file-into-hive-tabl.html

在Excel 2013中连接Hortonworks Hive ODBC时出错

我正试图在Excel 2013中通过ODBC驱动程序查询Hortonworks Hive。 我在这里下载驱动程序(32位): Downloads Hortonworks 2.5 Hive 2.5.0.0-1245 然后我在ODBC数据源pipe理器(32位)中添加configuration 一切似乎都很好。 然后,当我进入Excel 2013build立查询: 我得到这个错误: 有人知道为什么