Excel CSV。 文件有超过1,048,576行的数据
我已经给了一个CSV文件比MAX Excel可以处理,我真的需要能够看到所有的数据。 我理解并尝试了“分裂”的方法,但它并不奏效。
一些背景:CSV文件是一个Excel CSV文件,并且提供文件的人已经说有大约2m
行数据。
当我将它导入到Excel中时,我得到的数据最多为1,048,576
行,然后将它重新导入到数据行1,048,576
行的新选项卡中,但它只给了我一行,而且我知道应该有一个事实更多(不仅因为“这个人”说有超过200万的事实,而是因为最近几行的信息)
我认为这也许是因为我已经提供了CSV文件作为一个Excel CSV文件,所以所有的信息超过1,048,576
丢失(?)。
我需要问一个SQL数据库格式的文件吗?
你应该尝试划定它可以打开高达20亿行和200万列很快就有一个免费的15天的试用。 为我做这份工作!
首先,您要将文件格式从csv更改为txt。 这很简单,只需编辑文件名并将csv更改为txt即可。 (Windows会给你警告可能会破坏数据,但没关系,只要点击确定)。 然后制作一个txt文件的副本,以便现在您有两个具有200万行数据的文件。 然后打开第一个txt文件并删除第二百万行并保存文件。 然后打开第二个txt文件并删除第一百万行并保存该文件。 现在把这两个文件改回csv,就像你最初把它们改成txt一样。
我build议在MS-Access中加载.CSV文件。
使用MS-Excel,你可以创build一个到这个源的数据连接(没有实际加载工作表中的logging)并创build一个连接的数据透视表。 然后你可以在你的表中实际上有无限的行数(取决于处理器和内存:现在我有3亿行3 Gb内存)。
另外的好处是你现在可以在MS-Access中创build一个聚合视图。 通过这种方式,您可以从数以亿计的行创build概览,然后在MS-Excel中查看它们(注意32位操作系统中的NTFS文件的2Gb限制)。
Excel 2007+限制在一百万行以上 (精确到2 ^ 20),所以它永远不会加载你的2M行文件。 我认为你所说的分裂技术是Excel所具有的内置function,但是它只适用于宽度问题,而不适用于长度问题。
我马上看到的最简单的方法就是使用一些文件分割工具 – 有大量的 文件分割工具 ,用它们将生成的部分csv文件加载到多个工作表中。
ps:“excel csv文件”不存在,只有Excel生成的文件使用通常称为csv文件的格式之一…
尝试使用Open Refine 。 它已经能够处理数据集,否则会崩溃我的Excel。
您可以使用PowerPivot处理高达2GB的文件,这将足以满足您的需求。
如果你有Matlab,你可以通过其导入工具打开大的CSV(或TXT)文件。 该工具为您提供了各种导入格式选项,包括表格,列向量,数值matrix等。然而,由于Matlab是一个解释器包,它需要自己的时间来导入这样一个大文件,我能够导入一个多于在10分钟左右200万行。
通过点击“Import Data”button,可以通过Matlab的Home选项卡访问该工具。 大file upload的示例图像如下所示: 一旦导入,数据将出现在右侧的工作区中,然后可以双击Excel类格式,甚至以不同的格式绘制。
使用MS Access。 我有一个2673404个logging文件。 它不会在记事本++中打开,而且Excel不会加载超过1,048,576条logging。 这是制表符分隔,因为我从MySQL数据库中导出数据,我需要它在CSV格式。 所以我将它导入到Access中。 将文件扩展名更改为.txt,以便MS Access将带您通过导入向导。
MS Access将链接到您的文件,以便数据库保持完整保留csv文件
我很惊讶没有人提到Microsoft Query 。 您只需通过查询您需要的数据,即可根据需要从大型CSV文件请求数据。 (查询设置就像你在Excel中过滤表格一样)
更好的是,如果有人愿意安装Power Query加载项,那么它非常简单,快捷。
"DO I need to ask for a file in an SQL database format?"
是!!!
使用数据库,是这个问题的最佳select。
Excel 2010 规范 。
在记事本中将CSV分成两个文件。 这是一种痛苦,但是你可以在Excel中单独编辑它们中的每一个。
我强烈build议您将数据导入到Access中,以便您可以从内部访问中进行查询。 你也可以尝试用R来查询你的文件,我很乐意帮忙。 否则,您可以查看一个免费的解决scheme,例如本产品,它允许您从Excel文件中运行SQL语句。 http://www.querystorm.com/Home/Guide