Tag: 大文件

在WCF的Oledb有一些大的Excel文件的问题？

这是故事： 我想要导入一个Excel表格到数据库中。 我在客户端做了一些准备工作，例如select文件，正确的工作表和工作表的configuration。 完成之后，我将文件发送到本地wcf服务器。 然后wcf将文件写入临时文件夹（C：\ Windows \ Temp）。 我创build一个oledb连接并在表单上执行一个count（*）命令，那就是出错的地方。 代码： _connection = new OleDbConnection("Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + FileName + ";Extended Properties=\"Excel 12.0 Xml;HDR=YES\""); OleDbCommand command = new OleDbCommand("SELECT COUNT(*) FROM [" + .SheetName + "]", _connection); if (_connection.State == ConnectionState.Closed) _connection.Open(); TotalRows = (int)command.ExecuteScalar(); 是的，我没有在这里使用，请不要介意 当(int)command.ExecuteScalar(); 执行它出错了。 我收到错误： System resource exceeded. 。 这是一个OleDBException。 我的电脑的内存没有被填满，它看起来甚至没有尝试读取文件。 它立即崩溃。 有关我尝试阅读的文件的一些信息： […]

如何使用Apache POI Event API读取特定列？

我想读取大xls或xlsx文件，即具有150,000行的70 MB文件。 我能够使用下面的代码加载整个excel文件，但我想要只提取特定的列像列C或其他列。 import java.io.InputStream; import java.util.Iterator; import org.apache.poi.openxml4j.opc.OPCPackage; import org.apache.poi.xssf.eventusermodel.XSSFReader; import org.apache.poi.xssf.model.SharedStringsTable; import org.apache.poi.xssf.usermodel.XSSFRichTextString; import org.xml.sax.Attributes; import org.xml.sax.ContentHandler; import org.xml.sax.InputSource; import org.xml.sax.SAXException; import org.xml.sax.XMLReader; import org.xml.sax.helpers.DefaultHandler; import org.xml.sax.helpers.XMLReaderFactory; public class testclass { public void processOneSheet(String filename) throws Exception { OPCPackage pkg = OPCPackage.open(filename); XSSFReader r = new XSSFReader( pkg ); SharedStringsTable sst = r.getSharedStringsTable(); […]

用于大型数据格式化程序的Python垃圾回收器

我写了一个程序来读取一个excel文件的文件夹，并将每个文件加载到程序中。 然后获取数据并创build一个大小为零的数组（3001,001），这些数据将被迭代，并将来自excel的相应坐标值更改为1。 该arrays然后重新塑造（1,6005001）的大小。 我正在使用tensorflow来重新整形数组，因为程序认为它是一个元组，但是最终的值被存储在一个numpy数组中。 我最终将最终格式化的数组存储到名为“filename_Array.csv”的csv文件中，然后程序移动到下一个要格式化的excel文件。 我在Eclipse上运行Python并安装了tensorflow 我遇到的问题是有些值被caching在内存中，但我无法弄清楚它是什么。 我试过显式删除将被重新初始化的大型variables，并使用gc.collect（）来清除存储的非活动内存。 我仍然看到内存使用率稳步增加，直到大约25个文件格式化，然后电脑开始冻结，因为我的电脑上的所有内存（12GB）正在使用。 我知道python会自动清除内存中的程序完全无法访问的值，所以我不确定这是RAM还是别的问题。 对不起，对文本的墙壁，我只是想尽可能多地给这个问题的信息。 这是一个链接到我的性能选项卡的屏幕截图时，通过约24个文件运行该程序之前，我不得不终止程序，由于计算机冻结。 这是我的代码： from __future__ import print_function import os os.environ['TF_CPP_MIN_LOG_LEVEL']='2' import tensorflow as tf import numpy as np import csv import gc path = r'C:\Users\jeremy.desforges\Desktop\Eclipse\NN_MNIST\VAM SLIJ-II 4.500' def create_array(g,h,trainingdata,filename): # Multiplying by factors of 10 to keep precision of data g = g*1000 h = […]

使用数组在多个工作簿和工作表之间比较和共享数据

我已经写了这个代码几个星期了，它曾经工作，它花了2个小时通过我比较49个工作表进行编译，但由于某种原因，现在只是说没有回应。 我真的想尝试切换使用数组，所以如果我能再次使用它会快得多。 然而，即使在阅读了大量有关数组的post之后，我也无法想出办法，除了知道我需要使用multidimensional array并且具有不同的行大小之外。 任何人都可以提供任何build议吗？ 提前致谢！ 更多的信息，代码查看列e中的内容，如果列e中的其他内容匹配，则将列t中的值作为x并将它们放置在行t到x中。 如果它们的t到x是空的，它也为行e着色，或者如果在不应该的时候发现它是有颜色的，则使它再次变成白色。 Sub FindPart_FullWorkbooks() 'If searching multiple worksheets & workbooks Dim PartNumber As String Dim Found1 As Integer Dim Found2 As Boolean Dim Found3 As Boolean Dim Found4 As Boolean Dim Found5 As Boolean Dim Found6 As Boolean Dim Found7 As Boolean Dim Found8 As Boolean Dim Found9 As […]

用php脚本导入Mysql xlsx文件以MB为单位的大文件

我曾尝试在PHP中使用PHP-EXCEL类导入.xlsx文件。 我这样做是成功的。 但是，当excel文件增加，大小进入mbs和logging在成千上万，它会产生单元格caching问题。 有没有人find解决办法？

如何将大数据导出到Excel

我在我的asp.net应用程序中有一个标准页面。 当用户点击报表button时，首先在一个新页面中将结果绑定到一个数据网格，然后通过改变内容types方法将该网页导出到excel文件。 这通常起作用，但是当大量的数据到来时，会抛出system.outofmemoryexception。 有谁知道一个办法来解决这个问题，或另一个有用的技术呢？

用PHP读取大型的excel文件

我试图用PHPExcel1.7.3c读取一个17MB的excel文件（2003），但是在超过120秒的限制后，它已经在加载文件的时候崩溃了。 有另一个图书馆可以更有效地做到这一点吗？ 我没有需要的样式，我只需要它支持UTF8。 谢谢你的帮助