如何减less大型Excel文件的访问时间?
我想用Python处理一个大型的机械testing设备数据集。 该设备的软件只允许将数据导出为Excel文件。 因此,我使用适用于小型*.xlsx
文件的xlrd
软件包。
我的问题是,当我想打开一个共同的数据集(3-5 MB)
xlrd.open_workbook(path_wb)
访问时间约为30s到60s。 有没有更多有效的方法来访问Excel文件?
您可以通过PyPyODBC作为数据库访问文件,而不是更快 – 您必须尝试一下并比较结果。
此方法应该适用于.xls
和.xlsx
文件。 不幸的是,它带来了一些警告:
- 据我所知,这只会在Windows机器上工作 ,因为你依靠Microsoft Jet数据库驱动程序。
- Microsoft Jet数据库驱动程序可能相当麻烦 ,特别是对于date。
- 创build或修改 Excel文件是不可能的 (PyPyODBC
exceltests.py
文件中I have not been able to successfully create or modify Excel files.
一个注释:I have not been able to successfully create or modify Excel files.
)。 你的问题似乎表明你只是在阅读文件感兴趣,所以希望这不会是一个问题。
我刚才发现,它实际上并不是访问时间的问题,但我在同一步骤中创build了一个对象。 现在,通过创build对象分开一切工作快速和好。