合并CSV追加头

我有许多CSV文件,数百列和约5万行(在Excel中打开时)。 列标题几乎相同,但某些列标题可能因CSV文件而异,如下所示:

CSV1

姓氏生日

约翰·史密斯31/01/1989

CSV2

姓名年龄姓名地址生日

Paul 29 Jones 123 Smith St 30/12/1981

CSV3

姓氏地址电话

Mick Jones 123 Paul St 0123456

有什么办法可以将所有这些合并成一个大的CSV文件,附加标题,以便在一个主要的CSV,我会有例如名称,姓氏,出生年龄,年龄,地址,电话的头,然后来自每个CSV的相应条目落在它们各自的列标题内。 我想这样做的原因是,然后将信息填充到一个大型的MySql / Sql Server数据库表中,因此,在导入之前,最初将它们全部作为一个大的CSV来执行似乎更容易。

有什么build议么?

将它们导入到三个临时表中,然后使用名称和DOB上的联接将它们合并到一个表中。 否则数据会混淆起来。

手动方法(与我一起,只是给出一个algorithm的概念):

  1. 生成包含所有CSV中所有可能标题的列的最终列表。
  2. 打开每个电子表格,一次一个。 对于每个电子表格:
  3. 点击并拖动标题并插入缺失的列,以使它们全部匹配#1中的列表
  4. 保存该文件,然后重复回到#2
  5. 将所有电子表格合并成一个电子表格。
  6. import。

如果您要自动执行此操作,您将采取大致相同的步骤。 您需要一种方法来确定所有列是可能的,然后将CSV以正确的格式进行组合,并以电子表格/ CSV格式将其组合,或将它们作为一堆临时表导入,然后使用INSERT … SELECT安排他们所属的专栏。

你有什么语言/技术可供你使用自动化? 。净? Java的? PHP? 这个过程多久发生一次,以及它的自动化程度如何? 这是一个每天的过程,或每周,或只会发生一次? 大概有多less个电子表格?