Tag: etl

无法启动项目目录名称无效: 我是新来的，学习SSIS，刚开始我想通过写一个excel文档到一个.csv文件来testingfunction。但是，我做了所有我认为需要完成的工作，但是当我尝试运行它时，出现以下错误：无法启动项目（Microsoft Visual Studio）目录名称无效（Microsoft.DataTransformationServices.VsIntegration）尽可能多的方法尽我所能，甚至重新安装，但仍然无法实现。查找这个错误也不会给我太多回报。谢谢你的帮助！

从Unpivot变换的结果中select：SSIS: 我有一个如下所示的一些列的Excel文件。我正在使用它作为SSIS包中的Excel源。我使用Unpivot变换Unpivotted列2012年，2013年和2014年，其结果看起来像如何将此Unpivot变换的输出从其数据stream中发出并执行SQL Task，或者将其发送到同一个包中的另一个数据stream进行各种转换？我不想使用将Unpivot变换的输出写入OLEDB目标然后再读取它们的选项。提前致谢。

将具有不同架构的多个Excel文件加载到SQL Server: 我有大约300个有销售数据的Excel文件，但有不同的模式（一个名为“Product Name” ，另一个只有“Product” ），但包含了不同商店销售的相同信息。这些文件是由一些人手动生成，所以错别字也是可能的。有什么好的方法来导入这些数据，或者我必须在SSIS中创build300个ETL包？

如何自动将excel 97转换为xlsx: 我有一个包含Excel 97数据（.xls）的源系统。我想使用一个工具或程序，可以帮助我自动将这些数据转换为.xlsx（新的Excel）。之后，我将使用Talend或SSIS将数据从xlsx加载到数据仓库。有谁知道我可以使用自动转换旧的Excel文件的工具？

使用SSIS导入空白Excel列: 我正在创build一个SSIS包来将Excel文件（具有不同的布局）导入到具有150列的SQL Server表中。 SSIS包中有一个Foreach循环容器，其中是一个数据stream任务，它具有一个Excel源组件和一个OLE DB目标组件。数据stream任务将为每个Excel文件运行，因此Excel Source组件需要为每个文件工作。我已经设置了150个Unicodestring列的长度为255的Excel Source组件，并且我已经将ValidateExternalMetadata设置为False，但是我收到错误：testing时发现“列”F143“在数据源中找不到”打包在具有142列数据的Excel文件上。我的问题是：如何让程序包忽略这个错误并导入存在的列，或者是否有另一种处理上述情况的方法？

如果行数太多，ssis excel导入失败: 我有一个SSIS包，将Excel 2013（xlsx）文件导入到SQL Server（2016）表中。我遇到的问题是，如果文件超过一定的大小，包失败。错误是：错误：打开“Sheet1 $”行集失败。检查数据库中是否存在该对象。 [DTS.Pipeline]错误：“组件”validation失败，并返回validation状态“VS_ISBROKEN”。它看起来好像根本看不到文件/工作表。一些有趣的笔记：无论文件大小如何，SQL Server数据工具2015devise器中的包都能正常工作。只有通过Integration Services目录中的SSMS或SQL代理作业运行它时，它才会失败。失败的行数不是一个常数。它似乎更依赖于正在导入的数据总量。例如，如果每行字符较小，则在大约25k行处失败。如果每行有更多的字符，则会在16k行左右失败。在任何一种情况下，到达故障点时的总文件大小仍然小于1MB。我已经用相同的已知好logging重复X次testing，所以我知道这不是一个不好的logging，造成这个问题。最初文件位于networking共享上，但是我已经将其移到了服务器的驱动器上，以排除networking不稳定的情况。不用找了。我有其他的软件包运行在同一个SQL服务器上，导入100k条logging或更多，总文件大小（几MB）更大。有什么想法会导致这个？

ETL将大型Excel加载到Oracle DB中: 我的要求是将放在文件服务器上的大型Excel文件（包含超过160k行数据和大约150列）加载到oracle数据库表中。它有几个约束，虽然 – 两列的位置（可以说'EmpID'和'AcctNum']可能会在Excel中变化 – 有时'EmpID'可能出现在列'A'，但也可能出现在E列的其他时间。因此数据映射必须是dynamic的。该文件可以在一天中的任何时间，并应在文件服务器创build一小时内处理，多个文件可以在一天。因此，我必须在oracle中创build一些批处理[如通过SQL Server作业运行dtsx]。操作批处理的操作系统是Unix。这里的performance必须是一个关键的挑战，所以请把它作为一个标准来提高效能。请告诉我们如何做到这一点[最好使用免费软件/开源工具] 感谢和问候，阿尔卡

ETL – 如何将表标题作为字段值添加到Pentaho Spoon中的每个后续行: 我是Pentaho Spoon（水壶）的新手，有以下任务：有一个excel表，它可能是这样的： history class name first name id Doe John 213 Muster Max 118 biology class name first name id Parker Peter 844 问题是在一个xls文件里有更多的表格。在这个例子中，有历史课的学生和生物课的学生。我需要输出的是：每个学生都有一个新领域的所有学生的表格，说明他是哪个class级的一部分。例： name first name id class Doe John 213 history class Muster Max 118 history class Parker Peter 884 biology class （我的例子极其简单）如何将input表转换为输出表？感谢您的帮助！

SSIS。导入几个xlsx文件: 我坚持使用我为将xlsx文件导入数据库而创build的SSIS包。由于一些文件具有更多的tan 255个字符的数据，我将该列设置为DT_NTEXT。如果我只是留下一个xlsx文件，我知道这个长的数据，该包工作正常，没有erros。但是，如果我将所有需要导入的文件都保留在导入文件夹中，则会得到下一个错误： [VENTA_IMS_EXCEL [1]]错误：SSIS错误代码DTS_E_OLEDBERROR。发生OLE DB错误。错误代码：0x80040E21。 [VENTA_IMS_EXCEL [1]]错误：无法检索列“F17”的长数据。 [VENTA_IMS_EXCEL [1]]错误：在输出“Excel源输出”（9）时，输出列“SubFamilia”（16693）出错。返回的列状态是：“DBSTATUS_UNAVAILABLE”。 [VENTA_IMS_EXCEL [1]]错误：SSIS错误代码DTS_E_INDUCEDTRANSFORMFAILUREONERROR。 “输出列”SubFamilia“（16693）”因错误代码0xC0209071发生而失败，“输出列”SubFamilia（16693）中的错误行configuration指定错误失败。指定组件的指定对象发生错误。在此之前可能会发布错误消息，提供有关失败的更多信息。 [SSIS.Pipeline]错误：SSIS错误代码DTS_E_PRIMEOUTPUTFAILED。组件“VENTA_IMS_EXCEL”（1）上的PrimeOutput方法返回了错误代码0xC0209029。 pipe道引擎调用PrimeOutput（）时，组件返回失败代码。失败代码的含义由组件定义，但错误是致命的，并且pipe道停止执行。在此之前可能会发布错误消息，提供有关失败的更多信息。我的猜测是，问题是它评估每个文件的数据types的工作，并在有数据较lesstan275字符的情况下，它会失败。谁能帮我这个？我该如何解决这个问题？所以它可以循环和导入所有文件没有问题。