轻松下载多个网站的页面源码

我需要从245个特定的URL获得源代码(未经编辑的),然后导入到Excel中,我已经设置了一些过滤,text2columns等提取我需要从每个页面的具体信息..

我可以手动打开所有的245页,查看源代码,突出显示,复制,打开Excel,粘贴等。但我相信有一个更简单的方法?

有任何想法吗?

您可以使用curl下载网页并将其保存到文件中。 例如:

curl -L www.google.com > google.com 

-L将遵循redirect。

对于多个文件你可以使用:

 curl -L -O http://www.example.com/page1.html -O http://www.example.com/page2.html 

这将在当前目录中创build2个文件page1.html和page2.html。

您可以从https://curl.haxx.se/download.html下载适用于您的环境的curl