轻松下载多个网站的页面源码
我需要从245个特定的URL获得源代码(未经编辑的),然后导入到Excel中,我已经设置了一些过滤,text2columns等提取我需要从每个页面的具体信息..
我可以手动打开所有的245页,查看源代码,突出显示,复制,打开Excel,粘贴等。但我相信有一个更简单的方法?
有任何想法吗?
您可以使用curl下载网页并将其保存到文件中。 例如:
curl -L www.google.com > google.com
-L将遵循redirect。
对于多个文件你可以使用:
curl -L -O http://www.example.com/page1.html -O http://www.example.com/page2.html
这将在当前目录中创build2个文件page1.html和page2.html。