使用selenium下载数据
我是一个研究分析师，试图整理数据和执行分析。我需要从这个页面的数据。 我需要磨料的数据vanspati油（你会发现它在左侧）。 我总是遇到这样的问题，我发现selenium能够处理这些东西。 但我坚持如何将这些数据下载到Excel中。 我需要每个类别的Excel表单。 我确切的技术问题是如何解决下载表格数据的问题。我做了一些背景研究，并了解如果表格具有class_name，则可以提取数据。 从这里 。 我看到表中class="tbldata14 bdrtpg"所以我用它在我的代码。 我得到这个错误
InvalidSelectorException：消息：给定的select器tbldata14 bdrtpg无效或不会导致WebElement。
我怎样才能下载这个表格数据？ 指向我可以阅读和解决这个问题的任何引用。 我的代码：
from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Firefox() driver.get("http://www.moneycontrol.com/stocks/marketinfo/netprofit/bse/index.html") elem=driver.find_element_by_class_name("tbldata14 bdrtpg")
在此先感谢。还请build议，如果有另一种简单的方法[我试过复制粘贴它太乏味了！
获取你感兴趣的数据可以实现如下，
from selenium import webdriver url = "http://www.moneycontrol.com/stocks/marketinfo/netprofit/bse/index.html" # Get table-cells where the cell contains an anchor or text xpath = "//table[@class='tbldata14 bdrtpg']//tr//td[child::a|text()]" driver = webdriver.Firefox() driver.get(url) data = driver.find_elements_by_xpath(xpath) # Group the output where each row contains 5 elements rows=[data[x:x+5] for x in xrange(0, len(data), 5)] for r in rows: print "Company {}, Last Price {}, Change {}, % Change {}, Net Profit {}" \ .format(r[0].text, r[1].text, r[2].text, r[3].text, r[4].text)
将数据写入excel文件在这里解释，
- Python – 写入Excel电子表格
- Python，打印输出附加到Excel文件