1.Selenium模拟浏览器获取动态网页数据

@1.下载需要的jar和浏览器驱动。

需要Selenium所需的jar、浏览器驱动、浏览器版本需要匹配版本匹配可以参考这篇文章：；

我用的是chrome浏览器，chromedriver下载地址（不需要翻墙）：。

 

将下载的驱动放到谷歌浏览器的安装目录下

Selenium jar包下载网址

@2.编写代码

        // 第一步： 设置chromedriver地址。一定要指定驱动的位置。         System.setProperty("webdriver.chrome.driver",                 "C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe");         // 第二步：初始化驱动         WebDriver driver = new ChromeDriver();         // 第三步：获取目标网页         driver.get("http://live.titan007.com/");                  // 第四步：解析。以下就可以进行解了。使用webMagic、jsoup等进行必要的解析。           Document document = Jsoup.parse(driver.getPageSource());                  String html = document.body().select("tbody").get(1).html();         Elements select = document.body().select("tbody").get(6).select("tr");                  for (Element element : select) {                          System.out.println("html:"+element.html());             System.out.println();                      }