Python3实现抓取javascript动态生成的html网页功能示例

本文实例讲述了Python3实现抓取javascript动态生成的html网页功能。分享给大家供大家参考，具体如下：

用urllib等抓取网页，只能读取网页的静态源文件，而抓不到由javascript生成的内容。

究其原因，是因为urllib是瞬时抓取，它不会等javascript的加载延迟，所以页面中由javascript生成的内容，urllib读取不到。

那由javascript生成的内容就真的没有办法读取了吗？非也！

这里要介绍一个python库：selenium，本文使用的版本是 2.44.0

先安装：

pip install -U selenium

下面用三个例子来说明其用法：

【例0】

打开一个Firefox浏览器
载入所给url地址的页面

from selenium import webdriver
browser = webdriver.Firefox()
browser.get('http://www.baidu.com/')

【例1】

打开一个Firefox浏览器
载入百度主页
搜索 “seleniumhq”
关闭浏览器

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
browser = webdriver.Firefox()
browser.get('http://www.baidu.com')
assert '百度' in browser.title
elem = browser.find_element_by_name('p') # Find the search box
elem.send_keys('seleniumhq' + Keys.RETURN) # 模拟按键
browser.quit()

【例2】

Selenium WebDriver 常用于网络程序的测试。 下面是一个使用Python标准库 unittest 的例子:

import unittest
class BaiduTestCase(unittest.TestCase):
  def setUp(self):
    self.browser = webdriver.Firefox()
    self.addCleanup(self.browser.quit)
  def testPageTitle(self):
    self.browser.get('http://www.baidu.com')
    self.assertIn('百度', self.browser.title)
if __name__ == '__main__':
  unittest.main(verbosity=2)

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python进程与线程操作技巧总结》、《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

# Python3  # 抓取  # javascript  # 动态生成  # html网页  # Python爬虫动态IP代理使用及防止被封的方法  # Python3.10动态修改Windows系统本地IP地址  # Python爬虫动态ip代理防止被封的方法  # Python获取和设置代理的动态IP的方式  # 操作技巧  # 是一个  # 进阶  # 是因为  # 相关内容  # 感兴趣  # 数据结构  # 给大家  # 没有办法  # 更多关于  # 所述  # 就真  # 程序设计  # 使用技巧  # 关闭浏览器  # 非也  # 所给  # 加载  # 先安装  # 编程技巧 

相关文章： 香港服务器如何优化才能显著提升网站加载速度？  南宁网站建设制作定制,南宁网站建设可以定制吗？  如何在橙子建站中快速调整背景颜色？  建站主机助手选型指南：2025年热门推荐与高效部署技巧  如何在云虚拟主机上快速搭建个人网站？  Android使用GridView实现日历的简单功能  相亲简历制作网站推荐大全,新相亲大会主持人小萍萍资料？  如何快速生成橙子建站落地页链接？  大连网站制作公司哪家好一点,大连买房网站哪个好？  文字头像制作网站推荐软件,醒图能自动配文字吗？  如何在阿里云通过域名搭建网站？  高防服务器租用首荐平台，企业级优惠套餐快速部署  如何零成本快速生成个人自助网站？  杭州银行网站设计制作流程,杭州银行怎么开通认证方式？  昆明高端网站制作公司,昆明公租房申请网上登录入口？  简单实现Android文件上传  PHP正则匹配日期和时间(时间戳转换)的实例代码  如何选择高效稳定的ISP建站解决方案？  北京建设网站制作公司,北京古代建筑博物馆预约官网？  高配服务器限时抢购：企业级配置与回收服务一站式优惠方案  太平洋网站制作公司,网络用语太平洋是什么意思？  制作网站的软件免费下载,免费制作app哪个平台好？  如何自己制作一个网站链接,如何制作一个企业网站，建设网站的基本步骤有哪些？  如何通过山东自助建站平台快速注册域名？  如何在Windows 2008云服务器安全搭建网站？  网站制作企业,网站的banner和导航栏是指什么？  网站制作服务平台,有什么网站可以发布本地服务信息？  制作旅游网站html,怎样注册旅游网站？  手机怎么制作网站教程步骤,手机怎么做自己的网页链接？  已有域名和空间，如何快速搭建网站？  SQL查询语句优化的实用方法总结  如何在Golang中引入测试模块_Golang测试包导入与使用实践  建站之星如何助力网站排名飙升？揭秘高效技巧  非常酷的网站设计制作软件,酷培ai教育官方网站？  微课制作网站有哪些,微课网怎么进？  如何在IIS服务器上快速部署高效网站？  济南网站建设制作公司,室内设计网站一般都有哪些功能？  如何快速上传建站程序避免常见错误？  如何在IIS中新建站点并配置端口与物理路径？  建站主机类型有哪些？如何正确选型  建站之星3.0如何解决常见操作问题？  建站之星如何实现PC+手机+微信网站五合一建站？  如何注册花生壳免费域名并搭建个人网站？  如何快速搭建响应式可视化网站？  如何零基础开发自助建站系统？完整教程解析  宝塔建站无法访问？如何排查配置与端口问题？  湖州网站制作公司有哪些,浙江中蓝新能源公司官网？  建站与域名管理如何高效结合？  如何获取PHP WAP自助建站系统源码？  如何用已有域名快速搭建网站？