Python实现爬取需要登录的网站完整示例

本文实例讲述了Python爬取需要登录的网站实现方法。分享给大家供大家参考，具体如下：

import requests
from lxml import html
# 创建 session 对象。这个对象会保存所有的登录会话请求。
session_requests = requests.session()
# 提取在登录时所使用的 csrf 标记
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
payload = {
  "username": "<你的用户名>",
  "password": "<你的密码>",
  "csrfmiddlewaretoken": authenticity_token # 在源代码中，有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。
}
# 执行登录
result = session_requests.post(
  login_url,
  data = payload,
  headers = dict(referer=login_url)
)
# 已经登录成功了，然后从 bitbucket dashboard 页面上爬取内容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
  url,
  headers = dict(referer = url)
)
# 测试爬取的内容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print(bucket_names)

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

# Python # 爬取 # 登录 # 网站 # 用python登录带弱图片验证码的网站 # python中requests模拟登录的三种方式(携带cookie/session进行请求网站) # python实现网站微信登录的示例代码 # python实现网站用户名密码自动登录功能 # 对python抓取需要登录网站数据的方法详解 # Python 登录网站详解及实例 # Python3使用requests登录人人影视网站的方法 # Python爬虫模拟登录带验证码网站 # python实现网站的模拟登录 # 使用Python中的cookielib模拟登录网站 # python 模拟网站登录——滑块验证码的识别 # 进阶 # 操作技巧 # 相关内容 # 数据结构 # 给大家 # 更多关于 # 所述 # 程序设计 # 源代码 # 使用技巧 # 有一个 # 编程技巧 # 讲述了 # org # account # signin # login_url # https # bitbucket # text

返回目录在线咨询

上一篇：如何建立有效的品牌故事_SEO优化教程
下一篇：域名不备案能成功搭建网站吗？

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

全网整合营销服务商

Python实现爬取需要登录的网站完整示例

您的项目需求