一个小项目自动登录淘宝联盟抓取数据,由于之前在Github上看过类似用Python写的代码因此选择用Python来写,第一次用Python正式写程序还是被其“简单”所震撼,当然用的时候还是对其(2.7版)编码、迁移环境等问题所困扰,还好后来都解决了。

言归正传,抓取淘宝联盟的数据首先要解决的就是登录的问题,之前一般会碰到验证码的困扰,现在支持二维码扫码登录反而简单了,以下是登录的Python代码,主要是获取二维码打印,然后不断的检查扫码状态,如果过期了重新请求二维码(主要看逻辑,由于有些通用方法做了封装所以不保证能直接执行)
def getQRCode(enableCmdQR):
payload = {'_ksTS': str(time.time()), 'from': 'alimama'}
qrCodeObj = utils.fetchAPI('https://qrlogin.taobao.com/qrcodelogin/generateQRCode4Login.do', payload,
"json", None, True, True)
print(qrCodeObj)
utils.printQRCode('http:' + qrCodeObj['url'], enableCmdQR)
lgToken = qrCodeObj['lgToken']
return lgToken
def login(enableCmdQR=False):
lgToken = getQRCode(enableCmdQR)
code = 0
successLoginURL = ""
while code != 10006:
payload = {'lgToken': lgToken,
'defaulturl': 'http%3A%2F%2Flogin.taobao.com%2Fmember%2Ftaobaoke%2Flogin.htm%3Fis_login%3D1&_ksTS=' + str(
time.time())}
rObj = utils.fetchAPI('https://qrlogin.taobao.com/qrcodelogin/qrcodeLoginCheck.do', payload, "json", True,
False)
code = int(rObj['code'])
if 10000 == code:
# print("请扫描二维码登录")
continue
elif 10001 == code:
print("已扫描二维码,请在确认登录")
elif 10004 == code:
print("已过期请重新扫描")
login()
elif 10006 == code:
successLoginURL = rObj["url"]
print("登录成功,正在跳转")
else:
print("未知错误,退出执行")
sys.exit(0)
time.sleep(5)
print "登录成功跳转:" + successLoginURL
r = utils.fetchAPI(successLoginURL, None, "raw", True, False, True)
utils.fetchAPI(r.headers['Location'], None, "raw", True, True, False)
解决登录问题接下去就要解决保存状态的问题,Python的Requests库非常强大,如果简单的话可以直接使用request.session来进行会话操作,但由于项目中的很多操作是异步的因此需要解决cookie的存储和读取,使用pickel进行对像的序列化和反序列化。其中保存cookie默认用增量的方式进行更新
def save_cookies(cookies, overWrite=False):
try:
currentCookie = requests.utils.dict_from_cookiejar(cookies)
if len(currentCookie) < 1:
return
oldCookie = requests.utils.dict_from_cookiejar(load_cookies())
with open(config.COOKIE_FILE, 'w') as f:
if not overWrite:
cookieDict = dict(oldCookie, **currentCookie)
else:
cookieDict = requests.utils.dict_from_cookiejar(cookies)
pickle.dump(cookieDict, f)
print 'Saved cookie'
print cookieDict
f.close()
except:
print 'Save cookies failed', sys.exc_info()[0]
sys.exit(99)
def load_cookies():
try:
with open(config.COOKIE_FILE, 'r') as f:
cookies = requests.utils.cookiejar_from_dict(pickle.load(f))
f.close()
except:
cookies = []
return cookies
封装好之后,在requests.Session请求时加载cookie并保存cookie
s = requests.Session()
# 统一请求API
def fetchAPI(url, params=None, resultFormat="text", isNeedCookie=True, allowRedirects=True, saveCookie=False,
method='GET'):
try:
cookies = load_cookies()
if 'POST' == method:
response = s.post(url, data=params, headers=config.Headers, cookies=cookies)
else:
response = s.get(url, params=params, headers=config.Headers, cookies=cookies,
allow_redirects=allowRedirects)
if "json" == resultFormat:
result = response.json()
elif "raw" == resultFormat:
result = response
else:
result = response.text
# if saveCookie:
# print 'save cookie:' + str(response.cookies)
save_cookies(response.cookies)
return result
except Exception, e:
print e
return False
这两步做好之后基本后续的请求就直接使用统一的API请求方法即可,效果也非常不错,运行效果截图:
当然还有一个问题未解决:如何在session过期之后如何自动重新申请(不确定淘定是否支持),由于淘宝是用统一登录而且是独立的服务因此通过浏览器自动刷新或者请求过程中不断去更新cookie都没有获得服务器方更新的票据,不知道这一块大家有没有可以提供的思路。
# python
# 生成二维码
# 二维码识别
# 二维码
# Python自动登录
# Python模块 _winreg操作注册表
# python中扫描条形码和二维码的实现代码
# 通过python扫描二维码/条形码并打印数据
# python利用winreg生成桌面路径及实现扫描二维码图片返回相关信息
# 淘宝
# 跳转
# 这一
# 序列化
# 请在
# 对其
# 言归正传
# 还有一个
# 可以直接
# 不确定
# 验证码
# 两步
# 非常不错
# 装好
# 来写
# 过程中
# 接下去
# 主要是
# 并保存
# 自动登录
相关文章:
图册素材网站设计制作软件,图册的导出方式有几种?
网站设计制作企业有哪些,抖音官网主页怎么设置?
如何在IIS中新建站点并配置端口与IP地址?
齐河建站公司:营销型网站建设与SEO优化双核驱动策略
Python lxml的etree和ElementTree有什么区别
建站之星在线客服如何快速接入解答?
网站制作和推广的区别,想自己建立一个网站做推广,有什么快捷方法马上做好一个网站?
如何选择高效可靠的多用户建站源码资源?
微信小程序 五星评分(包括半颗星评分)实例代码
Android自定义控件实现温度旋转按钮效果
如何制作一个表白网站视频,关于勇敢表白的小标题?
c# Task.Yield 的作用是什么 它和Task.Delay(1)有区别吗
建站之星如何快速解决建站难题?
如何通过免费商城建站系统源码自定义网站主题与功能?
建站主机无法访问?如何排查域名与服务器问题
建站之星CMS五站合一模板配置与SEO优化指南
佛山网站制作系统,佛山企业变更地址网上办理步骤?
如何访问已购建站主机并解决登录问题?
深圳网站制作培训,深圳哪些招聘网站比较好?
网站制作中优化长尾关键字挖掘的技巧,建一个视频网站需要多少钱?
深入理解Android中的xmlns:tools属性
建站主机与虚拟主机有何区别?如何选择最优方案?
七夕网站制作视频,七夕大促活动怎么报名?
武汉外贸网站制作公司,现在武汉外贸前景怎么样啊?
如何在万网自助建站中设置域名及备案?
东莞专业网站制作公司有哪些,东莞招聘网站哪个好?
如何在腾讯云服务器上快速搭建个人网站?
小说建站VPS选用指南:性能对比、配置优化与建站方案解析
如何快速搭建虚拟主机网站?新手必看指南
简单实现Android文件上传
实例解析angularjs的filter过滤器
如何基于PHP生成高效IDC网络公司建站源码?
如何制作算命网站,怎么注册算命网站?
香港服务器网站生成指南:免费资源整合与高速稳定配置方案
香港服务器建站指南:免备案优势与SEO优化技巧全解析
如何用花生壳三步快速搭建专属网站?
在线ppt制作网站有哪些,请推荐几个好的课件下载的网站?
南平网站制作公司,2025年南平市事业单位报名时间?
建站之星客服服务时间及联系方式如何?
免费公司网站制作软件,如何申请免费主页空间做自己的网站?
如何在Golang中引入测试模块_Golang测试包导入与使用实践
建站之星展会模板:智能建站与自助搭建高效解决方案
建站主机空间推荐 高性价比配置与快速部署方案解析
小捣蛋自助建站系统:数据分析与安全设置双核驱动网站优化
如何通过服务器快速搭建网站?完整步骤解析
制作网站怎么制作,*游戏网站怎么搭建?
如何在IIS7上新建站点并设置安全权限?
太平洋网站制作公司,网络用语太平洋是什么意思?
如何用西部建站助手快速创建专业网站?
家族网站制作贴纸教程视频,用豆子做粘帖画怎么制作?
*请认真填写需求信息,我们会在24小时内与您取得联系。