Python爬虫DNS解析缓存方法实例分析

本文实例讲述了Python爬虫DNS解析缓存方法。分享给大家供大家参考，具体如下：

前言：

这是Python爬虫中DNS解析缓存模块中的核心代码，是去年的代码了，现在放出来 有兴趣的可以看一下。

一般一个域名的DNS解析时间在10~60毫秒之间，这看起来是微不足道，但是对于大型一点的爬虫而言这就不容忽视了。例如我们要爬新浪微博，同个域名下的请求有1千万（这已经不算多的了），那么耗时在10~60万秒之间，一天才86400秒。也就是说单DNS解析这一项就用了好几天时间，此时加上DNS解析缓存，效果就明显了。

下面直接放代码，说明在后面。

代码：

# encoding=utf-8
# ---------------------------------------
#  版本：0.1
#  日期：2016-04-26
#  作者：九茶<bone_ace@163.com>
#  开发环境：Win64 + Python 2.7
# ---------------------------------------
import socket
# from gevent import socket
_dnscache = {}
def _setDNSCache():
  """ DNS缓存 """
  def _getaddrinfo(*args, **kwargs):
    if args in _dnscache:
      # print str(args) + " in cache"
      return _dnscache[args]
    else:
      # print str(args) + " not in cache"
      _dnscache[args] = socket._getaddrinfo(*args, **kwargs)
      return _dnscache[args]
  if not hasattr(socket, '_getaddrinfo'):
    socket._getaddrinfo = socket.getaddrinfo
    socket.getaddrinfo = _getaddrinfo

说明：

其实也没什么难度，就是将socket里面的缓存保存下来，避免重复获取。
可以将上面的代码放在一个dns_cache.py文件里，爬虫框架里调用一下这个_setDNSCache()方法就行了。

需要说明一下的是，如果你使用了gevent协程，并且用上了monkey.patch_all()，要注意此时爬虫已经改用gevent里面的socket了，DNS解析缓存模块也应该要用gevent的socket才行。

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

# Python  # 爬虫  # DNS  # 解析缓存  # Python模块域名dnspython解析  # python批量处理多DNS多域名的nslookup解析实现  # 利用Python+阿里云实现DDNS动态域名解析的方法  # Python实现的简单dns查询功能示例  # python实现域名系统(DNS)正向查询的方法  # Python中使用scapy模拟数据包实现arp攻击、dns放大攻击例子  # Python写的一个简单DNS服务器实例  # python实现DNS正向查询、反向查询的例子  # Python DNS查询放大攻击实现原理解析  # 的是  # 进阶  # 这是  # 操作技巧  # 这一  # 如果你  # 放在  # 相关内容  # 也没  # 几天  # 这就  # 数据结构  # 用了  # 要注意  # 给大家  # 要用  # 有兴趣  # 看一下  # 在后面  # 才行 

相关文章： 如何用腾讯建站主机快速创建免费网站？  如何构建满足综合性能需求的优质建站方案？  seo网站制作优化,网站SEO优化步骤有哪些？  c++如何打印函数堆栈信息_c++ backtrace函数与符号名解析【方法】  电商网站制作价格怎么算,网上拍卖流程以及规则？  做企业网站制作流程,企业网站制作基本流程有哪些？  如何快速登录WAP自助建站平台？  南京做网站制作公司,南京哈发网络有限公司，公司怎么样，做网页美工DIV+CSS待遇怎么样？  购物网站制作公司有哪些,哪个购物网站比较好？  上海网站制作网页,上海本地的生活网站有哪些？最好包括生活的各个方面的？  微网站制作教程,不会写代码，不会编程，怎么样建自己的网站？  手机钓鱼网站怎么制作视频,怎样拦截钓鱼网站。怎么办？  网站企业制作流程,用什么语言做企业网站比较好？  湖州网站制作公司有哪些,浙江中蓝新能源公司官网？  如何配置FTP站点权限与安全设置？  怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm，可以有哪些措施降低舍内氨气水平？  定制建站方案优化指南：企业官网开发与建站费用解析  网站网页制作电话怎么打,怎样安装和使用钉钉软件免费打电话？  设计网站制作公司有哪些,制作网页教程？  宝塔建站教程：一键部署配置流程与SEO优化实战指南  枣阳网站制作,阳新火车站打的到仙岛湖多少钱？  如何通过免费商城建站系统源码自定义网站主题与功能？  如何快速配置高效服务器建站软件？  宝塔建站无法访问？如何排查配置与端口问题？  教学论文网站制作软件有哪些,写论文用什么软件 ？  公司网站制作费用多少,为公司建立一个网站需要哪些费用？  公众号网站制作网页,微信公众号怎么制作？  武汉外贸网站制作公司,现在武汉外贸前景怎么样啊？  怎么用手机制作网站链接,dw怎么把手机适应页面变成网页？  如何通过IIS搭建网站并配置访问权限？  ppt在线制作免费网站推荐,有什么下载免费的ppt模板网站？  网站制作网站,深圳做网站哪家比较好？  如何制作网站标识牌,动态网站如何制作（教程）？  如何通过VPS建站实现广告与增值服务盈利？  临沂网站制作公司有哪些,临沂第四中学官网？  网站制作报价单模板图片,小松挖机官方网站报价？  音乐网站服务器如何优化API响应速度？  建站中国官网：模板定制+SEO优化+建站流程一站式指南  新网站制作渠道有哪些,跪求一个无线渠道比较强的小说网站，我要发表小说？  零基础网站服务器架设实战：轻量应用与域名解析配置指南  定制建站模板如何实现SEO优化与智能系统配置？18字教程  制作假网页,招聘网的薪资待遇，会有靠谱的吗？一面试又各种折扣？  微信h5制作网站有哪些,免费微信H5页面制作工具？  建站主机如何安装配置？新手必看操作指南  韩国代理服务器如何选？解析IP设置技巧与跨境访问优化指南  Thinkphp 中 distinct 的用法解析  c++怎么实现高并发下的无锁队列_c++ std::atomic原子变量与CAS操作【详解】  官网建站费用明细查询_企业建站套餐价格及收费标准指南  关于BootStrap modal 在IOS9中不能弹出的解决方法(IOS 9 bootstrap modal ios 9 noticework)  如何在阿里云完成域名注册与建站？