前言

Python为我们提供了4种基本的数据结构:list, tuple, dict, set,但是在处理数据量较大的情形的时候,这4种数据结构就明显过于单一了,比如list作为数组在某些情形插入的效率会比较低,有时候我们也需要维护一个有序的dict。所以这个时候我们就要用到Python标准库为我们提供的collections包了,它提供了多个有用的集合类,熟练掌握这些集合类,不仅可以让我们让写出的代码更加Pythonic,也可以提高我们程序的运行效率。
defaultdict
defaultdict(default_factory)在普通的dict之上添加了default_factory,使得key不存在时会自动生成相应类型的value,default_factory参数可以指定成list, set, int等各种合法类型。
我们现在有下面这样一组list,虽然我们有5组数据,但是仔细观察后发现其实我们只有3种color,但是每一种color对应多个值。现在我们想要将这个list转换成一个dict,这个dict的key对应一种color,dict的value设置为一个list存放color对应的多个值。我们可以使用defaultdict(list)来解决这个问题。
>>> from collections import defaultdict
>>> s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)]
>>> d = defaultdict(list)
>>> for k, v in s:
... d[k].append(v)
...
>>> sorted(d.items())
[('blue', [2, 4]), ('red', [1]), ('yellow', [1, 3])]
以上等价于:
>>> d = {}
>>> for k, v in s:
... d.setdefault(k, []).append(v)
...
>>> sorted(d.items())
[('blue', [2, 4]), ('red', [1]), ('yellow', [1, 3])]
如果我们不希望含有重复的元素,可以考虑使用defaultdict(set) 。set相比list的不同之处在于set中不允许存在相同的元素。
>>> from collections import defaultdict
>>> s = [('red', 1), ('blue', 2), ('red', 3), ('blue', 4), ('red', 1), ('blue', 4)]
>>> d = defaultdict(set)
>>> for k, v in s:
... d[k].add(v)
...
>>> sorted(d.items())
[('blue', {2, 4}), ('red', {1, 3})]
OrderedDict
Python3.6之前的dict是无序的,但是在某些情形我们需要保持dict的有序性,这个时候可以使用OrderedDict,它是dict的一个subclass,但是在dict的基础上保持了dict的有序型,下面我们来看一下使用方法。
>>> # regular unsorted dictionary
>>> d = {'banana': 3, 'apple': 4, 'pear': 1, 'orange': 2}
>>> # dictionary sorted by key
>>> OrderedDict(sorted(d.items(), key=lambda t: t[0]))
OrderedDict([('apple', 4), ('banana', 3), ('orange', 2), ('pear', 1)])
>>> # dictionary sorted by value
>>> OrderedDict(sorted(d.items(), key=lambda t: t[1]))
OrderedDict([('pear', 1), ('orange', 2), ('banana', 3), ('apple', 4)])
>>> # dictionary sorted by length of the key string
>>> OrderedDict(sorted(d.items(), key=lambda t: len(t[0])))
OrderedDict([('pear', 1), ('apple', 4), ('orange', 2), ('banana', 3)])
使用popitem(last=True)方法可以让我们按照LIFO(先进后出)的顺序删除dict中的key-value,即删除最后一个插入的键值对,如果last=False就按照FIFO(先进先出)删除dict中key-value。
>>> d = {'banana': 3, 'apple': 4, 'pear': 1, 'orange': 2}
>>> # dictionary sorted by key
>>> d = OrderedDict(sorted(d.items(), key=lambda t: t[0]))
>>> d
OrderedDict([('apple', 4), ('banana', 3), ('orange', 2), ('pear', 1)])
>>> d.popitem()
('pear', 1)
>>> d.popitem(last=False)
('apple', 4)
使用move_to_end(key, last=True)来改变有序的OrderedDict对象的key-value顺序,通过这个方法我们可以将排序好的OrderedDict对象中的任意一个key-value插入到字典的开头或者结尾。
>>> d = OrderedDict.fromkeys('abcde')
>>> d
OrderedDict([('a', None), ('b', None), ('c', None), ('d', None), ('e', None)])
>>> d.move_to_end('b')
>>> d
OrderedDict([('a', None), ('c', None), ('d', None), ('e', None), ('b', None)])
>>> ''.join(d.keys())
'acdeb'
>>> d.move_to_end('b', last=False)
>>> ''.join(d.keys())
'bacde'
deque
list存储数据的优势在于按索引查找元素会很快,但是插入和删除元素就很慢了,因为list是基于数组实现的。deque是为了高效实现插入和删除操作的双向列表,适合用于队列和栈,而且线程安全。
list只提供了append和pop方法来从list的尾部插入/删除元素,deque新增了appendleft/popleft等方法允许我们高效的在元素的开头来插入/删除元素。而且使用deque在队列两端append或pop元素的算法复杂度大约是O(1),但是对于list对象改变列表长度和数据位置的操作例如 pop(0)和insert(0, v)操作的复杂度高达O(n)。
>>> from collections import deque >>> dq = deque(range(10), maxlen=10) >>> dq deque([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], maxlen=10) >>> dq.rotate(3) >>> dq deque([7, 8, 9, 0, 1, 2, 3, 4, 5, 6], maxlen=10) >>> dq.rotate(-4) >>> dq deque([1, 2, 3, 4, 5, 6, 7, 8, 9, 0], maxlen=10) >>> dq.appendleft(-1) >>> dq deque([-1, 1, 2, 3, 4, 5, 6, 7, 8, 9], maxlen=10) >>> dq.extend([11, 22, 33]) >>> dq deque([3, 4, 5, 6, 7, 8, 9, 11, 22, 33], maxlen=10) >>> dq.extendleft([10, 20, 30, 40]) >>> dq deque([40, 30, 20, 10, 3, 4, 5, 6, 7, 8], maxlen=10)
Counter
Count用来统计相关元素的出现次数。
>>> from collections import Counter
>>> ct = Counter('abracadabra')
>>> ct
Counter({'a': 5, 'r': 2, 'b': 2, 'd': 1, 'c': 1})
>>> ct.update('aaaaazzz')
>>> ct
Counter({'a': 10, 'z': 3, 'r': 2, 'b': 2, 'd': 1, 'c': 1})
>>> ct.most_common(2)
[('a', 10), ('z', 3)]
>>> ct.elements()
<itertools.chain object at 0x7fbaad4b44e0>
namedtuple
使用namedtuple(typename, field_names)命名tuple中的元素来使程序更具可读性。
>>> from collections import namedtuple
>>> City = namedtuple('City', 'name country population coordinates')
>>> tokyo = City('Tokyo', 'JP', 36.933, (35.689722, 139.691667))
>>> tokyo
City(name='Tokyo', country='JP', population=36.933, coordinates=(35.689722, 139.691667))
>>> tokyo.population
36.933
>>> tokyo.coordinates
(35.689722, 139.691667)
>>> tokyo[1]
'JP'
>>> City._fields
('name', 'country', 'population', 'coordinates')
>>> LatLong = namedtuple('LatLong', 'lat long')
>>> delhi_data = ('Delhi NCR', 'IN', 21.935, LatLong(28.613889, 77.208889))
>>> delhi = City._make(delhi_data)
>>> delhi._asdict()
OrderedDict([('name', 'Delhi NCR'), ('country', 'IN'), ('population', 21.935),
('coordinates', LatLong(lat=28.613889, long=77.208889))])
>>> for key, value in delhi._asdict().items():
print(key + ':', value)
name: Delhi NCR
country: IN
population: 21.935
coordinates: LatLong(lat=28.613889, long=77.208889)
ChainMap
ChainMap可以用来合并多个字典。
>>> from collections import ChainMap
>>> d = ChainMap({'zebra': 'black'}, {'elephant': 'blue'}, {'lion': 'yellow'})
>>> d['lion'] = 'orange'
>>> d['snake'] = 'red'
>>> d
ChainMap({'lion': 'orange', 'zebra': 'black', 'snake': 'red'},
{'elephant': 'blue'}, {'lion': 'yellow'})
>>> del d['lion']
>>> del d['elephant']
Traceback (most recent call last):
File "/usr/lib/python3.5/collections/__init__.py", line 929, in __delitem__
del self.maps[0][key]
KeyError: 'elephant'
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/lib/python3.5/collections/__init__.py", line 931, in __delitem__
raise KeyError('Key not found in the first mapping: {!r}'.format(key))
KeyError: "Key not found in the first mapping: 'elephant'"
从上面del['elephant']的报错信息可以看出来,对于改变键值的操作ChainMap只会在第一个字典self.maps[0][key]进行查找,新增加的键值对也都会加入第一个字典,我们来改进一下ChainMap解决这个问题:
class DeepChainMap(ChainMap):
'Variant of ChainMap that allows direct updates to inner scopes'
def __setitem__(self, key, value):
for mapping in self.maps:
if key in mapping:
mapping[key] = value
return
self.maps[0][key] = value
def __delitem__(self, key):
for mapping in self.maps:
if key in mapping:
del mapping[key]
return
raise KeyError(key)
>>> d = DeepChainMap({'zebra': 'black'}, {'elephant': 'blue'}, {'lion': 'yellow'})
>>> d['lion'] = 'orange' # update an existing key two levels down
>>> d['snake'] = 'red' # new keys get added to the topmost dict
>>> del d['elephant'] # remove an existing key one level down
DeepChainMap({'zebra': 'black', 'snake': 'red'}, {}, {'lion': 'orange'})
可以使用new_child来deepcopy一个ChainMap:
>>> from collections import ChainMap
>>> a = {'a': 'A', 'c': 'C'}
>>> b = {'b': 'B', 'c': 'D'}
>>> m = ChainMap({'a': 'A', 'c': 'C'}, {'b': 'B', 'c': 'D'})
>>> m
ChainMap({'a': 'A', 'c': 'C'}, {'b': 'B', 'c': 'D'})
>>> m['c']
'C'
>>> m.maps
[{'c': 'C', 'a': 'A'}, {'c': 'D', 'b': 'B'}]
>>> a['c'] = 'E'
>>> m['c']
'E'
>>> m
ChainMap({'c': 'E', 'a': 'A'}, {'c': 'D', 'b': 'B'})
>>> m2 = m.new_child()
>>> m2['c'] = 'f'
>>> m2
ChainMap({'c': 'f'}, {'c': 'E', 'a': 'A'}, {'c': 'D', 'b': 'B'})
>>> m
ChainMap({'c': 'E', 'a': 'A'}, {'c': 'D', 'b': 'B'})
>>> m2.parents
ChainMap({'c': 'E', 'a': 'A'}, {'c': 'D', 'b': 'B'})
UserDict
下面我们来改进一下字典,查询字典的时候将key转换为str的形式:
class StrKeyDict0(dict): def __missing__(self, key): if isinstance(key, str): raise KeyError(key) return self[str(key)] def get(self, key, default=None): try: return self[key] except KeyError: return default def __contains__(self, key): return key in self.keys() or str(key) in self.keys()
解释一下上面这段程序:
k in my_dict,因为str(key) in self的形式,因为这会造成递归调用__contains__。这里还强调一点,在Python2.x中dict.keys()会返回一个list,这意味着k in my_list必须遍历list。在Python3.x中针对dict.keys()做了优化,性能更高,它会返回一个view如同set一样,详情参考官方文档。
上面这个例子可以用UserDict改写,并且将所有的key都以str的形式存储,而且这种写法更加常用简洁:
import collections class StrKeyDict(collections.UserDict): def __missing__(self, key): if isinstance(key, str): raise KeyError(key) return self[str(key)] def __contains__(self, key): return str(key) in self.data def __setitem__(self, key, item): self.data[str(key)] = item
UserDict是MutableMapping和Mapping的子类,它继承了MutableMapping.update和Mapping.get两个重要的方法,所以上面我们并没有重写get方法,可以在源码中看到它的实现和我们上面的实现是差不多的。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对的支持。
# python
# collections
# python中collections
# python标准库
# Python内置模块Collections的使用教程详解
# Python中collections.Counter()的具体使用
# python 中的collections.OrderedDict() 用法
# Python collections.defaultdict模块用法详解
# Python collections模块使用方法详解
# Python的collections模块中的OrderedDict有序字典
# python collections模块示例详解
# 多个
# 可以使用
# 键值
# 第一个
# 让我们
# 不存在
# 这个时候
# 递归
# 这会
# 解决这个问题
# 但是在
# 子类
# 基础上
# 可以用
# 遍历
# 会在
# 它是
# 这段
# 我们可以
# 在某些
相关文章:
股票网站制作软件,网上股票怎么开户?
大连企业网站制作公司,大连2025企业社保缴费网上缴费流程?
如何在云指建站中生成FTP站点?
如何在橙子建站中快速调整背景颜色?
如何通过VPS搭建网站快速盈利?
如何快速搭建高效服务器建站系统?
成都网站制作价格表,现在成都广电的单独网络宽带有多少的,资费是什么情况呢?
如何制作网站标识牌,动态网站如何制作(教程)?
javascript中的try catch异常捕获机制用法分析
定制建站是什么?如何实现个性化需求?
相册网站制作软件,图片上的网址怎么复制?
西安大型网站制作公司,西安招聘网站最好的是哪个?
如何零基础在云服务器搭建WordPress站点?
专业网站建设制作报价,网页设计制作要考什么证?
网站制作和推广的区别,想自己建立一个网站做推广,有什么快捷方法马上做好一个网站?
如何在云虚拟主机上快速搭建个人网站?
如何快速上传自定义模板至建站之星?
沈阳制作网站公司排名,沈阳装饰协会官方网站?
建站org新手必看:2024最新搭建流程与模板选择技巧
娃派WAP自助建站:免费模板+移动优化,快速打造专业网站
jQuery 常见小例汇总
如何在腾讯云服务器上快速搭建个人网站?
北京制作网站的公司排名,北京三快科技有限公司是做什么?北京三快科技?
PHP正则匹配日期和时间(时间戳转换)的实例代码
定制建站流程步骤详解:一站式方案设计与开发指南
如何通过万网虚拟主机快速搭建网站?
如何配置FTP站点权限与安全设置?
如何在建站主机中优化服务器配置?
建站之星手机一键生成:多端自适应+小程序开发快速建站指南
如何在阿里云ECS服务器部署织梦CMS网站?
建站之星后台密码遗忘或太弱?如何重置与强化?
天津个人网站制作公司,天津网约车驾驶员从业资格证官网?
做企业网站制作流程,企业网站制作基本流程有哪些?
如何在Golang中处理模块冲突_解决依赖版本不兼容问题
网站制作免费,什么网站能看正片电影?
网站网页制作专业公司,怎样制作自己的网页?
如何在云主机上快速搭建网站?
建站之星代理商如何保障技术支持与售后服务?
如何在沈阳梯子盘古建站优化SEO排名与功能模块?
学生网站制作软件,一个12岁的学生写小说,应该去什么样的网站?
定制建站平台哪家好?企业官网搭建与快速建站方案推荐
如何快速生成高效建站系统源代码?
Android滚轮选择时间控件使用详解
Python文件管理规范_工程实践说明【指导】
七夕网站制作视频,七夕大促活动怎么报名?
建站之星×万网:智能建站系统+自助建站平台一键生成
如何在万网开始建站?分步指南解析
c# Task.ConfigureAwait(true) 在什么场景下是必须的
,在苏州找工作,上哪个网站比较好?
建站之星24小时客服电话如何获取?
*请认真填写需求信息,我们会在24小时内与您取得联系。