Python并发的核心难点在于任务调度、状态共享与I/O阻塞点控制,而非语法本身;需区分I/O密集型(用asyncio)与CPU密集型(用multiprocessing),并严格管理线程/进程/事件循环边界及资源安全。
Python 并发不是靠“多开几个线程”就能解决的,真正卡住人的从来不是 threading 或 asyncio 的语法,而是任务调度时机、状态共享边界、I/O 阻塞点是否真的被绕过——第255讲这个编号本身没意义,但背后暴露的问题很真实:很多人学完 ThreadPoolExecutor 还是写不出稳定爬虫,跑通 async def 仍会遇到 RuntimeError: Event loop is closed。
concurrent.futures.ThreadPoolExecutor 跑着跑着就卡死?这不是线程池坏了,而是你没管住「阻塞源」。常见于混合使用同步 I/O(比如 requests.get())和线程池时,未设超时、未捕获异常、或共享了非线程安全对象(如全局 sqlite3.Connection)。
max_workers 设太高反而触发系统级连接数限制(尤其 HTTP),建议从 min(32, os.cpu_count() + 4) 起调submit(
) 包裹 try/except,否则一个任务崩溃会导致 as_completed() 提前退出requests.Session()),每个线程应持有一个独立实例asyncio.run() 为什么不能在已运行的 event loop 里调用?这是初学者最常撞上的墙:RuntimeError: asyncio.run() cannot be called from a running event loop。根本原因是 Python 的 event loop 是 per-thread 且不可重入的——你在 Jupyter、FastAPI 中间件、或已启动的 asyncio.create_task() 里再调 asyncio.run(),等于试图嵌套启动主循环。
asyncio.create_task() 提交协程,或直接 await 已有协程对象await coro(需 IPython ≥ 7.0),而非强行 asyncio.run(coro)
asyncio.run();否则检查是否已处于 async def 内部multiprocessing 而不是 asyncio?别被“异步更快”带偏。CPU 密集型任务(如图像处理、数值计算)用 asyncio 不仅没提速,还会因协程切换增加开销。真正的分水岭在「等待 vs 计算」:
asyncio + aiohttp/aiomysql
numpy 矩阵运算、PIL 图像缩放)→ 必须 multiprocessing,且注意 spawn 启动方式比 fork 更安全(尤其 Windows/macOS)asyncio,解析用 multiprocessing.Pool.map(),用 queue.Queue 或 multiprocessing.Queue 传数据import asyncio import aiohttp from multiprocessing import Pooldef cpu_heavy_task(data):
纯计算,不 await,不 IO
return sum(x ** 2 for x in data)async def fetch_url(session, url): async with session.get(url) as resp: return await resp.text()
async def main(): urls = ["https://www./link/5f69e19efaba426d62faeab93c308f5c"] 10 async with aiohttp.ClientSession() as session: htmls = await asyncio.gather([fetch_url(session, u) for u in urls])
# 把 HTML 列表交给多进程解析 with Pool() as pool: results = pool.map(cpu_heavy_task, [list(h.encode()) for h in htmls]) return results并发系统的复杂性不在语法,而在你能否清晰画出「哪段代码在哪个线程/进程/event loop 里执行」「数据在哪儿被读写」「错误发生时控制权落在谁手里」。很多问题其实只需要加一行
print(f"pid={os.getpid()}, tid={threading.get_ident()}")就能定位。
# mysql # python # html # windows # session # mac # ai # macos # win # 爬虫 # cos
相关文章: C#如何在一个XML文件中查找并替换文本内容 建站之星云端配置指南:模板选择与SEO优化一键生成 C#如何序列化对象为XML XmlSerializer用法 javascript基本数据类型及类型检测常用方法小结 阿里云网站搭建费用解析:服务器价格与建站成本优化指南 如何彻底卸载建站之星软件? 如何在阿里云虚拟服务器快速搭建网站? 免费视频制作网站,更新又快又好的免费电影网站? css网站制作参考文献有哪些,易聊怎么注册? 香港网站服务器数量如何影响SEO优化效果? 最好的网站制作公司,网购哪个网站口碑最好,推荐几个?谢谢? 如何撰写建站申请书?关键要点有哪些? mc皮肤壁纸制作器,苹果平板怎么设置自己想要的壁纸我的世界? 常州企业网站制作公司,全国继续教育网怎么登录? 专业型网站制作公司有哪些,我设计专业的,谁给推荐几个设计师兼职类的网站? 魔方云NAT建站如何实现端口转发? 微网站制作教程,不会写代码,不会编程,怎么样建自己的网站? C++如何将C风格字符串(char*)转换为std::string?(代码示例) 惠州网站建设制作推广,惠州市华视达文化传媒有限公司怎么样? 品牌网站制作公司有哪些,买正品品牌一般去哪个网站买? 清除minerd进程的简单方法 如何在IIS管理器中快速创建并配置网站? 怎么制作网站设计模板图片,有电商商品详情页面的免费模板素材网站推荐吗? 如何在Tomcat中配置并部署网站项目? 公司网站制作价格怎么算,公司办个官网需要多少钱? 如何配置FTP站点权限与安全设置? 网站按钮制作软件,如何实现网页中按钮的自动点击? 动图在线制作网站有哪些,滑动动图图集怎么做? 深圳网站制作培训,深圳哪些招聘网站比较好? 猪八戒网站制作视频,开发一个猪八戒网站,大约需要多少?或者自己请程序员,需要什么程序员,多少程序员能完成? 名字制作网站免费,所有小说网站的名字? 孙琪峥织梦建站教程如何优化数据库安全? 上海网站制作开发公司,上海买房比较好的网站有哪些? 如何解决VPS建站LNMP环境配置常见问题? 音乐网站服务器如何优化API响应速度? 深圳网站制作费用多少钱,读秀,深圳文献港这样的网站很多只提供网上试读,但有些人只要提供试读的文章就能全篇下载,这个是怎么弄的? 北京制作网站的公司,北京铁路集团官方网站? 建站之星手机一键生成:多端自适应+小程序开发快速建站指南 青浦网站制作公司有哪些,苹果官网发货地是哪里? C#怎么创建控制台应用 C# Console App项目创建方法 武汉网站如何制作,黄黄高铁武穴北站途经哪些村庄? 个人网站制作流程图片大全,个人网站如何注销? 为什么Go需要go mod文件_Go go mod文件作用说明 简易网站制作视频教程,使用记事本编写一个简单的网页html文件? 已有域名能否直接搭建网站? 建站之星安装提示数据库无法连接如何解决? 建站之星后台密码遗忘或太弱?如何重置与强化? 开封网站制作公司,网络用语开封是什么意思? 实例解析angularjs的filter过滤器 建站之星多图banner生成与模板自定义指南
*请认真填写需求信息,我们会在24小时内与您取得联系。