python 之线程池传入多个参数的方法 ThreadPoolExecutor.submit 多参数支持

最新推荐文章于 2026-05-08 13:30:55 发布
原创 最新推荐文章于 2026-05-08 13:30:55 发布 · 2.4w 阅读 · 26 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文介绍了一种使用Python的concurrent.futures模块进行并行文件解析的方法，通过ThreadPoolExecutor和as_completed来提高文件处理效率。文章详细展示了如何利用lambda表达式传递多个参数到任务中，实现更灵活的任务调度。 
from concurrent.futures import ThreadPoolExecutor,as_completed


def doFileParse(filepath,segment,wordslist):
      print(filepath)
      print(segment)


#调用方法
#实质就是通过lambda表达式过渡。传入的参数是一个，但是通过lambda表达多后拆散为多个传入。这是很巧妙的方法，实际 就是 *p 这个表达式。
args =[filepath,thu1,Words]

newTask=executor.submit(lambda p: doFileParse(*p),args)

 

znsoft
关注
使用Python的ThreadPoolExecutor线程池传递单个参数和多个参数
学习使你进步。
09-23 716
在Python中，ThreadPoolExecutor是一个方便的线程池实现，它允许我们并发地执行多个任务。当我们需要将参数传递给线程池中的任务时，我们可以选择传递单个参数或多个参数。在本文中，我将介绍如何使用ThreadPoolExecutor来传递单个参数和多个参数，并提供相应的源代码示例。接下来，我们将定义一个简单的函数，该函数接受一个参数并模拟一些工作。在这个例子中，函数将打印参数的值，并让线程休眠一段时间来模拟工作的执行。
Python 多线程提交函数传递多参数 Star.hou
明日又天涯
02-16 848
【代码】Python 多线程提交函数传递多参数 Star.hou。
python线程池传递多个参数示例
weixin_54506550的博客
05-18 1944
这段时间的工作中频繁使用线程池，而任务函数需要传递多个参数;在之前的认知中，线程池都只能传递一个参数，参数可以是。这个代码中，任务列表中的每一个元组表示一个任务函数的实参元组，正常直接进行传递是无法传递给任务函数的，所以这里通过。这个问题困扰了我很久，今天偶然间看到一位佬的文章，学习到了一种传递多个参数的方法。函数对元组进行解包，这样就可以把多个参数传递到任务函数了。这种用法只能传递一个参数，如果任务函数有多个参数时就会。
Excel众数函数MODE实战指南：从数据清洗到业务洞察
最新发布
weixin_30336061的博客
05-08 487
众数是描述性统计中最基础、最直观的集中趋势度量，反映数据中出现频率最高的值，其核心原理在于频次统计与最大值识别。相比均值和中位数，众数对异常值不敏感、无需假设分布形态，因而特别适合处理含噪声、非数值化或偏态明显的业务数据。在实际工程中，MODE.SNGL()提供稳定单值输出，MODE.MULT()支持多众数发现并兼容文本，二者结合数据清洗（如TRIM、VALUE、IFERROR）可显著提升分析可信度。典型应用场景包括销售行为异常识别、客服工单共性挖掘、库存补货频次校验及动态默认值生成等。本文聚焦Excel中
python线程池传入多个参数_python线程池问题
weixin_39592240的博客
12-10 454
创建10个线程， 然后依次读取线程对象的值from threading import current_thread as cthreadfrom concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutorimport time#func函数没有传入参数def func():#print这行里面有i这个变量，但是func并没有传入...
python线程池传入多个参数_python 线程池ThreadPoolExecutor
weixin_29799209的博客
02-21 3629
背景最近项目中需要抽取数据库中某些数据组成一个缓存表，SQL倒是不复杂就是单纯的慢，慢到navicat跑崩了也没跑出来，然后就想着用python写脚本，根据时间字段做异步查询代码数据库连接写成伪码，过程抽象一下就是这样import timeimport pandas as pdfrom concurrent.futures import ThreadPoolExecutor# 需要保存的字段，sq...
python 线程异步执行踩坑
hanhan的博客
01-10 1398
有个需求，一个线程在得到n个数据之后，异步地执行一个子线程函数，在子线程函数中完成数据库的打开、写入数据、关闭操作。在子线程函数返回前父线程先返回结果。 version1 百度了一下，参考这篇文章：python线程实现异步任务 这个代码的执行结果如下： def update_mysql(id): executor.submit(do_update) return "ok" + str(id) def do_update(): time.sleep(3) print('sta
ThreadPoolExecutor中的submit()方法详细讲解
热门推荐
Widsom的博客
06-09 8万+
ThreadPoolExecutor中的submit()方法详细讲解在使用线程池的时候，发现除了execute()方法可以执行任务外，还发现有一个方法submit()可以执行任务。submit()有3个参数不一的方法，这些方法都是在ExecutorService接口中声明的，在AbstractExecutorService中实现，而ThreadPoolExecutor继承AbstractExecut
页面修改线程池参数_2
01-20 359
除了修改核心线程数和最大线程数，实际中还经常需要修改阻塞队列长度，但是发现没有修改队列长度的方法，因为 LinkedBlockingQueue 的 capacity 被 final 修饰了。 我们可以按照这个思路自定义一个队列，让其可以对 capacity 参数进行修改即可。 操作起来也非常方便，把 LinkedBlockingQueue 粘贴一份出来，修改个名字，然后把 capacity 参数的 final 修饰符去掉，并提供其对应的 get/set 方法。 //拷贝一份LinkedBlockin
python函数参数中的/和*
Ema1997的博客
07-13 995
作者：乘风 链接：https://www.zhihu.com/question/287097169/answer/453193254 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 在python3.8之后函数参数中允许出现/和*号，/用来指明某些函数形参必须使用位置参数而非关键字参数的形式，*出现在函数参数中第一种含义可以表示为可变参数，一般写作*args；对于单独出现在参数中的*参数，则表示，*后面的参数必须为关键字参数的形式，接下来详细说下该用法： 1 /参数的用法
13.ThreadPoolExecutor线程池之submit方法
weixin_33754913的博客
06-17 821
jdk1.7.0_79  　　在上一篇《ThreadPoolExecutor线程池原理及其execute方法》中提到了线程池ThreadPoolExecutor的原理以及它的execute方法。本文解析ThreadPoolExecutor#submit。 　　对于一个任务的执行有时我们不需要它返回结果，但是有我们需要它的返回执行结果。对于线程来讲，如果不需要它返回结果则实现Runnable，而...
Java并发基础(18)：ExecutorService中submit方法详解
mingyuli的博客
04-05 3426
1 submit() submit( )：该方法接收Runnable或Callable对象作为输入参数（该方法输入参数请参考上篇文章java线程池任务提交（Runnable、Callable、FutureTask）， 这篇文章主要讲submit方法的返回值以及返回值的使用），返回一个Future对象。submit方法提交的任务中的call方法如果返回Integer，那么submit方法就返回Future<Integer>；如果call方法返回Float，那么submit方法就返回Future&
ExecutorService.submit()浅析（基于jdk1.6）
myCoffeeTime
03-10 1025
ExecutorService.submit()方法可以有两种入参 1、实现Callable接口的类 2、实现Runnable接口的类 两种 方式的源码其实很类似 public Future submit(Runnable task) { if (task == null) throw new NullPointerException(); RunnableFuture fta
Java多线程之自定义线程池（ThreadPoolExecutor执行submit返回值Future）
smilehappiness的博客
04-28 1706
一般使用线程池执行任务都是调用的execute方法，这个方法定义在Executor接口中： public interface Executor { void execute(Runnable command); } 这个方法是没有返回值的，而且只接受Runnable。 那么像得到线程的返回值怎嘛办呢？ 在ExecutorService接口中能找到这个方法： <T&gt...
ThreadPoolExecutor传递单个参数和多个参数
Mr_Richard的博客
04-22 1150
ThreadPoolExecutor传递单个参数和多个参数
python线程池 ThreadPoolExecutor 使用详解
xiaoyu_wu的博客
10-30 5万+
从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了 ThreadPoolExecutor 和ProcessPoolExecutor两个类，实现了对threading和multiprocessing 的进一步抽象（这里主要关注线程池），不仅可以自动调度线程，还可以做到： 主线程可以获取某一个线程（或者任务的）的状态，以及返回值。 当一个...
python线程池ThreadPoolExecutor，传单个参数和多个参数
东贝鸟的博客
01-24 1万+
这是线程池传单个参数的 from concurrent.futures import ThreadPoolExecutor,as_completed def test(a): print(a) qq = {"a":"1","b":"2","c":"3"} with ThreadPoolExecutor() as pool: for j ,k in qq.items(): res = pool.submit(test,j) kk = res.resul
python高并发-线程池(ThreadPoolExecutor)
qq_41969287的博客
06-15 3522
线程池： 系统频繁的启动新线程,线程执行完被销毁,如果线程不能被重复使用,这必然会使得系统的性能下降,线程池的意义就在于减少线程创建及消毁过程中损失的系统资源。 EXecutor类包含两个子类: ThreadPoolExecutor(max_workers=None, thread_name_prefix=’’, initializer=None, initargs=())用于创建线程池 max_workers: 线程池中线程的个数;thread_name_prefix: 线程池中启动线程的名字;init
多线程(二) | 彻底搞懂线程池-Executors
lsqingfeng的博客
04-14 4100
[原文约7000字] 上篇文章，我们讲解了通过Thread和 Runnable 使用线程的方法，并且演示了如何创建一个线程并启动，今天我们来聊一聊多线程中的线程池。 一、为什么要使用线程池 我们使用多线程的一个一般步骤是： 先创建一个线程，然后线程执行线程任务，线程任务执行完毕后，线程会被销毁。 但是线程的创建和销毁是比较耗费资源的。在高并发场景之下，如果需要开启大量的线程，而每个线程它执行任务所需的时间很短的情况下，那么线程的频繁的创建和销毁就会成为性能的瓶颈。所以线程池应运而生。线程池的主要功能
Python网络与并发编程 15 使用执行器提交任务
weixin_43422005的博客
07-12 1739
concurrent.futures 我们在以往创建线程或进程的时候都会使用threading与multiprocessing模块进行创建。 那么在本章节学习完成后就不要使用这两种方式创建线程或者进程了，而是应当使用concurrent.futures所提供的执行器来构建线程或进程并执行任务。 concurrent.futures提供了2种执行器，如下所示，它们的接口使用也都一模一样： from concurrent.futures import ThreadPoolExecutor # 线程池执行器 f
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值