Python并发编程--多线程

学习背景(优缺点)

优点：

• 提高效率、执行同样的任务、减少时间消耗

• 高并发、高扩展性、低成本

• 需线程上下文切换的开销

缺点：

• 编程复杂度会有所提高

• 无法利用多核资源、协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上. 进行阻塞（Blocking）操作（如IO时）会阻塞掉整个程序

  
  

什么是CPU密集型计算、IO密集型计算

多线程、多进程、多协程的对比

三者关联：一个进程可启动N个线程，一个线程可以启动N个协程

三者优缺点：

全局解释器锁（GIL）

python 速度慢的原因

GIL是什么

官方的解释：GIL是用来防止多线程并发执行机器码的一个Mutex(互斥锁)，原因是：Cpython的内存管理是 not thread-safe

全局解释器锁：是计算机程序设计语言解释器用于同步线程的一种机制，他使得任何时刻仅有一个线程在执行。即便在多核心处理器上，使用GIL的解释器也只允许同一时间执行一个线程

如上图解释，多线程为流水线操作，其实可以说在有GIL的情况下，启用多个线程，同一时间还是进行的一个任务，并没有实质的并发操作，即使机器为多核CPU运转，在GIL的存在下，单个时刻也只能使用一个，相比并发加速的C++/Java（同一时刻可以并发执行） 慢很多

为什么要有GIL

Python设计初期，为了规避并发问题引入了GIL，但是现在想要去除，官方大大发现去除不掉了

为了解决多线程之间数据完整性和状态同步问题

原因详解：

Python中对象的管理，是使用与i你用计数器进行的，引用数为0则释放对象

假设，开了有两个线程，来处理对象obj，如图：

然而，GIL的出现解决了此类问题，简化了python对共享资源的管理

规避GIL带来的限制

多线程threading 机制依然是有用的，用于IO密集型计算

一、在IO操作期间(文件读写等)，线程对释放GIL，实现CPU和IO的并行，但是多线程用于CPU密集型计算时，只会更加拖慢速度

二、使用multiprocessing 的多线程机制实现真正的并行计算，利用多核CPU优势

多线程使用举例

import threadingimport requestsimport time
def url_blog():    url_lst = []    for page in range(3):        url = f'https://www.cnblogs.com/#p{page}'        url_lst.append(url)    return url_lstdef blog(url):    response = requests.get(url).text    print(len(response))def info_blog():    url_lst = url_blog()    treads = []         #创建泪飙存储url,方便后面为每个url创建多线程    for url in url_lst:         #为每个url操作创建一个线程        treads.append(            threading.Thread(target=blog, args=(url,))        )    for tread in treads:        tread.start()   #启动每个线程    for tread in treads:        tread.join()        #结束每个线程    print("线程结束")if __name__ == '__main__':    start_time = time.time()    info_blog()    end_time = time.time()    print(end_time-start_time)

end

原文始发于微信公众号（朱厌安全团队）：Python并发编程--多线程