从 shell 到 numpy：Python 并发编程的进化史

2023-06-27 20:06

短信预约 -IT技能 免费直播动态提醒

Python 是一门流行的编程语言，因为它在数据科学和机器学习等领域中的应用而备受关注。Python 提供了许多并发编程的库，这些库使开发人员能够利用计算机系统上的多个 CPU 核心。本文将介绍 Python 并发编程的进化史，从最基本的 shell 编程到更高级的并发库，例如 numpy。

从 shell 到 Python

在 shell 编程中，开发人员可以编写简单的脚本来执行任务。这些脚本通常是线性的，也就是说，每个任务都会按照指定的顺序执行。这种编程方式简单易懂，但在处理大量数据时可能会变得非常缓慢。

在 Python 中，我们可以使用 threading 库来实现并发编程。这个库允许我们在 Python 中创建多个线程来同时执行不同的任务。下面是一个简单的例子：

import threading

def task1():
    print("Task 1 started")
    for i in range(100000):
        pass
    print("Task 1 completed")

def task2():
    print("Task 2 started")
    for i in range(100000):
        pass
    print("Task 2 completed")

t1 = threading.Thread(target=task1)
t2 = threading.Thread(target=task2)

t1.start()
t2.start()

t1.join()
t2.join()

print("All tasks completed")

在这个例子中，我们创建了两个任务（即 task1 和 task2）并在不同的线程中运行它们。这使得这两个任务可以同时运行，从而加快了整个程序的执行速度。

使用 multiprocessing 库

尽管 threading 库允许我们创建多个线程并行执行任务，但是由于 Python 的全局解释器锁（Global Interpreter Lock，GIL），我们无法利用多个 CPU 核心。为了解决这个问题，我们可以使用 multiprocessing 库。

multiprocessing 库允许我们在 Python 中创建多个进程来同时执行任务。由于每个进程都拥有自己的 Python 解释器，因此我们可以利用多个 CPU 核心来并行处理任务。下面是一个简单的例子：

import multiprocessing

def task1():
    print("Task 1 started")
    for i in range(100000):
        pass
    print("Task 1 completed")

def task2():
    print("Task 2 started")
    for i in range(100000):
        pass
    print("Task 2 completed")

p1 = multiprocessing.Process(target=task1)
p2 = multiprocessing.Process(target=task2)

p1.start()
p2.start()

p1.join()
p2.join()

print("All tasks completed")

在这个例子中，我们创建了两个任务（即 task1 和 task2）并在不同的进程中运行它们。这使得这两个任务可以在不同的 CPU 核心上并行运行，从而加快了整个程序的执行速度。

使用 concurrent.futures 库

尽管 multiprocessing 库允许我们利用多个 CPU 核心来并行处理任务，但是在编写代码时需要进行更多的工作。为了简化这个过程，Python 提供了 concurrent.futures 库。

concurrent.futures 库允许我们以一种更加简单的方式编写并发代码。它提供了两个类：ThreadPoolExecutor 和 ProcessPoolExecutor，它们分别提供了线程池和进程池的功能。下面是一个简单的例子：

import concurrent.futures

def task1():
    print("Task 1 started")
    for i in range(100000):
        pass
    print("Task 1 completed")

def task2():
    print("Task 2 started")
    for i in range(100000):
        pass
    print("Task 2 completed")

with concurrent.futures.ProcessPoolExecutor() as executor:
    future1 = executor.submit(task1)
    future2 = executor.submit(task2)

print("All tasks completed")

在这个例子中，我们使用 ProcessPoolExecutor 类创建了一个进程池，并使用 submit() 方法将两个任务提交给进程池。这使得这两个任务可以在不同的 CPU 核心上并行运行，从而加快了整个程序的执行速度。

使用 numpy 库

尽管 concurrent.futures 库使并发编程变得更加简单，但是在处理大量数据时仍然可能变得非常缓慢。为了解决这个问题，我们可以使用 numpy 库。

numpy 库是 Python 中一个非常流行的科学计算库，它提供了许多高效的数组操作。由于 numpy 库使用了 C 语言的底层代码来实现这些操作，因此它比 Python 的原生数据类型要快得多。下面是一个简单的例子：

import numpy as np

def task1():
    print("Task 1 started")
    a = np.ones((10000, 10000))
    for i in range(100):
        a = np.multiply(a, 2)
    print("Task 1 completed")

def task2():
    print("Task 2 started")
    b = np.ones((10000, 10000))
    for i in range(100):
        b = np.multiply(b, 3)
    print("Task 2 completed")

with concurrent.futures.ProcessPoolExecutor() as executor:
    future1 = executor.submit(task1)
    future2 = executor.submit(task2)

print("All tasks completed")

在这个例子中，我们使用 numpy 库创建了两个数组（即 a 和 b），并使用 np.multiply() 方法将它们分别乘以 2 和 3。由于 numpy 库使用了底层 C 代码来实现这些操作，因此它比 Python 的原生数据类型要快得多。由于我们使用了 concurrent.futures 库来并行执行这两个任务，因此整个程序的执行速度非常快。