什么是Python生成器？

生成器是Python中一种特殊的迭代器，可以按需生成值而不是一次性创建所有值。这使得生成器在处理大数据集或无限序列时非常高效。

方法一：使用yield关键字

这是创建生成器最常用的方法。在函数中使用yield代替return，函数就会变成一个生成器。

基本示例

def countdown(n):
    while n > 0:
        yield n
        n -= 1

# 使用生成器
for num in countdown(5):
    print(num)  # 输出: 5, 4, 3, 2, 1

生成器状态

生成器会记住执行状态，每次调用next()时从上次yield的位置继续执行。

方法二：生成器表达式

类似于列表推导式，但使用圆括号而不是方括号，可以创建更简洁的生成器。

基础语法

# 列表推导式 - 立即创建所有元素
squares_list = [x**2 for x in range(10)]

# 生成器表达式 - 按需生成元素
squares_gen = (x**2 for x in range(10))

print(next(squares_gen))  # 输出: 0
print(next(squares_gen))  # 输出: 1

实际应用

# 处理大文件
def process_large_file(file_path):
    with open(file_path, 'r') as file:
        # 使用生成器逐行处理，避免加载整个文件到内存
        lines = (line.strip() for line in file)
        for line in lines:
            # 处理每一行
            process(line)

方法三：高级生成器技术

双向通信

生成器可以通过send()方法接收数据，实现双向通信。

def accumulator():
    total = 0
    while True:
        value = yield total
        if value is None:
            break
        total += value

gen = accumulator()
next(gen)  # 启动生成器
print(gen.send(10))  # 输出: 10
print(gen.send(20))  # 输出: 30
gen.close()

协程实现

生成器可用于实现简单的协程，处理异步任务。

def task(name, n):
    for i in range(n):
        print(f"{name} 执行步骤 {i}")
        yield

def scheduler(tasks):
    while tasks:
        task = tasks.pop(0)
        try:
            next(task)
            tasks.append(task)
        except StopIteration:
            pass

# 创建任务
t1 = task("任务A", 3)
t2 = task("任务B", 4)

# 执行调度
scheduler([t1, t2])

生成器最佳实践

性能对比

综合案例：数据管道

使用多个生成器构建数据处理管道，每个生成器负责一个处理阶段。

def read_data(file_path):
    """读取数据生成器"""
    with open(file_path) as file:
        for line in file:
            yield line.strip()

def filter_comments(lines):
    """过滤注释行生成器"""
    for line in lines:
        if not line.startswith('#'):
            yield line

def parse_numbers(lines):
    """解析数字生成器"""
    for line in lines:
        parts = line.split()
        for part in parts:
            try:
                yield float(part)
            except ValueError:
                continue

def pipeline(file_path):
    """构建完整的数据处理管道"""
    lines = read_data(file_path)
    filtered = filter_comments(lines)
    numbers = parse_numbers(filtered)
    return numbers

# 使用管道处理数据
data_pipeline = pipeline('data.txt')
total = sum(data_pipeline)
print(f"数据总和: {total}")

掌握Python生成器

生成器是Python中强大的工具，可以显著提高程序性能和资源利用率。通过本教程，您已经学会了创建生成器的多种方法及其最佳实践。立即在您的项目中应用这些技术吧！