Python委派生成器教程

什么是委派生成器？

委派生成器(Delegating Generator)是Python中一种特殊的生成器，它使用yield from语法将部分操作委派给另一个子生成器。

这种模式允许你将大型生成器分解为更小、更易管理的部分，同时保持生成器的惰性求值特性。

委派生成器的主要优点：

简化生成器之间的协作
提高代码可读性和可维护性
保持生成器的高效内存使用
简化异常处理和资源清理

基本生成器回顾

在深入委派生成器之前，我们先回顾一下Python生成器的基本概念：

# 简单的生成器示例
def count_up_to(n):
    i = 1
    while i <= n:
        yield i
        i += 1

# 使用生成器
counter = count_up_to(5)
print(next(counter))  # 输出: 1
print(next(counter))  # 输出: 2

生成器函数使用yield关键字返回一个值并暂停执行，下次调用时从暂停处继续执行。

yield from语法

yield from是Python 3.3引入的关键语法，用于委派生成器操作。

基本语法：

def delegating_generator():
    # 委派给子生成器
    result = yield from sub_generator()
    # 处理子生成器返回的结果

yield from的主要功能：

自动将值从调用者传递给子生成器
自动将子生成器产生的值返回给调用者
正确处理生成器终止时的StopIteration异常
将子生成器的返回值传递给委派生成器

委派生成器示例

下面是一个简单的委派生成器示例：

# 子生成器
def sub_generator():
    yield 'Python'
    yield 'Generator'
    yield 'Delegation'
    return "Done!"

# 委派生成器
def delegating_generator():
    result = yield from sub_generator()
    yield f"Sub-generator returned: {result}"

# 使用委派生成器
gen = delegating_generator()
for item in gen:
    print(item)

# 输出:
# Python
# Generator
# Delegation
# Sub-generator returned: Done!

在这个例子中：

delegating_generator使用yield from调用sub_generator
所有来自sub_generator的值都直接返回给调用者
当sub_generator结束时，它的返回值("Done!")被赋给result变量
委派生成器继续执行，产生最终消息

实际应用：数据处理管道

委派生成器非常适合构建数据处理管道。下面是一个实际应用示例：

# 数据源生成器
def data_source(n):
    for i in range(n):
        yield {'id': i, 'value': i * 10}

# 过滤器生成器
def filter_data(gen, min_value):
    for item in gen:
        if item['value'] >= min_value:
            yield item

# 转换生成器
def transform_data(gen, prefix):
    for item in gen:
        item['name'] = f"{prefix}_{item['id']}"
        yield item

# 委派生成器 - 构建处理管道
def processing_pipeline(n, min_value, prefix):
    source = data_source(n)
    filtered = filter_data(source, min_value)
    transformed = transform_data(filtered, prefix)
    yield from transformed

# 使用数据处理管道
print("Processing pipeline results:")
for item in processing_pipeline(10, 50, "ITEM"):
    print(item)

# 输出示例:
# {'id': 5, 'value': 50, 'name': 'ITEM_5'}
# {'id': 6, 'value': 60, 'name': 'ITEM_6'}
# ...

这个示例展示了：

data_source: 产生原始数据
filter_data: 过滤不符合条件的数据
transform_data: 转换数据格式
processing_pipeline: 委派生成器组合整个处理流程

高级特性：双向通信

委派生成器支持调用者和子生成器之间的双向通信：

def accumulator():
    total = 0
    while True:
        value = yield
        if value is None:
            break
        total += value
    return total

def delegating_acc():
    result = yield from accumulator()
    yield f"Total: {result}"

# 使用双向通信
gen = delegating_acc()
next(gen)  # 启动生成器
gen.send(10)
gen.send(20)
gen.send(30)
print(gen.send(None))  # 结束并获取结果

# 输出: Total: 60

在这个例子中：

调用者使用send()方法向生成器发送数据
数据通过委派生成器传递给子生成器
子生成器处理数据并返回最终结果
委派生成器处理子生成器的返回值

异常处理

yield from自动处理子生成器中的异常：

def risky_generator():
    yield "Start"
    raise ValueError("Something went wrong!")
    yield "End"

def safe_delegator():
    try:
        yield from risky_generator()
    except ValueError as e:
        yield f"Caught error: {e}"

# 使用安全的委派生成器
gen = safe_delegator()
print(next(gen))  # 输出: Start
print(next(gen))  # 输出: Caught error: Something went wrong!

关键点：

子生成器中的异常会传播到委派生成器
委派生成器可以使用try-except处理这些异常
这为生成器提供了更健壮的错误处理能力

最佳实践

使用委派生成器时的最佳实践：

将复杂生成器分解为多个小生成器
使用描述性名称提高可读性
在委派生成器中处理异常
使用类型注解明确生成器类型
考虑使用协程处理更复杂的异步模式

委派生成器在异步编程中的应用：

# 异步操作示例（概念性）
async def fetch_data(url):
    # 模拟异步请求
    return f"Data from {url}"

async def process_data():
    urls = ["url1", "url2", "url3"]
    results = []
    for url in urls:
        data = await fetch_data(url)
        results.append(data)
    return results

# 在异步框架中，await的工作方式类似yield from