为什么需要压平嵌套字典？

在Python开发中，我们经常需要处理复杂的嵌套字典结构，尤其是在处理JSON API响应、配置文件或数据库查询结果时。

嵌套字典虽然结构清晰，但在某些场景下并不实用：

• 数据存储需要扁平化结构
• 数据分析工具要求简单数据结构
• 需要提取特定路径的值
• 简化复杂数据的处理逻辑

yield生成器解决方案

Python的yield关键字允许我们创建生成器函数，这种函数可以逐步产生结果而不需要一次性构建整个数据结构，特别适合处理嵌套或递归结构。

基本实现代码

def flatten_dict(d, parent_key='', sep='.'):
    """
    使用yield递归压平嵌套字典
    :param d: 要压平的嵌套字典
    :param parent_key: 父键前缀
    :param sep: 键之间的分隔符
    :yield: (key, value)元组
    """
    for k, v in d.items():
        new_key = f"{parent_key}{sep}{k}" if parent_key else k
        
        if isinstance(v, dict):
            # 如果是字典，递归压平
            yield from flatten_dict(v, new_key, sep=sep)
        else:
            # 基本类型值，直接生成
            yield (new_key, v)

代码解析

• 递归处理：当遇到嵌套字典时，函数递归调用自身
• 生成器效率：使用yield逐步生成结果，内存占用少
• 键名构建：使用分隔符连接各级键名形成路径
• 灵活性：可自定义分隔符适应不同需求

使用示例

user_data = {
    "id": 12345,
    "name": {
        "first": "John",
        "last": "Doe"
    },
    "contact": {
        "email": "john.doe@example.com",
        "phone": {
            "home": "123-4567",
            "work": "987-6543"
        }
    },
    "hobbies": ["reading", "hiking"]
}

{
    "id": 12345,
    "name.first": "John",
    "name.last": "Doe",
    "contact.email": "john.doe@example.com",
    "contact.phone.home": "123-4567",
    "contact.phone.work": "987-6543",
    "hobbies": ["reading", "hiking"]
}

如何使用生成器

# 使用生成器压平字典
flattened = dict(flatten_dict(user_data))

# 输出结果
for key, value in flattened.items():
    print(f"{key}: {value}")

# 输出:
# id: 12345
# name.first: John
# name.last: Doe
# contact.email: john.doe@example.com
# contact.phone.home: 123-4567
# contact.phone.work: 987-6543
# hobbies: ['reading', 'hiking']

高级技巧与变体

def flatten_dict_with_lists(d, parent_key='', sep='.'):
    if isinstance(d, list):
        for i, item in enumerate(d):
            new_key = f"{parent_key}{sep}{i}" if parent_key else str(i)
            yield from flatten_dict_with_lists(item, new_key, sep=sep)
    elif isinstance(d, dict):
        for k, v in d.items():
            new_key = f"{parent_key}{sep}{k}" if parent_key else k
            yield from flatten_dict_with_lists(v, new_key, sep=sep)
    else:
        yield (parent_key, d)

def flatten_dict_custom(d, parent_key='', sep='.', key_transform=None):
    key_transform = key_transform or (lambda x: x)
    for k, v in d.items():
        new_key = key_transform(f"{parent_key}{sep}{k}" if parent_key else k)
        
        if isinstance(v, dict):
            yield from flatten_dict_custom(v, new_key, sep, key_transform)
        else:
            yield (new_key, v)

# 使用示例：将所有键转为大写
flattened_upper = dict(flatten_dict_custom(data, key_transform=str.upper))

yield方法 vs 传统方法

总结

使用Python的yield关键字压平嵌套字典是一种高效、简洁且内存友好的方法：

• 内存效率高：特别适合处理大型嵌套数据结构
• 代码简洁：使用递归和生成器简化复杂问题
• 灵活可扩展：可轻松适应不同数据结构需求
• 易于使用：结果可直接转换为字典或迭代处理

掌握这一技巧将大大提高你处理复杂JSON数据、配置文件和各种API响应的效率。