Python集合Set实现列表去重方法 - 高效去重技巧详解

Python使用Set集合实现列表去重完全指南

在Python编程中，经常需要对列表进行去重操作。使用集合(set)是最高效的方法之一，因为集合具有自动去重的特性。

一、基础去重方法

# 基础去重（不保持顺序）
original_list = [3, 5, 2, 3, 8, 5]
unique_list = list(set(original_list))
print(unique_list)  # 输出结果可能是[2, 3, 5, 8]（顺序随机）

注意：这种方法会丢失原始列表的顺序，因为集合是无序的数据结构。

二、保持顺序的去重方法

# 保持原始顺序的去重
def deduplicate_keep_order(lst):
    seen = set()
    return [x for x in lst if not (x in seen or seen.add(x))]

original = ['apple', 'banana', 'apple', 'orange', 'banana']
result = deduplicate_keep_order(original)
print(result)  # 输出: ['apple', 'banana', 'orange']

三、处理复杂数据类型

当列表包含不可哈希类型（如字典、列表）时：

# 字典列表去重（根据特定键）
data = [
    {'id': 1, 'name': 'John'},
    {'id': 2, 'name': 'Jane'},
    {'id': 1, 'name': 'John'}
]

# 使用集合记录已出现的id
seen_ids = set()
unique_data = []
for item in data:
    if item['id'] not in seen_ids:
        seen_ids.add(item['id'])
        unique_data.append(item)

print(unique_data)
# 输出: [{'id':1,'name':'John'}, {'id':2,'name':'Jane'}]