itertools.chain详解 - Python迭代器串联与扁平化

一、概述

itertools.chain 是 Python 标准库 itertools 模块中最常用的工具之一，它将多个可迭代对象串联成一个统一的迭代器，使得你可以像遍历单个序列一样连续遍历多个序列。chain 不会复制数据，而是在遍历时逐个从各个输入迭代器中取值，因此内存效率极高。特别地，chain.from_iterable 可以接受一个包含可迭代对象的可迭代对象（如列表的列表），实现扁平化操作。

在实际开发中，我们经常需要合并来自不同数据源的元素，例如合并多个日志文件、拼接分页数据、将嵌套列表展平等。chain 以惰性求值的方式完成这些任务，避免了创建中间列表带来的内存开销。

二、语法

方式一：直接传入多个可迭代对象

itertools.chain(*iterables)

方式二：传入一个可迭代对象的可迭代对象

itertools.chain.from_iterable(iterable)

三、参数说明

四、返回值

返回一个迭代器对象，按顺序依次产生所有输入可迭代对象中的元素。先遍历完第一个可迭代对象，再遍历第二个，依此类推。

五、代码示例

示例1：基本串联

import itertools

# 串联多个列表
list1 = [1, 2, 3]
list2 = ['a', 'b']
list3 = [True, False]

result = list(itertools.chain(list1, list2, list3))
print(result)

# 串联字符串
chars = list(itertools.chain('Hello', 'World'))
print(chars)

# 输出：
# [1, 2, 3, 'a', 'b', True, False]
# ['H', 'e', 'l', 'l', 'o', 'W', 'o', 'r', 'l', 'd']

在这个示例中，chain 将三个列表和一个字符串依次串联。注意，字符串本身也是可迭代对象，串联时会逐个产生字符。

示例2：from_iterable 扁平化

import itertools

# 扁平化嵌套列表
nested = [[1, 2, 3], [4, 5], [6, 7, 8, 9]]
flat = list(itertools.chain.from_iterable(nested))
print("扁平化:", flat)

# 扁平化字典的值
data = {'a': [1, 2], 'b': [3, 4], 'c': [5]}
values = list(itertools.chain.from_iterable(data.values()))
print("字典值扁平化:", values)

# 输出：
# 扁平化: [1, 2, 3, 4, 5, 6, 7, 8, 9]
# 字典值扁平化: [1, 2, 3, 4, 5]

from_iterable 非常适合处理嵌套结构。它接受一个"可迭代对象的可迭代对象"，然后依次展开每个子元素。这在处理列表的列表、字典的值等场景中非常实用。

示例3：多数据源合并处理

import itertools

# 合并多个文件的数据源
file1_data = [('Alice', 85), ('Bob', 92)]
file2_data = [('Charlie', 78), ('David', 95)]
file3_data = [('Eve', 88)]

# 找出所有分数大于 85 的学生
high_scorers = [
    (name, score) for name, score in itertools.chain(file1_data, file2_data, file3_data)
    if score > 85
]
print("高分学生:", high_scorers)

# 统计总人数和平均分
all_data = list(itertools.chain(file1_data, file2_data, file3_data))
total = len(all_data)
avg = sum(score for _, score in all_data) / total
print(f"总人数: {total}, 平均分: {avg:.1f}")

# 输出：
# 高分学生: [('Bob', 92), ('David', 95), ('Eve', 88)]
# 总人数: 5, 平均分: 87.6

这个示例展示了 chain 在实际数据处理中的应用。来自不同文件的记录可以被无缝合并为一个流，然后进行过滤、统计等操作。

六、实际应用场景

• 多数据源合并：将来自不同文件、数据库或 API 的数据合并为一个统一流进行处理

• 嵌套列表扁平化：使用 chain.from_iterable 将二维列表展平为一维列表

• 多集合运算：合并多个集合或列表进行统一的过滤、映射、统计操作

七、注意事项

注意1：chain 只进行一层串联，不会递归扁平化多层嵌套。如需深度扁平化，需要递归处理或多次调用。

注意2：chain(*iterables) 会先解包参数，如果可迭代对象数量非常多，解包本身可能消耗大量内存。此时应使用 chain.from_iterable。

注意3：chain 返回的迭代器只能遍历一次。如需多次使用，请用 list() 转换或重新创建。

提示：chain.from_iterable 比 chain(*list_of_lists) 更 Pythonic，尤其当列表数量不确定时。

八、相关方法对比

九、小结

• chain 将多个可迭代对象串联为一个迭代器，惰性求值，内存高效

• chain.from_iterable 适合处理动态数量的可迭代对象集合，如列表的列表

• 只进行一层串联，不递归扁平化

• 是替代列表拼接 + 操作的高效方案

十、练习题