pin_drop当前位置:知识文库 ❯ 图文
BeautifulSoup遍历文档树详解 - 父子兄弟节点导航
一、遍历文档树概述
遍历文档树是BeautifulSoup的核心功能之一。HTML文档本质上是一棵树形结构，通过父子、兄弟等关系将各个节点连接起来。BeautifulSoup提供了丰富的属性来访问节点的父节点、子节点、兄弟节点等。
掌握文档树的遍历方法，可以灵活地在HTML结构中定位和提取数据。无论是在表格中从单元格找到行数据，还是在列表中定位某项后获取其前后项，文档树遍历都是必备技能。
二、遍历属性一览
以下表格汇总了所有用于遍历文档树的属性：
三、向下遍历子节点
向下遍历用于访问当前节点的子元素和后代元素：
代码示例
from bs4 import BeautifulSoup
html = """
<div id="root">
<h1>标题</h1>
<p>段落1</p>
<p>段落2</p>
</div>
"""
soup = BeautifulSoup(html, 'html.parser')
root = soup.find(id='root')
# contents：直接子节点列表
print("contents:")
for child in root.contents:
if hasattr(child, 'name'):
print(f" {child.name}: {child.get_text(strip=True)}")
# children：直接子节点迭代器
print("\nchildren:")
for child in root.children:
if hasattr(child, 'name'):
print(f" {child.name}: {child.get_text(strip=True)}")
# descendants：所有后代（包括嵌套的子元素）
print("\ndescendants（标签）:")
for desc in root.descendants:
if hasattr(desc, 'name') and desc.name:
print(f" {desc.name}")输出结果：
代码示例
contents:
h1: 标题
p: 段落1
p: 段落2
children:
h1: 标题
p: 段落1
p: 段落2
descendants（标签）:
h1
p
p四、向上遍历父节点
向上遍历可以从当前节点回溯到其父节点及更上层的祖先节点：
代码示例
from bs4 import BeautifulSoup
html = """
<html>
<body>
<div class="container">
<ul>
<li class="target">目标项</li>
</ul>
</div>
</body>
</html>
"""
soup = BeautifulSoup(html, 'html.parser')
target = soup.find(class_='target')
# 直接父节点
print(f"父节点: {target.parent.name}")
# 所有祖先（从近到远）
print("\n祖先链:")
for parent in target.parents:
if hasattr(parent, 'name') and parent.name:
classes = parent.get('class', [])
print(f" {parent.name}" + (f".{'.'.join(classes)}" if classes else ""))
# 链式访问
print(f"\n父节点的父节点: {target.parent.parent.name}")输出结果：
代码示例
父节点: ul
祖先链:
ul
div.container
body
html
[document]
父节点的父节点: div五、横向遍历兄弟节点
横向遍历用于获取当前节点的兄弟节点，在列表或表格数据提取中非常实用：
代码示例
from bs4 import BeautifulSoup
html = """
<ul>
<li>项目1</li>
<li>项目2</li>
<li class="target">项目3</li>
<li>项目4</li>
<li>项目5</li>
</ul>
"""
soup = BeautifulSoup(html, 'html.parser')
target = soup.find(class_='target')
# 下一个兄弟（注意可能包含空白文本节点）
next_sib = target.next_sibling
while next_sib and not hasattr(next_sib, 'name'):
next_sib = next_sib.next_sibling
print(f"下一个兄弟: {next_sib.string if next_sib else None}")
# 上一个兄弟
prev_sib = target.previous_sibling
while prev_sib and not hasattr(prev_sib, 'name'):
prev_sib = prev_sib.previous_sibling
print(f"上一个兄弟: {prev_sib.string if prev_sib else None}")
# 后面所有兄弟（只取标签节点）
print("\n后面所有兄弟:")
for sib in target.next_siblings:
if hasattr(sib, 'name'):
print(f" {sib.string}")
# 前面所有兄弟（只取标签节点）
print("\n前面所有兄弟:")
for sib in target.previous_siblings:
if hasattr(sib, 'name'):
print(f" {sib.string}")输出结果：
代码示例
下一个兄弟: 项目4
上一个兄弟: 项目2
后面所有兄弟:
项目4
项目5
前面所有兄弟:
项目2
项目1六、遍历方向对比与最佳实践
提示：兄弟节点之间可能包含空白文本节点（换行和缩进），遍历时需要使用hasattr(child, 'name')进行过滤。
提示：contents返回列表（占内存），children返回迭代器（省内存）。处理大型HTML文档时推荐使用迭代器。
提示：parents迭代器包含文档根节点[document]，遍历时需要注意判断。
提示：next_element/previous_element按解析顺序遍历，不是按DOM结构遍历，这与兄弟节点遍历方式不同。
小贴士
在爬取表格数据时，经常需要从某个单元格(td)向上找到所在的行(tr)，再获取整行数据。可以这样操作：row = td.parent 或 row = td.find_parent('tr')，然后通过row.find_all('td')获取该行所有单元格。
常见问题
为什么next_sibling返回的是空白而不是标签？
因为HTML中标签之间的换行和缩进也被解析为文本节点。需要过滤掉非标签节点：可以使用while循环跳过没有name属性的节点，或使用.find_next_sibling()方法直接获取下一个标签兄弟。
next_element和next_sibling有什么区别？
next_sibling按DOM结构获取同一父节点下的下一个兄弟；next_element按HTML解析顺序获取下一个元素，可能进入子节点或跳到兄弟节点。两者遍历顺序不同。
如何快速找到某个标签的特定祖先？
使用find_parent(tag_name)方法可以直接找到最近的指定名称的祖先，例如td.find_parent('table')会从单元格直接跳到表格元素。
如何用一行代码获取列表项的前后各N个兄弟？
使用列表推导式配合itertools.islice：prev_items = [s for s in item.previous_siblings if hasattr(s, 'name')][:2]
本文涉及AI创作
内容由AI创作，请仔细甄别
