pin_drop当前位置:知识文库 ❯ 图文
BeautifulSoup标签内容提取详解 - string text get_text用法
一、标签内容概述
标签内容是HTML标签内部的文本和子元素，也是网页爬虫最终要提取的核心数据。BeautifulSoup提供了多种方式获取标签内容，包括.string、.strings、.text/.get_text()等。
不同方法在处理嵌套标签、多文本节点时有不同的行为。理解它们的差异，对于正确提取网页文本数据至关重要。
二、文本获取方法详解
BeautifulSoup提供了多种获取文本的方法，各有不同的适用场景：
代码示例
# 获取单个文本节点
text = tag.string
# 获取所有文本（拼接）
text = tag.text
text = tag.get_text()
# 遍历所有文本节点
for s in tag.strings: # 包含空白文本
for s in tag.stripped_strings: # 仅非空文本get_text() 参数详解
三、子节点遍历方法
除了获取纯文本，还可以遍历子节点来获取更精细的结构信息：
代码示例
# 直接子节点列表
children = tag.contents
# 直接子节点迭代器（省内存）
children = tag.children
# 所有后代节点迭代器（含嵌套）
descendants = tag.descendants四、实战代码示例
示例1：string与text的区别
这是最常见的困惑点，通过示例可以清楚理解它们的差异：
代码示例
from bs4 import BeautifulSoup
html = """
<div>
<p>简单文本</p>
<p>包含<b>加粗</b>的文本</p>
<p></p>
</div>
"""
soup = BeautifulSoup(html, 'html.parser')
# .string：只有一个文本节点时返回
p1 = soup.find_all('p')[0]
print(f"p1.string: {p1.string}")
print(f"p1.string类型: {type(p1.string)}")
# .string：有子标签时返回None
p2 = soup.find_all('p')[1]
print(f"p2.string: {p2.string}")
# .text：获取所有文本（包含子标签内的文本）
print(f"p2.text: {p2.text}")
# .string：空标签返回None
p3 = soup.find_all('p')[2]
print(f"p3.string: {p3.string}")
print(f"p3.text: '{p3.text}'")输出结果：
代码示例
p1.string: 简单文本
p1.string类型: <class 'bs4.element.NavigableString'>
p2.string: None
p2.text: 包含加粗的文本
p3.string: None
p3.text: ''示例2：strings与stripped_strings
了解如何处理包含空白文本节点的情况：
代码示例
from bs4 import BeautifulSoup
html = """
<div class="article">
<h2>文章标题</h2>
<p>第一段内容</p>
<p>第二段内容</p>
</div>
"""
soup = BeautifulSoup(html, 'html.parser')
article = soup.find(class_='article')
# strings：包含空白文本（换行和缩进）
print("strings遍历:")
for s in article.strings:
print(f" '{s}'")
# stripped_strings：自动去除空白
print("\nstripped_strings遍历:")
for s in article.stripped_strings:
print(f" '{s}'")
# get_text：带分隔符
print(f"\nget_text(): '{article.get_text()}'")
print(f"get_text('|'): '{article.get_text(separator='|')}'")
print(f"get_text(strip=True): '{article.get_text(strip=True)}'")输出结果：
代码示例
strings遍历:
'
'
'文章标题'
'
'
'第一段内容'
'
'
'第二段内容'
'
stripped_strings遍历:
'文章标题'
'第一段内容'
'第二段内容'
get_text(): '
文章标题
第一段内容
第二段内容
'
get_text('|'): '
|文章标题|
|第一段内容|
|第二段内容|
'
get_text(strip=True): '文章标题第一段内容第二段内容'示例3：子节点遍历
使用contents、children和descendants遍历子节点：
代码示例
from bs4 import BeautifulSoup
html = """
<div id="container">
<p>段落1</p>
<p>段落2</p>
<ul>
<li>项目1</li>
<li>项目2</li>
</ul>
</div>
"""
soup = BeautifulSoup(html, 'html.parser')
container = soup.find(id='container')
# contents：直接子节点列表
print(f"contents数量: {len(container.contents)}")
for child in container.contents:
if hasattr(child, 'name'):
print(f" 标签: {child.name}")
# children：直接子节点迭代器
print(f"\nchildren:")
for child in container.children:
if hasattr(child, 'name'):
print(f" {child.name}: {child.get_text(strip=True)}")
# descendants：所有后代
desc_count = sum(1 for d in container.descendants if hasattr(d, 'name') and d.name)
print(f"\n后代标签数量: {desc_count}")输出结果：
代码示例
contents数量: 7
标签: p
标签: p
标签: ul
children:
p: 段落1
p: 段落2
ul: 项目1项目2
后代标签数量: 5五、文本获取方式对比
六、注意事项与最佳实践
提示：.string在标签内有多个文本节点或子标签时返回None，此时应使用.text或.get_text()。
提示：.strings包含空白文本节点（换行和缩进），通常推荐使用.stripped_strings来过滤掉无意义的空白。
提示：.contents包含文本节点和标签节点，遍历时需要判断类型（使用hasattr(child, 'name')）。
提示：get_text(strip=True)会去除所有文本块的首尾空白，可能导致原本分开的词语粘连在一起。
小贴士
提取文章正文时，推荐使用.stripped_strings配合列表推导式：texts = list(article.stripped_strings)，可以快速获得干净的文本列表，再根据需求进行拼接或单独处理。
常见问题
.string什么时候返回None？
当标签内有多个文本节点（包含空白文本）或包含子标签时，.string返回None。只有当标签内仅有一个纯文本节点时才会返回文本。
.text和.get_text()有什么区别？
没有区别，.text是.get_text()的简写别名。但.get_text()支持separator和strip等参数，更加灵活。
如何保留换行格式提取文本？
使用get_text(separator='\n', strip=True)，这样每段文本之间会用换行符分隔，保持可读的格式。
contents和children有什么区别？
contents返回所有直接子节点的列表（占内存），children返回迭代器（省内存）。两者内容相同，数据量大时推荐使用children。
本文涉及AI创作
内容由AI创作，请仔细甄别
