Pandas缺失值处理方法大全 - dropna fillna实战教程

# 检测缺失值
df.isnull()          # 返回布尔型DataFrame，True表示缺失
df.notnull()         # 返回布尔型DataFrame，True表示非缺失
df.isna()            # 与isnull()等价

# 删除缺失值
df.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

# 填充缺失值
df.fillna(value=None, method=None, axis=None, inplace=False, limit=None)

# 插值填充
df.interpolate(method='linear', axis=0, limit=None, inplace=False)

import pandas as pd
import numpy as np

# 创建含缺失值的数据
df = pd.DataFrame({
    '姓名': ['张三', '李四', '王五', '赵六', '孙七'],
    '年龄': [25, np.nan, 30, np.nan, 28],
    '薪资': [8000, 9000, np.nan, 11000, np.nan],
    '部门': ['技术部', '市场部', '技术部', np.nan, '人事部']
})

# 检测缺失值
print(df.isnull())
print(df.isnull().sum())  # 统计每列缺失值数量

# 删除含缺失值的行
df_clean = df.dropna()
print(df_clean)

# 删除全为缺失值的列
df_clean2 = df.dropna(axis=1, how='all')

# 使用固定值填充
df_filled1 = df.fillna(0)

# 使用列均值填充数值列
df['年龄'].fillna(df['年龄'].mean(), inplace=True)

# 使用不同值填充不同列
df_filled2 = df.fillna({
    '年龄': df['年龄'].median(),
    '薪资': df['薪资'].mean(),
    '部门': '未知'
})

# 前向填充和后向填充
df['薪资'].fillna(method='ffill', inplace=True)  # 用前一个值填充
df['薪资'].fillna(method='bfill', inplace=True)  # 用后一个值填充

# 插值法填充（适合时间序列）
df['年龄'].interpolate(method='linear', inplace=True)

# 模拟真实业务场景中的缺失值处理
data = pd.DataFrame({
    '日期': pd.date_range('2024-01-01', periods=30, freq='D'),
    '访问量': [100, 120, np.nan, 150, np.nan, np.nan, 180, 200, np.nan, 190],
    '转化率': [0.05, np.nan, 0.06, 0.07, np.nan, 0.08, np.nan, 0.09, 0.10, np.nan],
    '订单数': [5, 8, np.nan, 12, np.nan, np.nan, 15, 18, np.nan, 17]
})

# 策略1：访问量缺失超过50%的行删除
data = data.dropna(subset=['访问量'], thresh=5)

# 策略2：转化率用前向填充
data['转化率'].fillna(method='ffill', inplace=True)

# 策略3：订单数用线性插值
data['订单数'].interpolate(method='linear', inplace=True)

# 剩余少量NaN用0填充
data.fillna(0, inplace=True)
print(data)