Pandas读写文件大全 - CSV Excel JSON读写教程

# 读取文件
df = pd.read_csv('data.csv')
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
df = pd.read_json('data.json')
df = pd.read_parquet('data.parquet')

# 写入文件
df.to_csv('output.csv', index=False)
df.to_excel('output.xlsx', sheet_name='数据', index=False)
df.to_json('output.json', orient='records')
df.to_parquet('output.parquet')

import pandas as pd

# 创建示例数据
df = pd.DataFrame({
    '姓名': ['张三', '李四', '王五'],
    '年龄': [25, 30, 28],
    '薪资': [8000, 12000, 10000]
})

# 写入CSV
df.to_csv('employees.csv', index=False, encoding='utf-8-sig')

# 读取CSV
df_read = pd.read_csv('employees.csv')
print(df_read)

# 写入Excel
df.to_excel('employees.xlsx', sheet_name='员工信息', index=False)

# 读取Excel
df_excel = pd.read_excel('employees.xlsx', sheet_name='员工信息')
print(df_excel)

# 读取时指定参数
df = pd.read_csv(
    'data.csv',
    sep='|',                    # 使用|分隔符
    encoding='gbk',             # 中文编码
    usecols=['姓名', '年龄'],   # 只读指定列
    dtype={'年龄': int},        # 指定数据类型
    na_values=['N/A', '-'],    # 识别为NaN的值
    nrows=1000                  # 只读前1000行
)

# 读取大文件的分块处理
chunk_iter = pd.read_csv('large_file.csv', chunksize=10000)
for chunk in chunk_iter:
    # 处理每个块
    print(chunk.shape)

# 追加写入CSV
df1.to_csv('output.csv', index=False, mode='w')
df2.to_csv('output.csv', index=False, mode='a', header=False)

# 多Sheet写入Excel
with pd.ExcelWriter('multi_sheet.xlsx') as writer:
    df1.to_excel(writer, sheet_name='数据1', index=False)
    df2.to_excel(writer, sheet_name='数据2', index=False)

import os

# 批量读取多个CSV文件并合并
def merge_csv_files(directory):
    """合并目录下所有CSV文件"""
    all_files = [f for f in os.listdir(directory) if f.endswith('.csv')]
    df_list = []
    
    for file in all_files:
        filepath = os.path.join(directory, file)
        df = pd.read_csv(filepath, encoding='utf-8-sig')
        df['source_file'] = file  # 标记来源文件
        df_list.append(df)
    
    return pd.concat(df_list, ignore_index=True)

# 读取并合并
merged_df = merge_csv_files('./data/')
print(f"合并后共 {len(merged_df)} 条记录")

# 处理结果导出
merged_df.to_csv('merged_result.csv', index=False, encoding='utf-8-sig')

# 同时导出多种格式
merged_df.to_excel('merged_result.xlsx', index=False)
merged_df.to_json('merged_result.json', orient='records', force_ascii=False)