使用Pandas高效进行DataFrame多列映射与合并

本文详细介绍了如何使用Pandas库将多个DataFrame的列数据进行转换、映射和合并，以实现复杂的数据重构需求。教程涵盖了列赋值、字符串操作、列删除以及DataFrame垂直拼接等核心操作，旨在帮助读者高效地整合不同结构的数据，并处理合并过程中可能出现的缺失值。

在数据分析和处理过程中，我们经常会遇到需要从不同来源或不同结构的DataFrame中提取、转换并合并数据的情况。例如，一个DataFrame可能包含主信息，而另一个DataFrame则包含补充信息，我们需要将这些补充信息映射到主信息的特定列，并最终整合到一起。本教程将通过一个具体的示例，详细讲解如何利用Pandas库实现这种多列映射与DataFrame合并的操作。

1. 准备初始数据

首先，我们创建两个示例DataFrame，分别命名为 df1 和 df2，它们代表了我们即将操作的原始数据。

import pandas as pd
import numpy as np

# 第一个DataFrame
data1 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female']
}
df1 = pd.DataFrame(data1)
print("df1 (原始数据):")
print(df1)
print("-" * 30)

# 第二个DataFrame，包含额外的'nick_name'列
data2 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female'],
    'nick_name': ['smity', 'sammy', 'suanny']
}
df2 = pd.DataFrame(data2)
print("df2 (包含昵称的补充数据):")
print(df2)
print("-" * 30)

输出示例:

df1 (原始数据):
        name  age     sex
0  smith row   26    male
1  sam smith   30    male
2  susan storm  25  female
------------------------------
df2 (包含昵称的补充数据):
          name  age     sex nick_name
0    smith row   26    male     smity
1    sam smith   30    male     sammy
2  susan storm   25  female    suanny
------------------------------

我们的目标是将 df2 中的 nick_name 列作为新的 name 信息，同时将 sex 列简化为首字母，并最终与 df1 合并，形成一个统一的DataFrame。

2. 对第二个DataFrame进行数据转换与列映射

为了达到预期的合并效果，我们需要对 df2 进行一系列的转换操作。这些操作包括：

将 nick_name 列的值赋给 name 列。
将 sex 列的值转换为其首字母。
删除不再需要的 age 和 nick_name 列。

# 步骤1: 将'nick_name'列的值赋给'name'列
df2_transformed = df2.copy() # 创建副本以避免修改原始df2
df2_transformed['name'] = df2_transformed['nick_name']

# 步骤2: 将'sex'列的值转换为其首字母
# 使用.str[0]可以方便地提取字符串的第一个字符
df2_transformed['sex'] = df2_transformed['sex'].str[0]

# 步骤3: 删除不再需要的'age'和'nick_name'列
df2_transformed = df2_transformed.drop(columns=['age', 'nick_name'])

print("df2_transformed (转换后的数据):")
print(df2_transformed)
print("-" * 30)

输出示例:

df2_transformed (转换后的数据):
     name sex
0   smity   m
1   sammy   m
2  suanny   f
------------------------------

经过这些转换，df2_transformed 现在只包含 name 和 sex 列，并且数据格式符合我们合并的要求。

3. 合并DataFrame

现在，我们可以使用 pd.concat() 函数将 df1 和转换后的 df2_transformed 进行垂直合并。

# 使用pd.concat()进行垂直合并
# ignore_index=True 会重置合并后的索引，使其从0开始连续编号
final_df = pd.concat([df1, df2_transformed], ignore_index=True)

print("final_df (最终合并结果):")
print(final_df)

输出示例:

final_df (最终合并结果):
          name   age     sex
0    smith row  26.0    male
1    sam smith  30.0    male
2  susan storm  25.0  female
3        smity   NaN       m
4        sammy   NaN       m
5       suanny   NaN       f

4. 结果分析与注意事项

观察最终合并结果 final_df，我们可以看到：

df1 的所有行都被完整保留。
df2_transformed 的行被追加到了 df1 的下方。
由于 df2_transformed 在合并前已经移除了 age 列，因此在合并后的 final_df 中，对应 df2_transformed 来源的行在 age 列显示为 NaN（Not a Number），表示缺失值。这是 pd.concat() 处理列不匹配时的默认行为。
sex 列的数据类型在合并后可能会因为 male/female 和 m/f 的混合而变为 object 类型，这是符合预期的。

注意事项与最佳实践：

列名一致性： 在进行 pd.concat() 垂直合并时，如果两个DataFrame的列名不完全一致，Pandas会默认进行外连接（union），即保留所有唯一的列名，并在缺失的列位置填充 NaN。因此，在合并前确保目标列名一致是关键。
数据类型： 合并操作可能会导致列的数据类型发生变化，尤其是在存在 NaN 的情况下，整数列可能会被转换为浮点数类型。在合并后，如果需要，可能需要进行数据类型转换（例如，使用 df['age'].fillna(0).astype(int) 来填充 NaN 并转换为整数）。
缺失值处理： 合并后产生的 NaN 值通常需要进一步处理，例如使用 fillna() 填充默认值，或使用 dropna() 删除含有 NaN 的行。具体处理方法取决于业务需求。
ignore_index=True： 这个参数在垂直合并时非常有用，它会生成一个新的、连续的索引，避免了原始DataFrame索引重复或混乱的问题。
动态映射： 虽然本示例是硬编码的列操作，但在实际应用中，如果需要处理大量或结构相似的DataFrame，可以考虑编写函数或使用循环来动态执行列的映射、转换和删除操作，从而提高代码的复用性和灵活性。

总结

本教程详细演示了如何利用Pandas库对DataFrame进行多步操作，包括列的赋值、字符串处理、列的删除以及最终的DataFrame垂直合并。通过这些技术，我们可以有效地重构和整合不同来源的数据，以满足复杂的数据分析需求。理解这些核心操作及其对数据结构和数据类型的影响，是进行高效数据清洗和预处理的关键。

# 编码 # 数据清洗 # pandas # 数据类型 # Object # 字符串 # union # int # 循环 # 数据结构 # 类型转换 # number # 数据分析 # 重构 # 这是 # 第一个 # 第二个 # 为其 # 原始数据 # 转换为 # 过程中 # 首字母 # 是在

返回目录在线咨询

上一篇：如何设置合适的meta标签来优化收录_SEO优化教程
下一篇：详解JAVA调用WCF服务的示例代码

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

全网整合营销服务商

使用Pandas高效进行DataFrame多列映射与合并

1. 准备初始数据

2. 对第二个DataFrame进行数据转换与列映射

3. 合并DataFrame

4. 结果分析与注意事项

总结

您的项目需求