Pandas DataFrame：高效将多列行数据聚合成键与值列表

本教程将详细介绍如何使用pandas库将dataframe中的多列数值数据高效地转换为以特定列为键，其余数值列聚合成一个列表的新dataframe结构。文章通过实例代码演示了如何利用iloc、apply和concat等pandas函数，避免了低效的循环操作，从而优化数据处理流程，提高性能。

引言：数据重塑的需求

在数据分析和处理过程中，我们经常会遇到需要将DataFrame中多个相关数值列合并成一个列表列的场景。这种重塑操作常见于简化数据结构、为后续的API调用准备数据，或是在某些数据库操作中将多维数据扁平化。例如，一个DataFrame可能包含一个标识符列（如id）、一个描述性列（如name），以及多个表示不同测量或属性的数值列。

考虑以下原始DataFrame结构：

import pandas as pd

data = {
    'id': [1, 2, 3],
    'name': ['AAA', 'BBB', 'CCC'],
    'value1': [1.0, 2.0, 3.0],
    'value2': [1.5, 2.3, 3.6],
    'value3': [1.8, 2.5, 3.7]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
   id name  value1  value2  value3
0   1  AAA     1.0     1.5     1.8
1   2  BBB     2.0     2.3     2.5
2   3  CCC     3.0     3.6     3.7

我们的目标是将value1、value2、value3这三列的数据，在保持id和name列不变的基础上，聚合成一个名为value的列表列，形成如下所示的结构：

   id name            value
0   1  AAA  [1.0, 1.5, 1.8]
1   2  BBB  [2.0, 2.3, 2.5]
2   3  CCC  [3.0, 3.6, 3.7]

低效方法及其弊端

初学者可能会倾向于使用循环（如for循环）遍历DataFrame的每一行，手动构建列表并添加新列。然而，对于Pandas DataFrame而言，循环操作通常效率低下，尤其是在处理大型数据集时，会导致显著的性能瓶颈。Pandas提供了高度优化的向量化操作，能够以C语言级别的性能执行数据处理任务，因此应尽量避免显式循环。

Pandas高效解决方案

Pandas提供了一系列强大的函数，可以高效地完成这种数据重塑任务。核心思路是：首先，分离出作为键的列和需要聚合的数值列；然后，对数值列进行行级别的列表聚合；最后，将处理后的数值列与键列重新合并。

以下是实现这一目标的具体步骤和代码示例：

1. 分离DataFrame的键列和值列

我们可以使用iloc（基于整数位置的索引）来选择DataFrame的不同部分。

选择键列： df.iloc[:, :2] 会选择从第一列到第二列（不包括第三列），即id和name列。
选择值列： df.iloc[:, 2:] 会选择从第三列到最后一列，即value1、value2和value3列。

2. 对值列进行行级别聚合

对选定的值列（df.iloc[:, 2:]），我们可以使用.apply(list, axis=1)方法。

apply(list, axis=1)：这个方法会将list函数应用到DataFrame的每一行（axis=1表示按行操作）。对于每一行，它会将该行的所有列值收集到一个列表中。
.rename('value')：聚合后的结果是一个Series，我们需要给这个新的Series一个有意义的名字，例如'value'。

3. 合并结果

最后，使用pd.concat()函数将分离出的键列和新生成的列表列横向合并。

pd.concat([part1, part2], axis=1)：part1是原始的键列DataFrame，part2是新生成的列表Series。axis=1表示按列合并。

完整代码示例

import pandas as pd

# 原始DataFrame
data = {
    'id': [1, 2, 3],
    'name': ['AAA', 'BBB', 'CCC'],
    'value1': [1.0, 2.0, 3.0],
    'value2': [1.5, 2.3, 3.6],
    'value3': [1.8, 2.5, 3.7]
}
df = pd.DataFrame(data)

# 解决方案
result_df = pd.concat([
    df.iloc[:, :2],  # 选择前两列 (id, name)
    df.iloc[:, 2:].apply(list, axis=1).rename('value') # 选择后续值列，转换为列表，并命名为'value'
], axis=1) # 按列合并

print("\n转换后的DataFrame:")
print(result_df)

输出：

转换后的DataFrame:
   id name            value
0   1  AAA  [1.0, 1.5, 1.8]
1   2  BBB  [2.0, 2.3, 2.5]
2   3  CCC  [3.0, 3.6, 3.7]

注意事项与最佳实践

性能优势： 这种方法利用了Pandas的内置优化，避免了Python层面的循环，对于大数据集具有显著的性能优势。
列选择的灵活性：
- 如果键列和值列的位置不固定，或者需要通过名称选择，可以使用df[['col1', 'col2']]来选择特定列，或df.drop(columns=['col_to_drop'])来排除列。
- 例如，如果只想保留name和value列，可以将第一部分改为df[['name']]。
处理缺失值（NaN）： 在进行apply(list)操作之前，需要考虑值列中是否存在缺失值（NaN）。
- 如果希望列表只包含非NaN值，可以先使用dropna(axis=1, how='all')删除全为NaN的列，或者apply(lambda x: x.dropna().tolist(), axis=1)在行级别删除NaN。
- 如果希望NaN值保留在列表中，则无需额外处理。
- 如果希望用特定值填充NaN，可以使用df.fillna(value)。
```
# 示例：处理NaN
df_with_nan = pd.DataFrame({
'id': [1, 2], 'name': ['A', 'B'],
'v1': [1.0, 2.0], 'v2': [None, 2.5], 'v3': [3.0, None]
})
# 方法一：在行级别过滤NaN
result_filtered_nan = pd.concat([
df_with_nan.iloc[:, :2],
df_with_nan.iloc[:, 2:].apply(lambda x: x.dropna().tolist(), axis=1).rename('value')
], axis=1)
print("\n处理NaN（过滤）后的DataFrame:")
print(result_filtered_nan)
```
方法二：填充NaN

result_filled_nan = pd.concat([ df_with_nan.iloc[:, :2], df_with_nan.iloc[:, 2:].fillna(0).apply(list, axis=1).rename('value') ], axis=1) print("\n处理NaN（填充0）后的DataFrame:") print(result_filled_nan)

动态列选择： 如果值列的数量或名称不固定，可以通过编程方式确定它们。例如，可以通过排除非数值列来选择所有数值列：

value_cols = df.select_dtypes(include=['number']).columns.tolist()
key_cols = [col for col in df.columns if col not in value_cols]

result_dynamic = pd.concat([
    df[key_cols],
    df[value_cols].apply(list, axis=1).rename('value')
], axis=1)
print("\n动态选择列转换后的DataFrame:")
print(result_dynamic)

总结

本教程详细阐述了如何使用Pandas高效地将DataFrame的多列数值数据聚合成一个列表列。通过利用iloc进行列选择，apply(list, axis=1)进行行级聚合，以及pd.concat进行最终合并，我们能够以简洁且高性能的方式完成数据重塑。掌握这种技术对于处理复杂数据集和优化数据管道至关重要，它使得Pandas在数据清洗、特征工程和数据准备阶段更加强大和灵活。在实际应用中，务必根据具体需求考虑缺失值处理和列选择策略，以确保数据转换的准确性和健壮性。

# python # c语言 # 大数据 # app # 数据清洗 # 性能瓶颈 # api调用 # red

返回目录在线咨询

上一篇：老生常谈PHP 文件写入和读取(必看篇)
下一篇：电脑、手机微信App建站：如何选择最合适的电话客服功能？

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

全网整合营销服务商