在Python Pandas DataFrame中高效执行列间加减运算的教程

本教程旨在详细介绍如何在pandas dataframe中高效地对多个目标列执行复杂的列间加减运算。我们将探讨两种主要的实现方法：利用`dataframe.eval()`进行多行表达式计算，以及通过链式调用`add()`和`sub()`等矢量化方法。文章将通过具体示例代码，阐述这些方法的应用场景、优势，并提供选择策略和注意事项，帮助读者优化数据处理流程。

引言

在数据分析和处理中，我们经常需要根据现有列的值计算新列或更新现有列。当这种操作涉及多个列，并且遵循相同的计算模式时，如何高效且简洁地实现这些批量操作就显得尤为重要。本教程将以一个具体的场景为例：对DataFrame中的多个目标列（如C, D, E）执行相同的复合运算，即目标列 = 目标列 - B列 + A列。

初始数据准备

首先，我们创建一个示例Pandas DataFrame，作为所有操作的基础。

import pandas as pd

data = {
  "A": [42, 38, 39, 23],
  "B": [45, 30, 15, 65],
  "C": [60, 50, 25, 43],
  "D": [12, 70, 35, 76],
  "E": [87, 90, 45, 43],
  "F": [40, 48, 55, 76],
  "G": [58, 42, 85, 10],
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

输出的原始DataFrame如下：

原始DataFrame:
    A   B   C   D   E   F   G
0  42  45  60  12  87  40  58
1  38  30  50  70  90  48  42
2  39  15  25  35  45  55  85
3  23  65  43  76  43  76  10

我们的目标是更新列C, D, E，使其值变为当前值 - B列的值 + A列的值。

方法一：使用 DataFrame.eval() 进行多行表达式计算

DataFrame.eval() 方法允许我们使用字符串表达式来计算DataFrame的列。它在内部使用NumExpr库，对于大型DataFrame和复杂的表达式，通常能提供比直接Python操作更高的性能。其优势在于可以清晰地表达复杂的列间运算，并且支持多行表达式。

import pandas as pd

data = {
  "A": [42, 38, 39, 23],
  "B": [45, 30, 15, 65],
  "C": [60, 50, 25, 43],
  "D": [12, 70, 35, 76],
  "E": [87, 90, 45, 43],
  "F": [40, 48, 55, 76],
  "G": [58, 42, 85, 10],
}
df_eval = pd.DataFrame(data.copy()) # 使用副本进行操作

df_eval = df_eval.eval('''
C = C - B + A
D = D - B + A
E = E - B + A
''')

print("\n使用 df.eval() 后的DataFrame:")
print(df_eval)

解析：eval() 方法接受一个多行字符串，每一行代表一个赋值操作。Pandas会自动识别字符串中的列名，并将其作为DataFrame的列进行操作。这种方式使得批量更新多个列变得非常直观和易读，尤其当表达式结构相似时。

方法二：使用矢量化方法链式操作 (add, sub)

Pandas的Series和DataFrame对象支持各种矢量化数学运算方法，如add()、sub()、mul()、div()等。对于本例中的目标列 = 目标列 - B列 + A列，我们可以将其重构为目标列 = 目标列 + (A列 - B列)。这样，我们就可以计算出一个公共的偏移量A - B，然后将其批量加到目标列上。

import pandas as pd

data = {
  "A": [42, 38, 39, 23],
  "B": [45, 30, 15, 65],
  "C": [60, 50, 25, 43],
  "D": [12, 70, 35, 76],
  "E": [87, 90, 45, 43],
  "F": [40, 48, 55, 76],
  "G": [58, 42, 85, 10],
}
df_vectorized = pd.DataFrame(data.copy()) # 使用副本进行操作

# 计算公共的偏移量 (A - B)
offset = df_vectorized['A'].sub(df_vectorized['B'])

# 将偏移量批量加到目标列上
# 注意：当Series与DataFrame的子集进行操作时，需要指定 axis=0 表示按行（索引）对齐
df_vectorized[['C', 'D', 'E']] = df_vectorized[['C', 'D', 'E']].add(offset, axis=0)

print("\n使用矢量化方法后的DataFrame:")
print(df_vectorized)

解析：

df_vectorized['A'].sub(df_vectorized['B'])：首先计算列A减去列B的结果，得到一个Series，这代表了每个目标列需要应用的共同调整量。
df_vectorized[['C', 'D', 'E']]：选择需要更新的目标列。
.add(offset, axis=0)：将之前计算的offset Series加到选定的多列DataFrame子集上。axis=0在这里至关重要，它指示Pandas按行（即索引）对齐Series和DataFrame进行加法运算。如果不指定，Pandas可能会尝试按列对齐，导致错误或非预期结果。

最终结果验证

两种方法得到的最终DataFrame结果应该是一致的：

    A   B   C   D   E   F   G
0  42  45  57   9  84  40  58
1  38  30  58  78  98  48  42
2  39  15  49  59  69  55  85
3  23  65   1  34   1  76  10

注意事项与选择策略

可读性与复杂性：
- eval() 方法在处理涉及多个列的复杂或多行表达式时，通常具有更好的可读性，因为它直接模仿了数学表达式的写法。
- 矢量化方法链式操作在表达式相对简单或可以分解为公共部分时，也非常清晰。但如果表达式非常复杂，链式调用可能会变得冗长。
性能：
- 对于非常大的DataFrame，eval() 在内部利用NumExpr库，通常能提供比纯Python循环或某些直接的Pandas操作更优的性能。
- 矢量化方法本身在Pandas中是高度优化的，对于大多数常见操作，其性能已经非常出色。
- 在选择时，除非有明确的性能瓶颈，否则应优先考虑代码的可读性和维护性。
axis 参数的重要性：
- 当使用如add()、sub()等方法将一个Series（如offset）与一个DataFrame或DataFrame的子集进行操作时，务必注意axis参数。axis=0表示按行（索引）对齐进行操作，这是本例中所需的行为。
就地修改与副本：
- df.eval() 默认返回一个新的DataFrame，不会修改原始DataFrame。如果你想就地修改，可以重新赋值，如df = df.eval(...)。
- 矢量化操作df[['C', 'D', 'E']] = ... 会直接修改原始DataFrame的相应列。

总结

本教程介绍了在Pandas DataFrame中对多列执行相同加减运算的两种高效方法：DataFrame.eval() 和链式矢量化方法（add(), sub()）。eval() 提供了一种简洁的字符串表达式方式，适用于复杂的多行计算；而矢量化方法通过分解公共部分并利用Pandas的优化操作，同样能实现高效且清晰的代码。理解并掌握这两种方法，将有助于你更灵活、高效地处理数据，并提升代码的质量。在实际应用中，根据表达式的复杂度和对代码可读性、性能的要求，选择最适合的方法。

# python # 性能瓶颈 # 代码可读性

返回目录在线咨询

上一篇：浅谈Spring-boot事件监听
下一篇：SEO优化软件是否适合电商网站_SEO优化教程

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

全网整合营销服务商