什么是NaN？
NaN是"Not a Number"（非数字）的缩写，在Python中表示一个未定义或不可表示的数值结果。
NaN的主要特点：
- NaN是浮点数据类型特有的值
- NaN具有传播性：任何涉及NaN的计算结果通常也是NaN
- NaN不等于任何值，包括它自己：
nan == nan结果为False - NaN在比较操作中总是返回False
NaN的产生场景
数学运算
- 0除以0：
0.0 / 0.0 - 无穷大减无穷大：
float('inf') - float('inf') - 负数的平方根：
math.sqrt(-1)
数据操作
- 读取包含缺失值的CSV文件
- 数据库查询中的空值
- 合并数据集时的值不匹配
类型转换
- 将非数字字符串转为浮点数：
float('abc') - 将None值转换为浮点数
- 使用无效输入创建浮点数
检测NaN值
由于NaN不等于任何值（包括自身），不能使用常规比较操作符检测NaN。
使用math.isnan()
import math
value = float('nan')
if math.isnan(value):
print("这是一个NaN值")
使用numpy.isnan()
import numpy as np
arr = np.array([1.0, 2.0, np.nan, 4.0])
nan_mask = np.isnan(arr)
print(nan_mask) # 输出: [False False True False]
在Pandas中检测NaN
import pandas as pd
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [5, np.nan, np.nan]})
# 检测整个DataFrame中的NaN
print(df.isnull())
# 统计每列的NaN数量
print(df.isnull().sum())
处理NaN值
删除NaN
# 删除包含NaN的行
df.dropna(inplace=True)
# 删除包含NaN的列
df.dropna(axis=1, inplace=True)
替换NaN
# 用0替换NaN
df.fillna(0, inplace=True)
# 用列的平均值替换NaN
df.fillna(df.mean(), inplace=True)
# 用前一个有效值替换NaN
df.fillna(method='ffill', inplace=True)
插值方法
# 线性插值
df.interpolate(method='linear', inplace=True)
# 时间序列插值
df.interpolate(method='time', inplace=True)
NaN在Pandas中的特殊处理
分组操作中的NaN处理
import pandas as pd
import numpy as np
data = {'Group': ['A', 'A', 'B', 'B', 'C'],
'Value': [1, np.nan, 3, 4, 5]}
df = pd.DataFrame(data)
# 分组时忽略NaN
result = df.groupby('Group')['Value'].mean()
print(result)
设置NaN处理选项
# 设置计算时跳过NaN（默认行为）
pd.set_option('compute.use_bottleneck', True)
# 将inf显示为NaN
pd.set_option('use_inf_as_na', True)
NaN处理最佳实践
理解数据
分析NaN产生的原因，确定是数据缺失还是计算错误
合理替换
根据数据特性选择填充值（均值、中位数、特定值等）
谨慎删除
避免过度删除导致数据偏差，特别是时间序列数据
文档记录
记录数据处理过程，特别是对NaN的处理方法
发表评论