方差特征过滤概述

方差特征过滤是一种简单而有效的特征选择方法，它通过计算各个特征的方差来评估特征的重要性。基本思想是：方差越小的特征，包含的信息量越少，对模型的贡献也越小。

适用场景

• 预处理阶段移除低信息量特征
• 高维数据集的特征初筛
• 与其他特征选择方法结合使用
• 处理包含大量零值的稀疏数据

方差过滤的基本原理

方差（Variance）是衡量数据离散程度的统计量，计算公式为：

$$\sigma^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \mu)^2$$

其中，$\sigma^2$表示方差，$n$是样本数量，$x_i$是特征值，$\mu$是特征均值。

方差过滤的工作流程

1. 计算每个特征的方差
2. 设定一个方差阈值
3. 保留方差大于阈值的特征
4. 移除方差小于或等于阈值的特征

sklearn实现方差过滤

Scikit-learn提供了VarianceThreshold类来实现方差特征过滤。下面是一个完整的实现示例：

import numpy as np
from sklearn.feature_selection import VarianceThreshold

# 创建示例数据集
data = np.array([
    [0, 2, 0, 3],  # 特征1：方差0.25
    [0, 1, 4, 3],  # 特征2：方差1.25
    [0, 1, 1, 3],  # 特征3：方差0.75
    [0, 3, 0, 3]   # 特征4：方差0.0（常数特征）
]).T

# 初始化方差阈值选择器（阈值=0.1）
selector = VarianceThreshold(threshold=0.1)

# 应用方差过滤
selected_data = selector.fit_transform(data)

# 输出结果
print("原始数据集形状:", data.shape)
print("过滤后数据集形状:", selected_data.shape)
print("保留的特征索引:", selector.get_support(indices=True))
print("各特征的方差:", selector.variances_)

代码解释

• VarianceThreshold: 方差阈值选择器类
• threshold: 方差阈值参数，默认为0
• fit_transform: 同时拟合数据并应用变换
• get_support: 获取被保留特征的索引
• variances_: 属性，包含每个特征的方差

方差阈值选择策略

选择合适的阈值是方差过滤的关键：

阈值选择方法

1. 经验阈值: 通常从0.1开始尝试
2. 分位数法: 保留方差在top x%的特征
3. 保留固定数量特征: 根据方差排序保留前k个特征
4. 可视化分析: 绘制特征方差分布图辅助决策

实战案例演示

下面是一个使用真实数据集（鸢尾花数据集）的方差过滤完整流程：

from sklearn import datasets
from sklearn.feature_selection import VarianceThreshold

# 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 查看原始特征
print("原始特征名称:", iris.feature_names)
print("原始特征方差:", np.var(X, axis=0))

# 应用方差过滤 (阈值=0.2)
selector = VarianceThreshold(threshold=0.2)
X_selected = selector.fit_transform(X)

# 输出结果
print("\n过滤后特征形状:", X_selected.shape)
print("保留的特征索引:", selector.get_support(indices=True))
print("保留的特征名称:", 
      [iris.feature_names[i] for i in selector.get_support(indices=True)])

注意事项

• 方差受特征量纲影响，应用前需标准化
• 分类特征需要先编码为数值
• 阈值过高可能导致丢失重要特征
• 常与相关系数法、树模型特征重要性结合使用

方差过滤的优缺点

常见问题解答

1. 方差过滤应该在数据预处理的哪个阶段进行？

通常建议在数据清洗后，其他特征工程步骤前进行。处理顺序：缺失值处理 → 异常值处理 → 方差过滤 → 标准化/归一化 → 其他特征选择方法。

2. 如何处理分类特征的方差过滤？

分类特征需要先转换为数值表示（如独热编码），然后使用伯努利方差公式：Var[X] = p(1-p)，其中p是特征取某个特定值的比例。

3. 方差为0的特征一定需要删除吗？

是的，方差为0表示该特征在所有样本中取值相同（常数特征），不提供任何信息，应该删除。

4. 如何确定最佳阈值？

可以通过以下方法确定：

• 绘制特征方差的累积分布图
• 使用交叉验证比较不同阈值下的模型性能
• 结合业务知识判断特征重要性
• 尝试分位数阈值（如保留方差在top 80%的特征）