我们知道模型的性能会随着使用特征数量的增加而增加。但是，当超过峰值时，模型性能将会下降。这就是为什么我们只需要选择能够有效预测的特征的原因。
特征选择类似于降维技术，其目的是减少特征的数量，但是从根本上说，它们是不同的。区别在于要素选择会选择要保留或从数据集中删除的要素，而降维会创建数据的投影，从而产生全新的输入要素。
特征选择有很多方法，在本文中我将介绍 ScikIT-LeaRn 中 5 个方法，因为它们是最简单但却非常有用的，让我们开始吧。
1、方差阈值特征选择
具有较高方差的特征表示该特征内的值变化大，较低的方差意味着要素内的值相似，而零方差意味着您具有相同值的要素。
方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征，使用方法我们举例说明：
对于此示例，我仅出于简化目的使用数字特征。在使用方差阈值特征选择之前，我们需要对所有这些数字特征进行转换，因为方差受数字刻度的影响。
所有特征都在同一比例上，让我们尝试仅使用方差阈值方法选择我们想要的特征。假设我的方差限制为一个方差。
方差阈值是一种无监督学习的特征选择方法。如果我们希望出于监督学习的目的而选择功能怎么办?那就是我们接下来要讨论的。
2、SelectKbest特征特征
单变量特征选择是一种基于单变量统计检验的方法，例如：cHi2，PeaRson等等。
SelectKbest 的前提是将未经验证的统计测试与基于 X 和 y 之间的统计结果选择 K 数的特征相结合。
由于单变量特征选择方法旨在进行监督学习，因此我们将特征分为独立变量和因变量。接下来，我们将使用SelectKbest，假设我只想要最重要的两个特征。
3、递归特征消除(RFE)
递归特征消除或RFE是一种特征选择方法，利用机器学习模型通过在递归训练后消除最不重要的特征来选择特征。
根据ScikIT-LeaRn，RFE是一种通过递归考虑越来越少的特征集来选择特征的方法。
在此示例中，我想使用泰坦尼克号数据集进行分类问题，在那里我想预测谁将生存下来。
4、SelectFRoMModel 特征选择
ScikIT-LeaRn 的 SelectFRoMModel 用于选择特征的机器学习模型估计，它基于重要性属性阈值。默认情况下，阈值是平均值。
让我们使用一个数据集示例来更好地理解这一概念。我将使用之前的数据。
5、顺序特征选择(SFS)
顺序特征选择是一种贪婪算法，用于根据交叉验证得分和估计量来向前或向后查找最佳特征，它是 ScikIT-LeaRn 版本0.24中的新增功能。方法如下：
结论
特征选择是机器学习模型中的一个重要方面，对于模型无用的特征，不仅影响模型的训练速度，同时也会影响模型的效果。