基于python如何实现KNN分类算法-创新互联

这篇文章主要为大家展示了基于python如何实现KNN分类算法，内容简而易懂，希望大家可以学习一下，学习完之后肯定会有收获的，下面让小编带大家一起来看看吧。

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

通俗简单的说，就是将这个样本进行分类，怎么分类，就是用该样本的特征与空间中其他样本做计算距离，当出现大多数距离偏向于某个样本类时，我们认为该样本属于这个类别。

举例说明：淘宝商品是按类进行售卖的，对于零食类商品a,b,c，价格与销量分别对应（19，1000），（89，500），（9.9，3000）对与电器类商品d,e,f，价格与销量分别为（1000，10），（499，30），（999，100），对于一个未知的产品（300，80），我们使用kNN算法进行求解，我们假设k=3（k的值要时情况而定，没有确定的）,分别求出未知产品到这六个点的欧式距离，即：sqrt((x1-y1)**2+(x2-y2)**2)计算出结果进行倒序排序，我们得出前三的点分别为：e,b,f。所以我们认为未知产品是电器类产品，当然实际生活中不能仅仅有价格，销量这两个二维数据，可能是n维数据，欧式距离的公式也是一样的，现实中也不仅仅有这两个分类，kNN提供了一种简单的解决思路。其中a,b,c,d,e,f称为训练数据，未知数据称为测试数据。

还有在进行计算时有时需要格式化一下数据，例如对于c产品与未知产品，明显计算销量所产生的数据要远大于价格，为了减小这个带来的误差，可以使用以下：

参考链接

def normData(dataSet):
 maxVals = dataSet.max(axis=0)#按列获取大值，并返回数组
 minVals = dataSet.min(axis=0)
 ranges = maxVals - minVals
 retData = (dataSet - minVals) / ranges
 return retData, ranges, minVals