【机器学习】DBSCAN聚类算法——原理、参数调优与实战

简介

本次我们将聚焦于一款极具特色的聚类算法——DBSCAN。相较于 K-means 等需要预先指定簇数量的算法，DBSCAN 以其"无监督自适应"的特性，在聚类领域占据着不可替代的地位。

在这一课中，我们会深入剖析 DBSCAN 算法的核心原理。你将了解到它如何通过"密度可达"和"核心对象"等关键概念，自动发现数据集中任意形状的簇，还能识别出那些不属于任何簇的噪声点。这一特性让它在处理非凸形状、存在噪声的数据时，展现出远超传统聚类算法的优势。

一、DBSCAN 相关概念

核心概念图解

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的空间聚类算法。它将簇定义为密度相连的点的最大集合，能够将具有足够高密度的区域划分为簇，并在噪声数据中发现任意形状的聚类。

核心术语详解

算法实现流程

1. 输入数据集
2. 指定半径 Eps
3. 指定密度阈值 MinPts
4. 遍历所有点，标记核心对象
5. 对每个核心对象，找出其密度可达的所有点，形成簇
6. 将不在任何簇中的点标记为噪声

二、DBSCAN 的 API

class sklearn.cluster.DBSCAN(
    eps=0.5, 
    min_samples=5, 
    metric='euclidean', 
    metric_params=None, 
    algorithm='auto', 
    leaf_size=30, 
    p=None, 
    n_jobs=None
)

核心参数说明

三、案例分析

1. 导入所需库

import pandas as pd
from sklearn.cluster import DBSCAN
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import adjusted_rand_score, normalized_mutual_info_score
import numpy as np

2. 数据读取与标准化

# 读取训练集和测试集数据
data_train = pd.read_csv("datingTestSet2.txt", sep='\t', encoding='utf-8', engine='python', header=None)
data_test = pd.read_csv("datingTestSet1.txt", sep='\t', encoding='utf-8', engine='python', header=None)

# 标准化处理（DBSCAN 基于距离，必须进行标准化）
scaler = StandardScaler()
data_train.iloc[:, :-1] = scaler.fit_transform(data_train.iloc[:, :-1])
data_test.iloc[:, :-1] = scaler.transform(data_test.iloc[:, :-1])

3. 数据准备

x_train = data_train.iloc[:, :-1]   # 训练集特征
x_test = data_test.iloc[:, :-1]     # 测试集特征
y_train_true = data_train.iloc[:, -1]  # 训练集真实标签
y_test_true = data_test.iloc[:, -1]    # 测试集真实标签

4. DBSCAN 参数调优

# 测试不同的 eps 参数
scores = []
eps_param_range = [0.09, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6]

for eps in eps_param_range:
    dbscan = DBSCAN(eps=eps, min_samples=2)
    train_labels = dbscan.fit_predict(x_train)
    
    # 忽略噪声点（标签为 -1）进行评估
    mask = train_labels != -1
    if np.sum(mask) > 0:
        ari = adjusted_rand_score(y_train_true[mask], train_labels[mask])
        nmi = normalized_mutual_info_score(y_train_true[mask], train_labels[mask])
        score_mean = (ari + nmi) / 2
        scores.append(score_mean)
        print(f"eps = {eps}，平均得分 (ARI+NMI)/2 = {score_mean:.4f}")
    else:
        print(f"eps = {eps}，所有样本均被标记为噪声")
        scores.append(-1)

5. 确定最佳参数并输出结果

# 选择最佳 eps
best_eps = eps_param_range[np.argmax(scores)]
print(f"最优 eps 参数：{best_eps}")

# 使用最佳参数重新训练
best_dbscan = DBSCAN(eps=best_eps, min_samples=2)
train_labels = best_dbscan.fit_predict(x_train)
print("训练集聚类标签：\n", train_labels)

# 对测试集进行聚类
test_labels = best_dbscan.fit_predict(x_test)
print("测试集聚类标签：\n", test_labels)

总结

DBSCAN 的优势
无需预先指定簇数量：自动发现数据中的聚类结构

可发现任意形状的簇：不同于 K-means 只能发现球形簇

具有噪声过滤能力：能自动识别并剔除离群点

关键参数调优建议