引言在实际数据分析工作中，遇到类别分布极度不平衡的数据集并不罕见。例如在欺诈检测中不正当交易占全部交易的0.1%以下，在制造业异常检测中不良品率低于1%，在医疗诊断中罕见疾病的发生率仅为几个百分点等情况。对于这样的不平衡数据，如果简单地训练...

本文深入解析K-Means聚类算法（K-Means Clustering）的原理与Python实现。重点讲解如何使用scikit-learn进行建模，并详细介绍了确定最佳聚类数（K值）的两种核心方法：肘部法则（Elbow Method）和轮廓分析（Silhouette Analysis）。附带完整代码示例，助你掌握无监督学习实战技巧。

前言　数学优化是指在给定的约束条件下最小化（或最大化）函数。这类数学优化问题出现在经济学、物理学等各个领域，而且许多机器学习算法最终都归结为数学优化问题。因此，了解数学优化及其求解方法应该有助于理解机器学习的根本部分。本文将讲解解决数学优化...

前言　支持向量机（SVM）是一种用于模式识别的监督式机器学习算法。它基于“最大化间隔”的思想，具有泛化能力强、不存在陷入局部最优解问题等优点，是一种优秀的二分类算法。SVM 分为以线性可分数据为前提的“硬间隔”，以及以线性不可分数据为前提、...

引言　在学习机器学习理论时，经常会遇到"标量对向量求导"的操作。本文将推导"标量对向量求导"的以下公式。\begin{align*}\newcommand{\mat}{\begin{pmatrix} #1 \end{pmatrix}}\ne...

引言　当目标变量 $y$ 为二值数据（例如 $y = 0, 1 $）时，这是针对取实数值的目标变量 $x$ 的一种预测模型。举个虚拟的例子，假设观测到 $n$ 组数据，其中对于某个数值水平 $x$，如果个体产生反应则对应 $y=1$，如果不...