引言在实际数据分析工作中，遇到类别分布极度不平衡的数据集并不罕见。例如在欺诈检测中不正当交易占全部交易的0.1%以下，在制造业异常检测中不良品率低于1%，在医疗诊断中罕见疾病的发生率仅为几个百分点等情况。对于这样的不平衡数据，如果简单地训练...

前言　支持向量机（SVM）是一种用于模式识别的监督式机器学习算法。它基于“最大化间隔”的思想，具有泛化能力强、不存在陷入局部最优解问题等优点，是一种优秀的二分类算法。SVM 分为以线性可分数据为前提的“硬间隔”，以及以线性不可分数据为前提、...

引言　在学习机器学习理论时，经常会遇到"标量对向量求导"的操作。本文将推导"标量对向量求导"的以下公式。\begin{align*}\newcommand{\mat}{\begin{pmatrix} #1 \end{pmatrix}}\ne...

引言　当目标变量 $y$ 为二值数据（例如 $y = 0, 1 $）时，这是针对取实数值的目标变量 $x$ 的一种预测模型。举个虚拟的例子，假设观测到 $n$ 组数据，其中对于某个数值水平 $x$，如果个体产生反应则对应 $y=1$，如果不...

引言　主成分分析是一种方法，它能够在尽可能不丢失信息的前提下，将相互关联的特征所构成的多维数据，通过原始特征的线性组合来表示新的特征，从而实现数据的降维。在机器学习中需要分类的数据往往是远超三维的高维数据。因此，数据的可视化变得困难，计算成...

随机变量的变换(单调映射情况)当通过某个函数 $g(\cdot)$ 将随机变量 $X$ 变换为\begin{eqnarray*}Y = g(X)\end{eqnarray*}时,让我们考虑如何使用 $X$ 的概率密度函数 $f_X(x)$ ...

引言二项式定理是一个通用性极高的定理，在许多地方都会遇到。本文将介绍二项式定理及其推广形式——多项式定理。二项式定理$(x + y)$ 的任意次幂可以表示为\begin{eqnarray*}(x + y)^n = x^n + \binom{...

引言当你对着空瓶口吹气时,会发出"嗡——"的声音。这种现象被称为亥姆霍兹共振。本文将对亥姆霍兹共振的机制进行解析。通过亥姆霍兹共振发出的"嗡——"声音的频率(共振频率)可以用以下方式表示。亥姆霍兹共振的共振频率设声速为$v$,瓶身体积为 $...