Monthly Archives: June 2019

时间序列

时间序列的联动分析

Leave a comment

背景介绍

在互联网公司里面，通常都会监控成千上万的时间序列，用于保障整个系统或者平台的稳定性。在这种情况下，如果能够对多条时间序列之间判断其是否相关，则对于监控而言是非常有效的。基于以上的实际情况，清华大学与 Alibaba 集团在2019年一起合作了论文《CoFlux: Robustly Correlating KPIs by Fluctuations for Service Troubleshooting》，并且发表在 IWQos 2019 上。CoFlux 这个方法可以对多条时间序列来做分析，并且主要用途包括以下几点：

  1. 告警压缩和收敛；
  2. 推荐与已知告警相关的 Top N 的告警；
  3. 在已有的业务范围内（例如数据库的实例）构建异常波动传播链；

kpis.png

CoFlux 的整体介绍

从论文的介绍中来看，CoFlux 的输入和输出分别是：

输入：两条时间序列

输出：这两条时间序列的以下信息

  1. 波动相关性：两条时间序列是否存在波动相关性？
  2. 前后顺序：如果两条时间序列相关，那么它们的前后波动顺序是什么？是同时发生异常还是存在固定的前后顺序？
  3. 方向性：如果两条时间序列是波动相关的，那么它们的波动方向是什么？是一致还是相反？

Remark. CoFlux 的关键点就是并没有对时间序列做异常检测算法，而是直接从时间序列的历史数据（历史半个月或者一个月）出发，判断两条时间序列之间的波动相关性，并且进一步的分析先后顺序与波动方向。

从论文的介绍中来看，CoFlux 的流程图如下图所示：

coflux流程图1

如果两条时间序列 X 和 Y 存在波动相关性，则需要输出这两条时间序列的波动先后顺序和是否同向波动。如果两条时间序列 X 和 Y 并不存在波动相关性的话，则不需要判断波动先后顺序和是否同向波动。

coflux流程图2

CoFlux 的细节阐述

已知一个长度是 n 的时间序列 S=\{s_{1},\cdots,s_{n}\}，对于任意一个 detector，可以得到一条关于 S 的预测值曲线 P=\{p_{1},\cdots,p_{n}\}。于是针对某个 detector 可以得到一个波动特征序列 E=\{\epsilon_{1},\cdots,\epsilon_{n}\}，其中 \epsilon_{i} = s_{i} - p_{i}，1\leq i\leq n。因此，一个detector 可以对应一个波动序列特征，也是一个时间序列。因此，对于 m 个 detector，可以对应 m 条波动特征序列，并且它们的长度都是 n。

在 CoFlux 算法的内部，根据不同的参数使用了总共 86 个 detector，大致列举如下：

  • Difference：根据昨天，七天前的数据来做差分；
  • Holt-Winters：\{\alpha,\beta,\gamma\} \in \{0.2,0.4,0.6,0.8\}；
  • 历史上的均值 & 历史上的中位数：1，2，3，4 周；
  • TSD & TSD 中位数：1，2，3，4 周；
  • Wavelet：1，3，5，7 天；
  • 移动平均算法：MA，WMA，EWMA。PS：根据作者们的说法，在这里，MA等方法并不适用。

detectors

根据直觉来看，

  • 对于任何一条时间序列 kpi，总有一个 detector 可以相对准确地提炼到其波动特征；
  • 如果两条时间序列 X 和 Y 波动相关，那么 X 的一个波动特征序列与 Y 的一个波动特征序列应该也是相关的；

Remark. 两条时间序列的波动特征可以对齐同一个 detector，也可以不做对齐工作。如果是前者的话，时间复杂度低；后者的话，时间复杂度高。

下图是从时间序列中提取波动特征曲线的案例：

fluxfeatures.png

提炼时间序列的波动曲线特征只是第一步，后续 CoFlux 还有几个关键的步骤：

  • 特征工程的扩大（amplify）： 对波动序列特征进行放大，让某些波动序列特征更加明显；
  • Correlation Measurement：用于解决时间序列存在时间前后的漂移，两条时间序列之间存在 lag 的情况，因此需要对其中一条时间序列做平移操作；
  • CoFlux 考虑了历史数据（历史半个月或者一个月）作为参考，并且一个范围内的 kpi 数量不超过 60 条；

下面来一一讲解这些技术方案，对于每一条波动特征曲线（Flux-Features），按照以下几个步骤来进行操作：

Step 1：对波动特征曲线 E=\{\epsilon_{1},\cdots,\epsilon_{n}\} 做 z-score 的归一化，i.e.

\mu = \frac{\sum_{i=1}^{n}\epsilon_{i}}{n},
\delta = \sqrt{\frac{\sum_{i=1}^{n}(\epsilon_{i}-\mu)^{2}}{n}}.

Step 2：对归一化之后的波动特征曲线做特征放大（feature amplification）：定义函数 f_{\alpha,\beta}(x) 如下：

f_{\alpha,\beta}(x)= \begin{cases} e^{\alpha\min(x,\beta)} - 1, \text{ when } x\geq 0,\\ -e^{\alpha\min(|x|,\beta)} + 1, \text{ when } x< 0. \end{cases}

则 E=\{\epsilon_{1},\cdots,\epsilon_{n}\} 放大之后的波动特征曲线（amplified flux feature）就是：\hat{E}=\{f(\epsilon_{1}),\cdots,f(\epsilon_{n})\}.

Step 3：对于两条放大之后的波动特征曲线（amplified flux features）G=\{g_{1},\cdots,g_{\ell}\} 和 H=\{h_{1},\cdots,h_{\ell}\}，可以计算它们之间的相关性，先后顺序，是否同向。
令
G_{s}= \begin{cases} \{0,\cdots,0,g_{1},\cdots, g_{\ell-s}\}, \text{ when } s\geq 0, \\ \{g_{1-s},\cdots,g_{\ell},0,\cdots,0\}, \text{ when } s< 0. \end{cases}

这里的 0 的个数是 |s| 个。其中，-\ell<s<\ell。特别地，当 s=0 时，G_{0}=\{g_{1},\cdots,g_{s}\}=G，那么我们可以定义 G_{s} 与 H 的内积是：R(G_{s},H) = G_{s}\cdot H,

这里的 \cdot 指的是向量之间的内积（inner product）。同时可以定义相关性（Cross Correlation）为：CC(G_{s},H) = \frac{R(G_{s},H)}{\sqrt{R(G_{s},G_{s})\cdot R(H,H)}}.

由于波动有可能是反向的，那么在这里我们不仅要考虑相关性是大于零的情况，也需要考虑小于零的情况。于是，

minCC = \min_{-\ell<s<\ell}CC(G_{s},H),
maxCC = \max_{-\ell<s<\ell}CC(G_{s},H).

则最小值或者最大值的指标分别是

s_{1}=argmin_{-\ell<s<\ell}CC(G_{s},H),
s_{2}=argmax_{-\ell<s<\ell}CC(G_{s},H).

令
FCC(G,H) = \begin{cases} (minCC, s_{1}), \text{ when } |maxCC|<|minCC|, \\ (maxCC, s_{2}), \text{ when } |maxCC|\geq|minCC|. \end{cases}

从定义中可以看出，FCC(G,H) 是一个元组，里面蕴含着三个信息，分别是相关性，波动方向，前后顺序。FCC(G,H) \in [-1,1]，越接近 1 或者 -1 就表示放大之后的波动特征曲线 G 和 H 越相关。正值的 FCC(G,H) 表示 G 与 H 的波动方向相同，是正相关；负值的 FCC(G,H) 表示 G 与 H 的波动方向想法，是负相关。通过对 s<0 或者 s\geq 0 的分析就可以判断先后顺序。因此，CoFlux 方法的是通过对 FCC(G,H) 的分析来得到最终结果的。

在最后的相关性分析里面，其实伪代码正如论文中所示。先考虑是否存在相关性，再考虑基于相关性下的先后顺序和波动方向。

correlationmeasurement

 

CoFlux 的实战效果

从论文中看，CoFlux 的数据集基本上是小于 60 条时间序列曲线。其中包括 CPU，错误率，错误数，内存使用率，成功率等不同的指标。

datasets

datasets2.png

从运行时间上来看，对于一周的时间序列集合（< 60条）而言，CoFlux 基本上能够在 30 分钟内计算完毕，得到最终的运算结果。

executiontime.png

其效果的评价指标基本上就是机器学习中的常见评价指标了，准确率，召回率之类的。

评价指标

从 F1-Score 的评价指标来看，CoFlux 的效果优于其他算法。

experiments.png

告警压缩

如果对时间序列之间进行告警压缩的话，其实可以大量减少运维人员的工作量。在 CoFlux 里面，时间序列曲线被分成了三类，也就是三个颜色最深的模块。因此 21 条时间序列的告警量在实际中有可能只有三条告警。

alarmclustering

告警关联

在实际运维场景中，除了对告警进行压缩之外，也需要对告警进行关联性的分析。例如一条告警发生了，运维人员都希望知道与它相关的其他告警是什么，这样可以方便运维人员定位问题。

alarmcorrelation

构建告警关系链

在一些相对封闭的场景下，例如 mysql 数据库，通过对它里面的时间序列进行分析。不仅可以得到告警之间是否存在相关性，还可以对先后顺序，波动顺序进行分析。

mysql

 

结论

时间序列之间的联动分析是在运维领域场景下的常见技术，不仅可以做告警的压缩，也能够做告警的关联，还能够构建告警的关系链。在未来的工作中，作者们提到将会用深度学习的方法来进行关联和告警的分析，从而进一步加深对时间序列的研究。

Mathematics

本科学数学专业是一个很好的选择吗？

Leave a comment

知乎问题：https://www.zhihu.com/question/319574112

选专业这件事情其实是因人而异的，很难对所有的人给出一个标准的答案，肯定是基于每个人的不同条件来给出完全不同的建议。这是一个千人千面的问题，而不是一个数学题，通常只有一个标准的解答。

就个人这几年的经验来看，无论选择什么专业，都会有这个专业的优势和劣势，好比科技是一把双刃剑，专业也是同样的道理。在这种情况下，我们就需要分析数学专业究竟有哪些优势，有哪些劣势。只有这样，我们才能够根据自身的情况来具体分析，然后决定最终是否选择数学专业。

数学专业的劣势

于是，我们来看一下数学专业的劣势有哪些：

  • 理论知识太多；
  • 实用技能偏少；
  • 转行需要时间。

下面来逐一解读以上几点。我们可以先看一下数学系的常见课表：

  • 第一年：数学分析，高等代数，解析几何，C++等；
  • 第二年：常微分方程，离散数学，复分析，概率论，数值计算，抽象代数等；
  • 第三年：实分析，泛函分析，偏微分方程，拓扑学，微分几何，偏微分方程数值解，随机过程，数理统计等。

从课表上面来看，基本上可以确定几个结论。首先，数学专业作为基础学科，其特点就是理论知识偏多，而学习到的技能偏少，毕竟所学的内容都是理论型，培养的学生都是理论型选手。因此直接导致的结果就是数学系的学生掌握了一堆理论，但是却没有办法把它们直接转化成生产力。在实战中，总不能就靠一门 C++ 来谋求工作吧。其次，既然数学系传授给学生的实用的技能偏少，那么数学系的学生在需要转行的话，就肯定要补充新的技能。在从理论派走向实战派的过程中，不仅要找好自己的前进方向，还需要花费一定的时间和精力去转行。在这里需要澄清一点，转行并不是轻轻松松，而是需要花费时间，勇气和精力的。

如果不想继续从事数学科研的话，其实还是建议数学系的学生可以早一点进入公司去实习或者工作，至少在公司能够体验一下与学术界完全不同的人生。人生总是有多种可能性的，其实可以在本科或者硕士阶段多去体验一下人生。与数学系不同的是，对于计算机或者工程类专业的学生而言，到了本科一定的阶段，都会从事某个项目或者大作业，这种时候他们就会在边看边学中得到一定的成长，实践能力的训练其实比数学系的人会早很多。其实数学系也有实践，只不过延后了许多，一般只有到了博士生的阶段才需要进行科研的训练和动手的操作，在本科和硕士阶段一般是不需要的，因为现代数学的发展已经不是大部分硕士生能够完成的了，当然优秀的人总是有的。

数学专业的优势

在讲了数学专业的劣势之后，也需要强调一下数学专业的优势，其优势包括：

  • 底层通用技能；
  • 技能不易淘汰；
  • 逻辑思维能力；
  • 转行就业面广。

众所周知，无论是在学术界，还是工业界，数学基本上就是一切的基础。如果计算机行业没有数学，那就是XX计算机学院与XX培训班的区别；如果金融行业没有数学，那就是文艺复兴公司与XX小银行的区别。虽然我们不能够一味的拔高数学在各个行业的作用，但是很多行业还是离不开数学的。这就是所谓的底层通用技能，无论是计算机，金融还是其他领域，都离不开数学的支持。

除此之外，再次回到那张数学系的常见课表：

  • 第一年：数学分析，高等代数，解析几何，C++等；
  • 第二年：常微分方程，离散数学，复分析，概率论，数值计算，抽象代数等；
  • 第三年：实分析，泛函分析，偏微分方程，拓扑学，微分几何，偏微分方程数值解，随机过程，数理统计等。

当年读本科的时候是这张课表，其实过了十年，也是这张课表。本科的数学课程基本上集中在20世纪初之前的数学内容，最多到了20世纪中期。而微积分的发展时间则更加久远了。对于数学系的教育而言，很难做到跳过数学分析，高等代数的教育直接进入实分析和泛函分析。就算老师能够教，学生也听不懂啊，还是只能够从基础一步一步开始。而工业界用到的数学，通常也就是数学本科三年级的所有课程就能够包括了。很难用到很多研究生方面的知识，甚至很多时候也就用用微积分和线性代数，概率论就足够了。因此，一旦学会了这些课程，则是终身受益的知识，因为数学的另外一个特点就是永恒性。无论个人发生什么，学校发生什么，世界发生了什么，数学定理就是数学定理，一旦被证明且确定了证明是正确的，那就是永恒的。个人会死亡，学校也有可能走向没落，世界也有可能发生变化，但是数学定理就像一个永恒的石头永远放在那里。

除了以上两点，数学是最能够培养学生逻辑思维的学科。在以上的本科生课程里面，几乎所有东西都是从几个公理出发，然后通过严格的证明，一点一点地得到最终的结论，并且构建出整个数学大厦。在本科教育里面，数学系的学生只要认真学习，通常来说，逻辑思维能力和数学推导能力都会得到一个很大的提升。并且在后续的学习或者工作中，数学的烙印都会深深地印在身上。

最后，数学的就业面其实是相对宽广很多，主要包括：

  • 科研工作者：数学界，金融界，经济界，计算机方向等；
  • 计算机行业；
  • 金融行业；
  • 教育培训行业；
  • 其他行业。

除了可以继续从事本专业之外，其他方向无论是金融还是计算机都可以转。

结论： 整体来看，其实如果自身条件 OK 的话，并且也愿意在本科期间选择数学专业的话。其实选择数学专业是一个不错的选择。在数学系本科这几年可以根据自身的情况来继续选择合适自己的发展方向，并且在研究生或者工作的时候选择一个适合自己的舞台。