Code Monkey home page Code Monkey logo

aiops's Introduction

aiops

将机器学习应用于工程实践

时间序列模型

pip3 install "gluonts[mxnet,pro]" pip3 install matplotlib https://zh.mxnet.io/blog/gluon-ts-release

特征值与特征向量

  1. 特征值与特征向量是线性代数的核心内容,也是方阵的属性之一。可以用于降噪,特征提取,图形压缩
  2. 特征值
  3. 特征向量

特征值与特征向量的求解

  1. 特征值就是特征方程的解
  2. 求解特征值就是求特征方程的解
  3. 求出特征值后,再求对应特征向量

SVD奇异值分解

  1. 将任意较为复杂的矩阵用更小,更简单的3个子矩阵相乘表示

机器学习关心的问题

  1. 捕捉函数的变化趋势
  2. 研究y 如何随着x而变
  3. 趋势是通过求导和微分来实现的

导数

  1. 导数是定义在连续函数的基础上
  2. 想要对函数求导,函数至少要有一段是连续的
  3. “导数” 到是引导,导航到意思,它与函数上连续两个点之间的变化趋势,也就是变化的方向相关.
  4. 通过导数在机器学习领域,可以得到标签y随特征x而变化的方向
  5. 导数是针对一个变量而言的函数变化趋向
  6. 多云(即多变量)的函数,它关于其中一个变量的导数为偏导数,此时保持其他变量恒定

梯度下降

  1. 梯度下降已存在200多年,是机器学习的基础算法
  2. 对多元函数的各参数求偏导数,然后把所求得的各个参数的偏导数以向量的形式写出来,就是“梯度”
  3. 梯度下降的作用
  • 3.1 机器学习的本质是找到最优的函数
  • 3.2 如何衡量函数是最优解:尽量减小预测值和真值间的误差,也可以叫“损失值”
  • 3.3 可以建立误差和模型参数之间的函数(最好是凸函数)
  • 3.4 梯度下降能够引导我们走到凸函数的全局最低点,找到误差最小的参数

张量

  1. 在机器学习中,把用于存储数据的结构叫张量,矩阵是二维数组,机器学习中就叫做2D张量
  2. 张量是机器学习程序中的数字容器
  3. 张量的维度称为轴(axis)
  4. 轴的个数称为阶(rank)

aiops's People

Contributors

heidsoft avatar

Watchers

 avatar  avatar  avatar

aiops's Issues

自然语言处理

NLTK是一种广泛使用的自然语言处理工具包,可以用于许多文本分析任务,包括代码分析。以下是利用NLTK进行代码分析的主要步骤:

  1. 收集代码样本:首先需要收集足够的代码样本,包括代码和注释。这些样本可以来自于开源代码库、GitHub等。

  2. 预处理数据:对收集到的代码样本进行处理,包括分词、去除停用词、词性标注等。这些处理步骤可以使用NLTK工具完成,例如利用NLTK的word_tokenize()函数进行分词,利用NLTK的pos_tag()函数进行词性标注等。

  3. 分析代码:利用处理后的代码样本进行代码分析。可以使用NLTK工具进行文本分析,例如利用NLTK的concordance()函数查找特定单词的上下文信息,利用NLTK的collocations()函数查找常见的词组等。

  4. 输出分析结果:将代码分析的结果整理成易于理解的格式,例如HTML、Markdown等。分析结果应该包括代码的描述、问题的描述、建议的修复方法以及代码位置等信息。

需要注意的是,NLTK工具并不是专门用于代码分析的工具,因此在进行代码分析时,需要对NLTK工具进行必要的扩展和调整。此外,NLTK工具可以与其他自然语言处理工具结合使用,例如spaCy、Stanford NLP等,以提高代码分析的准确性和效率。

LSTM

LSTM(长短期记忆)是一种适用于序列数据的神经网络结构,由于其优秀的记忆和长期依赖性建模能力,被广泛应用于文本、语音、图像等序列数据的处理和预测。

以下是一些LSTM应用的例子:

1.文本生成:利用LSTM模型训练一个语言模型,然后根据输入的文本生成新的文本。这种应用可以用于自动作曲、文本自动生成等。

2.机器翻译:将LSTM应用于机器翻译任务中,可以通过对源语言和目标语言之间的序列建模,实现翻译效果的提升。

3.情感分析:使用LSTM模型对文本进行情感分析,可以实现对文本中情感色彩的识别和分类。

4.手写识别:LSTM可以用于手写识别,将手写数字或字母转换为数字或字符。

5.音频处理:LSTM可以用于音频处理,例如语音识别、语音合成、音频降噪等。

总之,LSTM在序列数据处理方面具有广泛的应用,可以应用于文本、图像、音频等多个领域。

人工智能-提示词

Linux 网络问题排查提示词

# 角色:Linux 与网络专家
## 任务:排查从 k8s 集群外 ping k8s pod ip 响应时间变长的问题
## 背景信息:
- k8s 集群采用 ipvs 作为 service 实现方式
- consul 集群采用虚拟机部署
- 应用 pod 注册到了 consul 集群
- 在交换机上配置了下一跳,使容器 ip 网段能 consul 集群网段直通
- 网络工程师在交换机配置的下一跳指向了 k8s 集群节点的 vip
- vip 是使用 keepalive 方式部署的
## 问题描述:运行一段时间后,发现从 k8s 集群外 ping k8s pod ip 响应时间变长
## 可能的原因:
- 网络延迟:网络延迟可能导致 ping 响应时间变长。可以通过检查网络连接、路由和交换机配置来确定是否存在网络问题。
- IP 地址冲突:如果 k8s pod ip 地址与其他设备的地址发生冲突,可能会导致 ping 响应时间变长。可以通过检查网络设备的地址分配和配置来确定是否存在地址冲突。
- 容器性能问题:如果 k8s pod 中的应用程序性能不佳,可能会导致 ping 响应时间变长。可以通过检查容器的资源使用情况和性能指标来确定是否存在性能问题。
- keepalive 配置问题:如果 keepalive 配置不正确,可能会导致 vip 不稳定,从而导致 ping 响应时间变长。可以通过检查 keepalive 配置和日志来确定是否存在配置问题。
- 网络拥塞:如果网络拥塞,可能会导致 ping 响应时间变长。可以通过检查网络流量和带宽使用情况来确定是否存在网络拥塞问题。

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.