murphypei / murphypei.github.io Goto Github PK

https://murphypei.github.io/blog/2019/05/xgboost.html

XGBoost 是机器学习比赛中的大杀器，我之前也了解过许多，于无意中看到一篇关于其总结的文章，想到应该总结一下。本文结合参考文献和一些个人整理的资料，对 XGBoost 相关知识进行总结，力求通俗易懂。

https://murphypei.github.io/blog/2019/09/cuda-function-prefix.html

CUDA 函数前缀作为 CUDA 编程中一种特殊的使用技巧，其具有一定的限制意义。

https://murphypei.github.io/blog/2019/09/trt-useage.html

TensorRT(TRT) 作为一种能显著加快深度学习模型 inference 的工具，如果能够较好的利用，可以显著提高我们的 GPU 使用效率和模型运行速度。

https://murphypei.github.io/blog/2019/06/cpp-inl.html

https://murphypei.github.io/blog/2019/09/python-logging.html

标准日志库 logging 即使不是 Python 中最好的日志库，也是使用最多的日志库了，我个人非常喜欢。本文较为全面的总结了 logging 库的知识点。

https://murphypei.github.io/blog/2019/12/pca-repost.html

PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。我之前也写过一篇简单的 PCA 的数学理解，日前看到一篇文章讲解的很棒，就整理转载过来，作为以后复习的总结。

https://murphypei.github.io/blog/2019/11/neural-network-quantization.html

神经网络虽然在多个领域取得了非常巨大的成就，但是其本质是大量参数的拟合和泛化，如果想处理更加复杂的任务，在没有过拟合的情况下，增加训练数据和加大网络规模无疑是简单有效的手段。现实情况就是这么做的，但是巨大的参数量和复杂的网络结构造成了两个主要的问题：模型体积和运算速度。这两个问题会带来诸如内存容量，内存存取带宽，移动端还有电量消耗等一系列问题，大大限制了神经网络的应用场景。

https://murphypei.github.io/blog/2019/06/winograd.html

在卷积网络中，大部分的计算耗费在计算卷积的过程中，尤其是在端上设备中，对于性能的要求更为苛刻。程序的性能优化是一个复杂而庞大的话题。高性能计算就像系统设计一样，虽然有一些指导原则，但是，对于不同的场景需要有不同的设计方案，因此，对于同一个优化问题，不同的人可能会给出完全不同的优化方案。本文不是探讨硬件和代码级的优化，仅针对计算卷积的一个特定方法 —— Winograd 方法做一个简单的记述。

https://murphypei.github.io/blog/2020/02/linux-shadowsocks-config.html

记录 Linux 使用 shadowsocks 的方法。

https://chaopei.github.io/blog/2019/03/hexo-render-mathjax.html

https://murphypei.github.io/blog/2019/07/thread-safe-reentrant-function

例如 信号 执行 ，和其他业务执行 都是顺序执行的。
不会造成冲突呀，为什么说不要不要这个原则呢

https://murphypei.github.io/blog/2019/06/vps.html

搭建一个 VPS 可以很方便自己日常的一些使用，本文记录如何使用 vultr 服务器搭建自己的 VPS。

https://murphypei.github.io/blog/2019/03/decision-tree.html

决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。

https://chaopei.github.io/blog/2018/02/docker-image-container.html

https://murphypei.github.io/blog/2019/06/link-sort.html

符号未定义是链接过程中常见的问题，有时候很明显，有时候却很隐晦，比如链接库的顺序导致的符号未定义问题。

https://murphypei.github.io/blog/2017/08/cpp11-multithread.html

我之前也写过关于C++11中并发编程的知识点，包括多线程和互斥锁。看到这篇文章，觉得可以算是对前面那篇文章的一个补充，特别是条件变量的使用，所以决定整理摘录。

https://murphypei.github.io/blog/2019/05/thundernet.html

旷视在 2019 年 3 月 推出了 ThunderNet，致力于实现移动端的实时的 two-stage 目标检测器。

https://murphypei.github.io/blog/2019/03/prune-net.html

深度学习模型如果想在移动端进行应用，必然面临着计算效率和模型体积的困扰，因此必须进行网络裁剪（prune）。本文方法来源于NVIDIA的一篇文章：Pruning Convolutional Neural Networks for Resource Efficient Inference

https://chaopei.github.io/blog/2018/02/docker-image-container.html

https://murphypei.github.io/blog/2019/12/entropy.html

交叉熵是机器学习中常用的一个概念，一般用来衡量目标值与预测值之间的差距。熵的概念源于信息论，因此，首先从信息论角度进行分析。

https://murphypei.github.io/blog/2019/07/longest-unrepeat-substring.html

https://murphypei.github.io/blog/2019/12/git-lfs.html

一次 Git-LFS 的迁移记录。

https://murphypei.github.io/blog/2019/04/gbdt.html

Boosting 属于集成学习的一种方法，算是传统机器学习的大杀器之一了。本文介绍 GBDT 的相关知识。

https://murphypei.github.io/blog/2019/06/cpp-inl.html

https://chaopei.github.io/blog/2018/03/now-feels.html

https://murphypei.github.io/blog/2018/09/kmeans.html

K-Means聚类算法是机器学习中一种常见的聚类算法，非常简单，但是用起来难免会有一些坑。

https://murphypei.github.io/blog/2020/07/win10-ssh.html

win10 已经使用的越来越顺手，而且越发喜爱在 win10 上工作了，随手记录一下一些使用的体验和配置。

https://murphypei.github.io/blog/2019/02/svm-kernel.html

我之前写过一个关于SVM中核函数的基本原理，讲述了核函数的本质是利用高维映射来解决线性不可分的情况。但是具体怎么映射，以及核函数为什么写成两个向量内积的形式还存在一些疑问，这篇文章对这些知识点做一些总结。

https://murphypei.github.io/blog/2019/08/vm-black-screen.html

在 windows10 上面装好 virtualbox 虚拟机之后卡死黑屏，开不了机。

https://murphypei.github.io/blog/2019/09/cblas-gemm-gemv.html

GEMM 是矩阵乘法最成熟的优化计算方式，也有很多现成的优化好的库可以调用。

https://murphypei.github.io/blog/2018/08/python-super.html

Python中的多态实现非常简单，只要是在子类中实现和父类同名的方法，便能实现多态，如果想在子类中调用父类的方法，有多种方法，但是当涉及菱形继承等问题是，super就成为了比较好的解决方案。

https://murphypei.github.io/blog/2019/08/socket-ready.html

关于 socket 的读写就绪条件。

https://murphypei.github.io/blog/2019/03/pca-math.html

主成分分析（PCA）在机器学习领域主要的作用就是降维，其背后有严格的数学理论支持。

https://murphypei.github.io/blog/2019/06/cpp-inl.html

.INL 文件是内联函数的源文件。内联函数通常在 C++ 头文件中实现，但有的时候内联函数较多或者出于一些别的考虑，如为了使头文件看起来更简洁等，往往会将这部分具体定义的代码添加到 .INL 文件中，然后在该头文件的末尾将其用 #include 引入。由此也可以看到 .INL 文件的另外一个用法的影子——模板函数、模板类的定义代码的存放。对于比较大的工程来说，出于管理方面的考虑，模板函数、模板类的

https://murphypei.github.io/blog/2019/04/cart-tree.html

我在决策树小结中介绍了决策树的相关只是，也介绍了分类与回归树（CART）的构建等等。这篇文章主要是对 CART 的具体计算方式进行例子展示，为后续的 GBDT 和 XGBoost 做一些铺垫。

https://murphypei.github.io/blog/2019/12/sigmoid-gradient.html

周末刷知乎看到一个问题，关于如何理解梯度消失和梯度爆炸的。有个回答讲的比较好，就和 sigmoid 函数一起总结一下吧。

https://murphypei.github.io/blog/2020/04/tf-serialize-format.html

TensorFlow 保存模型结构和参数的方法有几种，日常都会遇到这些不同格式的数据，做记录总结。

https://murphypei.github.io/blog/2019/11/stl-binary.html

STL 中的算法都很精妙，有很多实现值得我们细究和学习。

https://chaopei.github.io/blog/2018/09/map-calc.html

https://murphypei.github.io/blog/2020/03/bayes-theorem.html

贝叶斯定理的理解对于概率计算是非常重要，而且日常使用非常常见。

https://chaopei.github.io/blog/2018/04/linux-redirect-pipe.html

https://murphypei.github.io/blog/2018/11/awk-simple

awk是Linux环境下重要的结构化文本处理工具，非常便捷好用。

https://murphypei.github.io/blog/2019/07/longest-unrepeat-substring.html

最长不重复子串是leetcode一道经典的题目，要求找出一个字符串中最长不重复子串的长度

https://murphypei.github.io/blog/2018/12/docker-add-group

ubuntu16安装了docker以后，每次使用docker命令均需要sudo，十分麻烦，发现了一种可以省去的方法。

https://murphypei.github.io/blog/2019/08/zombie-orphan-process.html

最近看到一个进程状态的博客写的比较好，转载记录复习，顺便加点自己的理解注释，形成了这篇文章。

https://murphypei.github.io/blog/2019/10/cuda-parallel.html

cuda 中核函数执行使用多线程并行（SIMD）的方式，同时计算多个数据，因此核函数的线程管理以及相应的任务分配就显得尤为重要。

https://chaopei.github.io/blog/2018/11/pip-upgrade-issue.html

https://murphypei.github.io/blog/2020/03/mle-map.html

最大似然估计和最大后验概率估计是概率论中应用很广泛的两个理论，之前的理解似是而非，因此查阅了一些资料，总结记录。

https://murphypei.github.io/blog/2018/12/cpp-macros-uitls.html

记录一些C++ Debug常用的宏定义

https://murphypei.github.io/blog/2018/01/batch-normalization.html

Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》这篇论文，本文将对BN的出现原因、作用和原理进行说明。