The blog from zengbin93

笔记 - 数据思维的养成

数据思维的本质是对数据足够敏感，能够及时捕捉到数据中潜在的信息。

数据思维和数据处理能力是并重的，仅仅依靠观察和思考，无法快速有效的发现价值信息；如果借助一些数据处理的手段，就能够提高数据分析效率，并快速验证自己的猜想。

数据思维的另一方面是发现数据和融合数据，寻找数据之间的联系。

微软郑宇：这个时代不缺数据，缺的是开放的思维

资料推荐

https://docker_practice.gitee.io/

机器学习 - 聚类算法 - 学习笔记

聚类算法和分类算法的最主要区别是：聚类算法可以使用没有标签的数据；分类算法通常都需要数据带标签。

这里，主要介绍几类实践中常用的聚类算法及其使用方法。

几个基本概念

聚类（clustering）试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇（cluster）。
优质聚类结果的簇内相似度（intra-cluster similarity）高且簇间相似度（inter-cluster similarity）低。
原型聚类（prototype-based clustering）：假设聚类结构能够通过一组原型刻画，通常是先对原型进行初始化，然后对原型进行迭代更新求解。
密度聚类（density-based clustering）：假设类簇结构能够通过样本分布的紧密程度确定。 通常，密度聚类算法从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展类簇以获得最终的聚类结果。

参考资料

http://scikit-learn.org/stable/modules/clustering.html

实践 - Tornado框架

Tornado是python下的一个web框架和异步网络库，它使用非阻塞式的网络I/O，支持数万个连接，适用于long polling、WebSockets等需要保持用户长时间连接的场景。

通常，Tornada的代码不是线程安全的。Tornado运行在linux系统上性能最好，windows和Mac OS上仅适合做开发。

github: https://github.com/tornadoweb/tornado
官方文档： http://www.tornadoweb.org/en/stable/
中文文档： http://www.tornadoweb.cn/

参考资料

Mooc学习笔记 - 行为经济学 - 北京大学 - 孟娟娟

课程地址：https://www.icourse163.org/course/PKU-1002618003

你有没有想要存钱却还是忍不住拼命剁手？为什么你明知某个股票亏钱了且可能一直亏下去，就是无法割肉卖掉？行为经济学是一门把心理学X经济学跨界结合，研究人的心理因素如何影响经济行为的前沿学科。它能帮助你认识并改正自己存在的思维缺陷，在生活与工作中更好的进行决策。

读书摘记 - 《清醒思考的艺术》（Rolf Dobelli, PhD）

内容简介

本书的作者罗尔夫•多贝里讲到自己曾与一名美国友人分享发现——小概率事件往往具有颠覆全局的破坏力。这个美国人后来据此写了一本书成为大畅销书，此书就是《黑天鹅》，那个美国人叫纳西姆•塔勒布。于是，多贝里决定自己写一本书，这就是在德国率先超越《乔布斯传》登上畅销书排行榜榜首的本书。

人是生而自由的，却无往不在枷锁之中。用这句话来描述人类为思维错误所累的情形，也十分恰当精到。思维错误、认知陷阱就像是伴生于人类，细追究起来无处不在，不经意之时又无迹可寻。难道人们注定就要戴着无形的“有色眼镜”看世界吗？不，人们可以思考自己的思考，拒绝思考被污染。

作者博览群书，以显微镜般的观察发现人们常犯的思维错误，并一一列出。当明白了错误的思维是如何发生后，人们就有可能远离思维陷阱。如果说成功者与失败者之间的差距在于思维方式，那么，熟知了思考方式的隐形陷阱，人们就会犯错更少，从而离成功更近。

作者既有锐利的观察，又有出色的讲故事能力。他引用生活趣事、名人轶事、历史故事、爱情关系、人际关系、投资之道、心理实验等论述，生动形象而又具体雄辩地指出思维之错的错在哪里，并且还给出了纠正的办法。人性的弱点在《书》中完全呈现，是在自己的反思中进步，还是抓住别人的弱点进攻，全在于读者自己的理解和决定。

来自豆瓣: https://book.douban.com/subject/20492550/

1 幸存偏误为什么你该去逛逛墓地
2 游泳选手身材错觉哈佛是好大学还是烂大学？我们不清楚
3 过度自信效应你为什么会系统性地高估自己的学识和能力
4 从众心理就算有数百万人声称某件蠢事是对的，这件蠢事也不会因此成为聪明之举
5 纠缠于沉没成本你为什么应该忽视过去
6 互惠偏误你为什么不该让别人请你喝饮料
7 确认偏误之一遇到“特殊情况”这个词，你要格外小心
8 确认偏误之二干掉你的宠儿
9 权威偏误你为什么该藐视权威
10 对比效应你为什么最好别找模特儿等级的朋友一起出门
11 现成偏误你为什么宁可用一张错误的地图，也不愿没有地图
12 “在好转之前会先恶化”的陷阱如果有人建议你选择一条“先经历痛苦的道路”，你应该敲响警钟
13 故事偏误为什么就连真实的故事也是骗局
14 事后诸葛亮偏误你为什么应该写日记
15 司机的知识你为什么不可以把新闻播音员说的话当真
16 控制错觉你实际控制的少于你以为的
17 激励过敏倾向你为什么不该按实际开销付钱给你的律师
18 回归均值医生、顾问、教练及心理治疗师的作用令人怀疑
19 公地悲剧为什么理性的人不去诉诸理性
20 结果偏误切勿以结果判断决定
21 选择的悖论为什么更多反而是更少
22 讨喜偏误你行为不理性，是因为你想讨别人喜欢
23 禀赋效应请不要死抱着某种东西不放
24 奇迹不可能事件的必然性
25 团体迷思共识为什么有可能是危险的
26 忽视概率偏误累计奖金为什么会越来越多
27 零风险偏误你为什么会为零风险支付过多
28 稀少性谬误为什么饼干越少越好吃
29 忽视基本概率当你在怀俄明州听到马蹄声、见到黑白条纹时……
30 赌徒谬误为什么没有一种平衡命运的力量
31 锚定效应数字轮盘如何搞得我们晕头转向
32 归纳法如何把别人的钱弄进自己的口袋
33 规避损失为什么凶恶的面孔比友善的面孔更容易引起我们注意
34 社会性懈怠团队为什么会使人懒惰
35 指数增长一张对折的纸为什么会超出我们的想象
36 赢家的诅咒你愿意为100欧元支付多少钱？
37 基本特征谬误千万别问一位作家他的小说是不是自传
38 错误的因果关系你为什么不该相信仙鹤送子
39 光环效应长相好的人为什么容易事业有成
40 替代途径恭喜你赢了俄罗斯轮盘赌
41 预测的错觉水晶球如何歪曲了你的目光
42 关联谬误有说服力的故事为什么会误导人
43 框架效应言为心声
44 行动偏误为什么不行动光等待是种痛苦
45 不作为偏误为什么你不是答案就是问题
46 自利偏误你为什么从不自责
47 享乐适应症你为什么应该缩短上班路程
48 自我选择偏误请不要惊讶有你存在
49 联想偏误为什么经验有时让人变蠢
50 新手的运气假如开始时一切顺利，请务必多加小心
51 认知失调你如何撒点小谎，让自己感觉好一些
52 双曲贴现及时行乐——但请只限于星期天

笔记 - NER - 命名实体识别

NER英文全称：Named Entity Recognition

资料推荐

LAMPLE G, BALLESTEROS M, SUBRAMANIAN S等. Neural Architectures for Named Entity Recognition[J]. arXiv:1603.01360 [cs], 2016.
The code of the LSTM-CRF and Stack-LSTM NER systems are available at https://github.com/glample/tagger and https://github.com/clab/stack-lstm-ner

笔记 - 东邪西毒终极版

字幕摘记

中英字幕 - 东邪西毒终极版.Ashes.Of.Time.Redux.2008.txt

Ashes of time redux - 2008

今年因为五黄临太岁周围都有旱灾；有旱灾的地方就有麻烦；有麻烦我就有生意。
人最大的烦恼就是记性太好。
你这种年青人我见的多了，懂一点武功就以为可以横行天下，其实行走江湖是一件很痛苦的事，会武功有很多事不能做。
我不敢说我这位朋友武功比他们都好，我现在跟你们说的，是你们一家大小二十多条人命的安全，至少在这方面，你们该信一个穿鞋的人，是不是？
通常拿了钱看也不看就收起来的人，他们的钱很快就会花光，但洪七他数得很仔细，这种人，我知道不会留在我身边太久。
别以为要欺骗一个女人是很容易的事，越是单纯的女人就越直接。
每个人都会为一些东西而坚持，其他人会觉得是浪费时间，但对这个人来讲却很重要。
每个人都会经过这个阶段，见到一座山就想知道山后面是什么，我很想告诉他，可能翻过去你会发觉没什么特别，再翻过来，会觉得这边更好。但我知道他不会听。
为什么要到失去的时候才去争取。
以前我认为那句话很重要，因为我觉得有些话说出来就是一生一世，但是现在想一想，其实说不说也没有什么分别。因为有些事会变的。
可能因为是孤儿，我很小就懂得应该怎样去保护自己，我知道如果你不想被人拒绝，最好的方法就是先拒绝别人。
你越想知道自己是不是忘记的时候，你反而记得更加清楚。我曾经听人说过，当你不能够再拥有的时候你唯一可以做的，就是令自己不要忘记。

笔记 - DeepLearning - 深度学习

深度学习效果惊人，做点学习笔记在这里。

学习资料：

10大深度学习架构：计算机视觉优秀从业者必备（附代码实现）

笔记 - NLP - Dialogue System

对话系统是一个可以与人进行交流的机器人，关于对话系统的详细介绍，请查看Wiki。

笔记 - Python - 源码阅读笔记

读源码是提升编码水平的捷径。 我很喜欢读一些优秀项目的源码，遇到的好的写法，在这里做个记录，备查。

笔记 - 关键词提取算法

关键词是指能反映文本主题或者主要内容的词语。关键词提取是NLP领域的一个重要的子任务。在信息检索中，准确的关键词提取可以大幅提升效率；在对话系统中，机器可以通过关键词来理解用户意图；在文本分类中，关键词的发现也非常有帮助。

关键词提取的方法主要有：TF-IDF、TextRank、Rake、Topic-Model等。

读书 - 《万历十五年（黄仁宇）》- 从平静中看一个组织的兴衰

豆瓣： https://book.douban.com/subject/1041482/

笔记 - NLP - 数据集

记录一些质量较高的NLP数据集，方便以后的研究。

笔记 - Python - 常见问题处理方法

写代码碰上BUG是再正常不过，以报错信息为依据，把一些常见的BUG处理方法记录在这里。

笔记 - 相似度计算

相似度计算方法汇总

常用的相似性计算方法有：1）欧式距离（Euclidean Distance）; 2）曼哈顿距离（Manhattan Distance）； 3）闵式距离（Minkowski Distance）； 4）余弦距离； 5）动态时间规整（DTW）；

import numpy as np

vector1 = [8.92, 8.71, 8.77, 8.75, 8.74, 8.71, 8.66, 8.71, 8.74, 8.8, 8.8, 
           8.79, 8.64, 8.56, 8.56, 8.43, 8.38, 8.42]
vector2 = [32.99, 32.27, 32.16, 31.93, 32.8, 33.16, 32.59, 32.61, 29.35, 
           28.41, 27.85, 28.62, 28.62, 29.35, 30.14, 29.34, 28.88, 29.05]

# vector1 = [1, 1, 1, 1]
# vector2 = [1, 1, 1, 1]

def euclidean_distant(vector1, vector2):
    """欧式距离"""
    vector1 = np.mat(vector1)
    vector2 = np.mat(vector2)
    return np.sqrt((vector1-vector2)*((vector1-vector2).T)).item()
 
print(euclidean_distant(vector1, vector2))

93.19353786609885

def manhattan_distant(vector1, vector2):
    """曼哈顿距离"""
    vector1 = np.mat(vector1)
    vector2 = np.mat(vector2)
    return np.sum(np.abs(vector1-vector2))

print(manhattan_distant(vector1, vector2))

394.03

def cosine_distant(vector1, vector2):
    """余弦距离"""
    vector1 = np.mat(vector1)
    vector2 = np.mat(vector2)
    vector1_norm = np.linalg.norm(vector1)
    vector2_norm = np.linalg.norm(vector2)
    dot_norm = vector1_norm * vector2_norm
    dot_vs = np.dot(vector1, vector2)
    return np.divide(dot_vs, dot_norm).item()

print(cosine_distant(vector1, vector2))