bjgyl Goto Github PK

-python-bat-

针对常见的BAT公司中的大数据面试和笔试问题，列出解决思路，并使用python来实现

2016ccf_bdci_sougou

【源码以及PPT分享】2016CCF大数据与计算智能大赛：精准营销中搜狗用户画像挖掘

2016ccf_stategrid_userprofile

1st Place Solution for【2016CCF大数据竞赛 客户画像赛题（用户画像）】

2017-jdd-global-data-explorer-competition

2017京东金融全球数据探索者大赛(3rd place)

2018-ccf-bdci-china-unicom-research-institute-top2

2018-CCF大数据与计算智能大赛-面向电信行业存量用户的智能套餐个性化匹配模型联通赛-复赛第二名解决方案

2018-kuaishou-tsinghua-top13-solutions

2018**高校计算机大赛--大数据挑战赛 Top 13-Solutions

alibaba-middleware-race-preliminary

2016年阿里中间件性能挑战赛初赛题，RocketMQ+JStorm+Tair实时统计双11交易金额

alibaba-mom

2015 ali中间件比赛项目，1. 通信模块： 涉及到了消息架构设计，每一个主题分配1-2个队列，这个是可以横向增加，考虑到了一个主题有多个消费者订阅，而且还有过滤条件，为了负载均衡，对应的队列投递消息是根据随机数对队列数取膜完成的。以上是内存队列。 2. 持久化系统：因为考虑到机器坏掉，broker不可用等等原因导致的消息丢失，就需要每次收到的消息必须及时落盘，这个就是比赛优化的重中之重。为此设计了一个小型的文件系统，借鉴阿里的rocketmq. 用一个大的日志文件，一般1G大小每个，和内存队列的结构映射到实体队列。整个日志文件是顺序文件，每条消息固定大小，里面有对应的队列号，消息号，还有长度等等。这个方便恢复消息到实体队列用的。 同步刷盘，异步刷盘，持久化必须可靠，所以一般是同步刷盘到日志文件，日志文件定时异步刷盘到实体队列，实体队列里面是索引，消息的本体在日志文件里面。为了加快大面积的写入速度，用了内存映射：内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间

alimusic

🎼天池阿里音乐流行趋势预测大赛，项目中涵盖了从初赛到复赛的全部核心代码。复赛的聚合数据可以在百度网盘下载，更详细的思路介绍欢迎访问我的博客。

ansj_seg

ansj分词.ict的真正java实现.分词效果速度都超过开源版的ict. 中文分词,人名识别,词性标注,用户自定义词典

arthas

Alibaba Java Diagnostic Tool Arthas/Alibaba Java诊断利器Arthas

awesome-dubbo

Dubbo resources collection

awesome-java-cn

Java资源大全中文版，包括开发库、开发工具、网站、博客、微信、微博等，由伯乐在线持续更新。

awesome-programming-books

经典编程书籍大全，涵盖：计算机系统与网络、系统架构、算法与数据结构、前端开发、后端开发、移动开发、数据库、测试、项目与团队、程序员职业修炼、求职面试等

awesome-python-cn

Python资源大全中文版，包括：Web框架、网络爬虫、模板引擎、数据库、数据可视化、图片处理等，由伯乐在线持续更新。

baidu_dogs

百度西交第三届大数据比赛Baseline(全国第4名)

big-data-resources

大数据/数据挖掘/推荐系统/机器学习相关资源

big_data_architect_skills

一个大数据架构师应该掌握的技能

bigdata

BigData Project 大数据项目由浅入深

bigdatamining

大数据分析与数据挖掘 百度云资源持续更新中，欢迎点赞star Min's blog 欢迎访问我的博客主页！(Welcome to my blog website !)https://liweimin1996.github.io/

concurrent

Java Concurrency in Practice

cs-notes

:books: Computer Science Learning Notes

data-extract-clean-analysis

The project of data cleaning and data analysis based on MapReduce.

dataminingalgorithm

数据挖掘18大算法实现以及其他相关经典DM算法

datax

deeplearning-500-questions

深度学习500问，以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需要的读者。 全书分为15个章节，近20万字。由于水平有限，书中不妥之处恳请广大读者批评指正。 未完待续............ 如有意合作，联系[email protected] 版权所有，违权必究 Tan 2018.06

demo_11.11_storm-spark-hadoop

hadoop_storm_spark结合实验的例子，模拟淘宝双11节，根据订单详细信息，汇总出总销售量，各个省份销售排行，以及后期的SQL分析，数据分析，数据挖掘等。 --------大概流程------- 第一阶段（storm实时报表） 第二阶段（离线报表）第三阶段（大规模订单即席查询,和多维度查询） 第四阶段（数据挖掘和图计算）

dianpingshop

大众点评商户数据爬虫

ebooks

我的大数据学习书单

face2face

基于netty的异步非阻塞实时聊天(IM)服务器。