Name: Yao Lu
Type: User
Company: Hunan University of Finance and Economics
Bio: I am a university student.My major is Information management and information systems. I am looking forward to connecting with the world through this platform.
Location: No.139 Fenglin 2nd Road, Changsha, Hunan, Chn, 410205
Blog: www.hufe.edu.cn
Yao Lu's Projects
A curated list of awesome big data frameworks, ressources and other awesomeness.
搜集、整理、发布 中文 自然语言处理 语料/数据集,与 有志之士 共同 促进 中文 自然语言处理 的 发展。
爬取京东商城商品信息以及用户评论信息
Selenium自动化测试工具 爬取 京东商品评论信息
基于在线民宿 UGC 数据的意见挖掘项目,包含数据挖掘和NLP 相关的处理,负责数据采集、主题抽取、情感分析等任务。目的是克服用户打分和评论不一致,实时对在线民宿的满意度评测,包含在线评论采集和情感可视化分析。搭建了百度地图POI查询入口,可以进行自动化的批量查询 POI 信息的功能;构建了基于在线民宿语料的 LDA 自动主题聚类模型,利用主题中心词能找出对应的主题属性字典;以用户打分作为标注,然后 litNlp 自带的字符级 TextCNN 进行情感分析,将情感分类概率分布作为情感趋势,最后通过 POI 热力图的方式对不同地域的民宿满意度进行展示。软件版本请见链接。
Data science Python notebooks: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, Python essentials, AWS, and various command lines.
基于Python的南京二手房数据采集及可视化分析
common data analysis and machine learning tasks using python
公开课--Python数据分析之金融欺诈行为检测
kaggle贷款违约预测
python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别,Mysql,MongoDB数据库的python使用,多线程多进程爬虫的使用,css 爬虫加密逆向破解,JS爬虫逆向,分布式爬虫,爬虫项目实战实例等
NLTK Data
🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池,先做给自己用着~
Flexible and powerful data analysis / manipulation library for Python, providing labeled data structures similar to R data.frame objects, statistical functions, and much more
pkuseg多领域中文分词工具; The pkuseg toolkit for multi-domain Chinese word segmentation
中文分词
Python
这是一个封装了KDDCup99、NSL-KDD、UNSW-NB15等入侵监测数据集的Python包。
resources of quantitative trading
利用python抓取BOSS直聘和拉勾上杭州和深圳两地数据分析相关的岗位招聘信息,并用pandas和matplotlib进行分析和可视化
中文情感词典汇总(**大学NTUSD简体中文情感词典,清华大学李军中文褒贬义词典,知网Hownet情感词典等)
高质量, 高灵活的IP代理池服务
包含爬取商品信息的京东,天猫,苏宁的三个爬虫,以及一个对京东商品评论进行爬取和分析的脚本
使用python抓取微博数据并对微博文本分析和可视化,LDA(树图)、关系图、词云、时间趋势(折线图)、热度地图、词典情感分析(饼图和3D柱状图)、词向量神经网络情感分析、tfidf聚类、词向量聚类、关键词提取、文本相似度分析等