Code Monkey home page Code Monkey logo

drl_collection's Introduction

DRL_collection

a collection of DRL-repo in Github

时间 改动 TODO 版本
2019.12.27 init todo v0.1
2020.1.6 加入keras-rl 整理学院派资料和repo v0.1
2020.1.10 整理学院派资料, 加入baselines todo v0.2
2020.10.11 加入自己写的库和曾伊言的库 TODO v0.2
2020.10.21 移除tf开发的RL库,加入Xu Zhiwei的dqn_zoo、policy_based_RL,加入ray、acme等 todo v0.2

值得关注有各自RL开源库的github个人:


0. 学院派资料(北美)

很多资料都整理了这块的内容,我再简单的理清楚一下吧, 附带一些其他人的评价。

UCL - RL Course by David Sliver

课程主页 \ b站(熟肉)

伦敦学院2015的经典课程, sutton体系。侧重RL的基本概念,没有深度RL方面的内容。偏重非深度的RL实现,重视数学证明convergence,以及value based RL。基本是把sutton的书精华提炼了一遍,大概学习路线是 agent-environment loop->MDP->Dynamic planning->Monte Carlo->TD->function approximation

加州大学伯克利分校 UCB - Deep RL Bootcamp

课程主页

26-27 August 2017. UCB暑假课的课程,比较简洁全面的介绍一些RL方法。

加州大学伯克利分校 UCB - CS285 Fall 2019

CS 285: Deep Reinforcement Learning, Decision Making, and Control

Home Page \ youtube(生肉) \ b站(生肉) \ b站CS294-112(熟肉)

这门课原来叫cs294,首先294是伯克利Special Topics的课号,AP开的课很多都是在294+section这样的课号下试水。今年294-112深度增强学习已经获得正式课号改为CS285。课程反应了Sergey Levine和整伯克利RL的积累,独立于《RL Introduction》的教学体系自成一派。符号风格和体系不同于《RL Introduction》体系。

CS285的精髓在于各种RL前沿方向全方位的推导和展示。前半部分讲各种RL的基础算法,后半部分讲RL算法的各种衍生,应用,科研。课程基本可以分为DRL介绍+模仿学习、model free、model based、Exploration+迁移+多任务+Meta-learning等四大部分,一共有四个很有趣的assignment(比春季的更好了)。如果你看过david silver的视频并且有机器学习的基础,那么至少你在model free部分是没问题的。秋季课程其实降低了对RL基础的要求,课上推导过程比较清晰。这门课后半model based部分恰好是对david silver等当前已有的课程、书籍里讲的比较少的内容的非常大的补充,不过这部分要求比较高。

斯坦福大学 Stanford [未验证]

CS234: Reinforcement Learning Home Page \ Homework_repo

CS239 Sequential Decision Making Home Page

AA228/CS238 Decision Making under Uncertainty Home Page

1. 深度强化学习(经典算法)

Deep Reinforcement Learning Course

国外友人用精简的教程实现,附带有教程网站, 概念入门推荐。用游戏实现DRL经典算法: DQN \ DDQN \ PPO \ A2C ...

整理很完备清晰的深度强化学习算法列表

适合入手算法源码实践!中科院自动化所“老实人”用Pytorch写的DRL实现,基础算法完整,章节清晰,2019年。(最近好像大佬在准备重构hhhh)

也是中科院自动化所一个学生写的,这套代码相比上面更完整,一个算法一个文件,很适合学习。

深圳先进院曾伊言的作品,主打轻量化和可复现的RL算法,3个python文件完成,适合入门\中期代码实践时参考。

另一个版本基于Pytorch的DRL算法实现, 2019年。

自己写的算法,主打算法入门实践学习和复现。最近太忙了,没有维护细节Bug,不过基础的应该没问题。目录结构对新手都更友好, 目前还是beta版。

《用Python动手做强化学习》配套代码

多智能体的强化学习论文收集列表

算法细节和魔改

DQN and variants(值分布式的DQN):

SAC:


2. 强化学习

awesome-reinforcement-learning

强化学习的相关学习资料\链接,精简完整的整理。

强化学习从入门到放弃的资料

中文整理的强化学习资料(Reinforcement Learning), 偏基础和理论。

附带各种课程链接,学院派资料集中地。

[未验证] 从机器学习、神经网络、深度神经网络的全面的资料整理

传统强化学习的算法介绍和实现, 无深度网络。

sutton第二版书的配套章节代码实现和学习

[未验证] sutton第二版书部分章节问题答案


3. 机器学习框架学习

将《动手学深度学习》原文中 MXnet 代码改为用 Pytorch 实现。网页版主页 , 整书pdf下载

TODO...


3. Scalable/Distributed RL:

1. APE-X

2. R2D2

3. IMPALA

4. GA3C

5. SEED_RL

6. Agent57


4. 仿真环境

openai开发的经典环境, 安装简洁集成高效, 便于测试新算法。主页

gym中整理的openai环境

主页

DeepMind: a tool for developing and testing reinforcement learning agents for the MuJoCo physics engine.

DeepMind: A customisable 3D platform for agent-based AI research.

A set of high-dimensional continuous control environments for use with Unity ML-Agents Toolkit.

--

5. Game Reinforcement Learning

1. Atari

6.企业\组织的RL开源框架\教程

  • OpenAI开发的,学习向的教程
  • 学习教程地址
  • 从基础入门到算法核心**
  • OpenAI Baselines is a set of high-quality implementations of reinforcement learning algorithms.
  • 恰如起名,通常用它来跑对比实验。
  • 其他人基于openai的baselines做的稳定版开发, 适合全面学习。
  • 主页文档
    • Unified structure for all algorithms
    • PEP8 compliant (unified code style)
    • Documented functions and classes
    • More tests & more code coverage
    • Additional algorithms: SAC and TD3 (+ HER support for DQN, DDPG, SAC and TD3)
  • 基于baseline,已经训练好的库。推荐中期学习使用
  • UCB基于RLlib开源的算法库,很全面和精深
  • 学起来也很难,比较偏向工业界?
  • DeepMind
  • 主打分布式强化学习

drl_collection's People

Contributors

taospirit avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.