livil / filestore-server-2 Goto Github PK

View Code? Open in Web Editor NEW

This project forked from octopuslian/filestore-server

0.0 0.0 0.0 1.23 MB

Go仿写百度云盘，企业级分布式云存储系统

Shell 4.79% JavaScript 13.99% Go 62.12% HTML 18.53% Dockerfile 0.57%

filestore-server-2's Introduction

FileStore-Server

Go实战仿百度云盘，实现企业级分布式云存储系统

基于golang实现的一种分布式云存储服务

云程序员，微服务，是最近几年一直被频频提到的热门词汇。本课程将通过Golang来实现一个支持断点续传和秒传的分布式云存储服务系统。
课程中老师将手把手带你从快速构建“云存储”原型系统，到分块上传，到搭建访问阿里云，最后进行系统的微服务化，让你快速掌握架构传输性能和稳定性的优化过程，秒变云时代中第一代“云程序员”。

关于微服务架构交互逻辑

关于分支和标签

分支说明:
- master分支: 通过原生net/http实现各接口功能
- gin分支: 通过Gin框架来改造http协议通讯相关模块代码
- pkg分支: 通过go-bindata等工具实现静态资源打包的一个示例
- 其他分支与每章节的内容大致对应(比如第九章代码可以参考charter9分支)
标签
- tag是分支代码某个阶段的快照。如master主分支的v0.1是首个发布的版本，该版本接入了阿里OSS。

关于源码版本下载

建议按每章对应的分支代码来看，master主分支代码为最新版本代码。

master分支为最新提交的代码

git clone https://git.imooc.com/coding-323/filestore-server.git

第九章(RabbitMQ异步存储)章节的代码，可以下载标签为v0.3的版本:

git clone --branch v0.3 https://git.imooc.com/coding-323/filestore-server.git

第八章(OSS)及之前章节的代码，可以下载标签为v0.2的版本:

git clone --branch v0.2 https://git.imooc.com/coding-323/filestore-server.git

关于需要手动安装的库

如下：

go get github.com/garyburd/redigo/redis
go get github.com/go-sql-driver/mysql
#go get github.com/garyburd/redigo/redis
go get github.com/gomodule/redigo/redis
go get github.com/json-iterator/go
go get github.com/aliyun/aliyun-oss-go-sdk/oss
go get gopkg.in/amz.v1/aws
go get gopkg.in/amz.v1/s3
go get github.com/streadway/amqp
go get github.com/gin-gonic/gin
go get github.com/gin-contrib/cors
go get github.com/micro/go-micro
go get github.com/mitchellh/mapstructure
go get github.com/jteeuwen/go-bindata/...
go get github.com/moxiaomomo/go-bindata-assetfs/...
go get github.com/gin-gonic/contrib/static
go get github.com/micro/go-micro/cmd
go get github.com/micro/go-plugins/registry/kubernetes
go get -v github.com/micro/go-plugins/wrapper/breaker/hystrix
go get -v github.com/juju/ratelimit
go get -v github.com/micro/go-plugins/wrapper/ratelimiter/ratelimit

其中如果有提示golang.org/x相关的包无法下载的话，可以参考这篇文章:
国内下载golang.org/x/net

关于应用启动

在加入rabbitMQ实现文件异步转移之前，启动方式：
- 启动上传应用程序:

# cd $GOPATH/<你的工程目录>
> cd $GOPATH/filestore-server
> go run main.go

在加入rabbitMQ实现文件异步转移阶段，启动方式(分裂成了两个独立程序)：
- 启动上传应用程序:

# cd $GOPATH/<你的工程目录>
> cd $GOPATH/filestore-server
> go run service/upload/main.go

- 启动转移应用程序:

# cd $GOPATH/<你的工程目录>
> cd $GOPATH/filestore-server
> go run service/transfer/main.go

微服务架构下启动方式(非容器化部署):
- 一键启动微服务(start-all.sh):

> cd $GOPATH/filestore-server
> ./service/start-all.sh 
 编译完成:  service/bin/dbproxy
 编译完成:  service/bin/upload
 编译完成:  service/bin/download
 编译完成:  service/bin/transfer
 编译完成:  service/bin/account
 编译完成:  service/bin/apigw
 已启动  dbproxy
 已启动  upload
 已启动  download
 已启动  transfer
 已启动  account
 已启动  apigw
微服务启动完毕.

- 一键关闭微服务(stop-all.sh):

> cd $GOPATH/filestore-server
> ./service/stop-all.sh 
 已关闭:  apigw
 已关闭:  account
 已关闭:  transfer
 已关闭:  download
 已关闭:  upload
 已关闭:  dbproxy
执行完毕.

微服务架构下启动方式(容器化部署):

> cd $GOPATH/filestore-server
# 脚本方式启动容器
> ./deploy/start-all.sh
# 脚本方式关闭容器
> ./deploy/stop-all.sh
# docker-compose方式启动容器
> cd ./deploy/service_dc
> sudo docker-compose up -d
# k8s方式启动微服务
> cd ./deploy/service_k8s
> kubectl apply -f svc_account.yaml
> kubectl apply -f svc_apigw.yaml
> kubectl apply -f svc_dbproxy.yaml
> kubectl apply -f svc_download.yaml
> kubectl apply -f svc_transfer.yaml
> kubectl apply -f svc_upload.yaml
> cd ./deploy/traefik_k8s
> kubectl apply -f service-ingress.yaml