The autoops from suriealli

AutoOps

AutoOps 是一款基于 2.0 版本django开发的，主要面向linux运维工程师使用,管理linux资产信息，Mysql数据库，批量执行命令、脚本,获取流量图，web ssh管理，技术文档等功能。

欢迎大家测试使用，有问题可反馈。

Demo

地址: http://42.62.55.58:8003/ 账号admin 密码1qaz.2wsx
交流群号： 620176501 欢迎交流！
后台地址 http://42.62.55.58:8003/admin 账号admin 密码1qaz.2wsx
博客: http://hequan.blog.51cto.com/
github: https://github.com/hequan2017/autoops/
码云: https://gitee.com/hequan2020/autoops

架构图

更新记录

1.7.5 代码库功能。
1.7.4 更新ansible版本。增强命令行功能。具体方法参考ansible 模块。
1.6.7 权限梳理，若干代码优化。
- 根据后台用户组进行区分。admin有最高权限。
- 例如：新建运维组、开发组，新建运维组里面的 hequan 账号
- 那么 hequan 只能看见运维组下面的服务器、数据库，执行工具也只能选择运维组的。 hequan 无法添加服务器、数据库。
1.6 Mysql数据库操作: 自动审核 + 执行（目前只适用于Mysql）
- 自动审核：利用软件去审核命令是否正确。
- 命令执行：去数据库执行命令，会忽略报警和警告，使用前建议先自动审核一下。
- 回滚功能
1.4 更新django 为2.0
1.3 新增技术文档板块。
1.2 权限管理完善。增加附件上传下载功能。
1.1.5 新增权限管理。根据后台用户组，区分不同权限。如：在后台先建一个测试机组，把普通用户加入到此组。在前端添加资产时，在产品线中会出现测试机。测试机组下的用户只管管理测试机产品线的资产。
1.1 新增平台登录记录、web登录记录、密码修改等功能。

功能

asset资产
- api http://42.62.55.58:8003/asset/api/asset.html
- 自动获取服务器信息
- 全部导出
- CPU 内存流量图
names 用户（预留模块）
- 加密解密 password_crypt.py
tasks任务
- 命令行
- 工具
  - shell
  - python
webssh 登陆（用复制粘贴的时候，会显示二份，但实际只有一个，不影响使用，请忽略。）
library 技术文档 (真正运维人员的管理平台，自带技术文档，有问题不用再去别的地方找)
- DjangoUeditor 富文本编辑器
数据库自动审核-- 命令执行回滚
- Inception
后台管理
- admin

环境

Python 3.6.4 #可以参考 script/install_python3.6.4.py
Django 2.0
Python 2.7 (用来启动 supervisor)
Centos 7.4

安装

开发环境部署：

1. 下载，安装基本环境,安装目录为/opt下，如是其他目录，请修改supervisor.conf中的相应设置即可。

cd /opt
yum install git   sshpass    redis  -y 
systemctl enable redis.service 
systemctl start  redis.service 
git  clone  https://github.com/hequan2017/autoops.git
    
cd   autoops/
pip3 install -r requirements.txt

添加的资产里面, 建议执行 yum install ipmitool dmidecode -y 以获取更多信息

2. 安装其他组件

安装 script/install_webssh.sh , 需要修改的内容见脚本内，如果不需要webssh，可暂时不用安装。
安装 supervisor

chmod +x  *  /opt/autoops/script/inception/bin/
pip2   install    supervisor                                     ## 没有pip2 版本的 ，可以参考 script/install_pip2.sh
echo_supervisord_conf > /etc/supervisord.conf 
mkdir /etc/supervisord.d/
     

vim /etc/supervisord.conf      ##进行相关设置
         
[inet_http_server]                ##HTTP登录账号密码
port=0.0.0.0:9001 
username=user
password=321

[include]
files = /etc/supervisord.d/*.conf

cp   /opt/autoops/script/supervisor.conf               /etc/supervisord.d/      ## 复制配置文件

环境设置

数据库: 请修改 autops/settings文件, 如果没有mysql，请选择上面那种。如果有，则可以启用mysql，设置相关连接地址。关于mysql安装方法，可参考我的博客 http://hequan.blog.51cto.com/5701886/1982428

DATABASES = {
     'default': {
        'ENGINE': 'django.db.backends.sqlite3',
         'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
     }
 }
DATABASES = {
       'default': {
           'ENGINE': 'django.db.backends.mysql',
           'NAME': 'autoops',
           'USER': 'root',
           'PASSWORD': '123456',
           'HOST': '192.168.10.24',
           'PORT': '3306',
        }
}

修改 autoops/settings 自定义参数

DEBUG = True                          ## 实际生产环境实用，请关闭  False

BROKER_URL = 'redis://127.0.0.1:6379/0'                  ##Redis地址,一般情况不用修改

Webssh_ip = "42.62.6.54"                      ##WebSSH 软件的 访问IP   
Webssh_port='9000'

Inception_ip = '127.0.0.1'                  ## 此为 Inception 软件地址 需要设置，一般不用修改
Inception_port = '6669'                     ## 此为 Inception 软件端口号

inception_remote_system_password='123456'                ## 设置回滚备份（mysql）服务器相关参数，并同步修改一下 script/inc.cnf 里面的设置
inception_remote_system_user='root'
inception_remote_backup_port='3306'
inception_remote_backup_host='192.168.10.81'

修改一个文件 /usr/local/lib/python3.6/site-packages/django/db/backends/mysql/base.py 注释两行,找不到可以忽略。

35 #if version < (1, 3, 3):
36 #    raise ImproperlyConfigured("mysqlclient 1.3.3 or newer is required; you have %s" % Database.__version__)

由于Inception 并不原生支持pymysql，所以需更改pymysql相关源码，修改 $PYTHON_HOME/lib/python3.6/site-packages/pymysql下

connections.py 和 cursors.py 两个文件

找到 connections.py 1108行

  if int(self.server_version.split('.', 1)[0]) >= 5:
            self.client_flag |= CLIENT.MULTI_RESULTS

更改为

    try:
        if int(self.server_version.split('.', 1)[0]) >= 5:
            self.client_flag |= CLIENT.MULTI_RESULTS
    except:
        if self.server_version.split('.', 1)[0] >= 'Inception2':
            self.client_flag |= CLIENT.MULTI_RESULTS

找到 cursors.py 345行

if self._result and (self._result.has_next or not self._result.warning_count):
        return

改为

if self._result:
    return

注: 在script/ 文件夹下有已经修改的connections.py 和 cursors.py 直接替换即可

初始化数据库（可删除文件夹的 db.sqlite3）

python manage.py makemigrations
python manage.py  migrate
python manage.py  createsuperuser             ##创建管理员

登陆的端口号在 supervisor.conf 里面第15行 ,默认是 :8003 。如有修改端口号，请把supervisor 里的uwsgi 服务关闭。然后杀掉supervisor进程，再启动。
启动supervisor进程管理 /usr/bin/python2.7 /usr/bin/supervisord -c /etc/supervisord.conf 加到linux 开机启动里面 chmod +x /etc/rc.d/rc.local 把上面的命令放到这个文件里面
启动: 统一用supervisor 管理进程, 打开 0.0.0.0:9001 账号user 密码321 进入进程管理界面，管理uwsgi,redis,webssh,celery,Inception 等启动关闭。此方法不涉及到nginx。
登陆后台，设置定时获取主机图，设置数据中心、用户组。
设置定时获取主机信息任务。先创建执行的时间频率，再创建任务，创建后，观察队列任务是否执行成功。如不成功，重启所有supervisor中的 celery服务。

开发设置

如果想在windows 下的 pycharm打开，先pip 安装好模块，ansbile无法装在windows上，忽略掉。然后注释下面的代码。

asset/views.py
from   tasks.ansible_2420.runner import AdHocRunner, CommandRunner
# from  tasks.ansible_2420.inventory import BaseInventory

tasks/views.py   
from   tasks.ansible_2420.runner import AdHocRunner, CommandRunner
from  tasks.ansible_2420.inventory import BaseInventory

生产环境

如果想在生产环境部署、启动, 用nginx去处理。可以参考 http://hequan.blog.51cto.com/5701886/1982769 , 请把supervisor.conf 中关于uwsgi的部分删除掉, 用以下方式控制UWSGI的启动关闭.

uwsgi  --ini    /opt/autoops/script/uwsgi.ini     # 启动uwsgi配置  也可以把这个命令写到开机的文件里面
uwsgi  --stop   /opt/autoops/script/uwsgi.pid    # 关闭uwsgi
uwsgi  --reload  /opt/autoops/script/uwsgi.pid   #重新加载

或者用nginx ，nginx 配置文件修改如下。此方法也要启动 uwsgi。

root         /opt/autoops;
   
   
    location / {
        include uwsgi_params;
        uwsgi_connect_timeout 30;
        uwsgi_pass unix:/opt/autoops/script/uwsgi.sock;
        
    }
    location /static/ {
            alias  /opt/autoops/static/;
            index  index.html index.htm;
    }