kignatovich / tms-dp Goto Github PK

Используемые технологии/программы/утилиты/яп:

• Docker (Docker-compose)
• Jenkins(IAC)
• SonarQube
• Python (bot)
• Groovy (pipeline) готов тестовый пайплайн, нужно переделать в "боевой".
• Bash
• Nginx + SSL (certbot)
• Prometheus
• Loki
• Grafana
• caDvisor
• Ansible
• Pylint (можно заменить на flake8)
• Apache Benchmark (нагрузочное тестирвоание)
• Telegram (notification). Alertmanager - алерты готовы, остались в пайплайне jenkins.
• Checkov - сканирование файлов на наличие ошибок в конфигурации(terraform, Dockerfile и т.д.)
• trivy - сканирование образов docker
• gpg (скрипт)

ВАЖНО: на данный момент все разворачивается автоматическ при использовании только одной команды. Единственное исключение - webhook. Его в jenkins нужно включать в пайплайнах вручную.

Ссылка на приложение, который будет учавствовать в сборке.

При запуске команды в боте телеграм (/deploy), выполняется комнада terraform apply. В это время автоматически разворачиваются sqnarqube, jenkins и сопутсвующие сервисы/скрипты. Вывод команды terraform apply.

Один из важных скриптов которые отрабатывают в самом началае секции remote-exec - prepare.sh находящийся в шифрованом архиве keyp.zip, который добавляет возможность "читать ВМ" приватные репозитории gitlab.

#!/bin/bash
mv  ./id_rsa ./.ssh/
ssh-keyscan github.com >> /home/ubuntu/.ssh/known_hosts

После добавления закрытого ключа, remote-exec "стирает" его следы.

После успешного разворачивания инфраструктуры - будет создана главная страница проекта, доступная по адресу https://tms-dp1.devsecops.by.

• Дженкинс - https://jenkins1.devsecops.by (логин admin пароль из файла конфига terraform по умолчанию 123456789)
• Сонаркьюб - https://sonarqube1.devsecops.by (логин admin пароль из файла конфига terraform по умолчанию 123456789)
• Графана - https://grafana1.devsecops.by логин admin пароль из файла конфига terraform по умолчанию 123456789)
• Prometheus - https://prom1.devsecops.by (basic auth admin:password)
• Cadvisor - https://cad1.devsecops.by (basic auth admin:password)
• Prod - https://prod1.devsecops.by
• DEV - https://dev1.devsecops.by

После деплоя инфраструктуры в дженкинсе появляются два пайплайна: один для ветки main, второй для ветки dev.

• Clone repository - клонируем код из репозитория(main или dev)
• Checkov scaner - проверка правильности написания Dockerfile (может сканировать yaml, tf и т.д.)
• Code style используется pylint
• Sonar-scanner - сканирование с помощью sonarqube (каждый запуск отдельяная запись)
• Deploy project - деплой c помощью ansible на другой сервер(клонирование репозитория, билд проекта, проверка сканером уязвимости билда проекта, запуск проекта)
• code 200 & page search - тест ответа сервера 200 и поиск по главной странице определнного текста
• Apache benchmark test - нагрузочный тест main или dev среды
• Declarative: Post Actions уведомления, реализованы через телеграмм скрипт.

https://tms-dp1.devsecops.by/report/

https://prod1.devsecops.by/

https://dev1.devsecops.by/

Добавлены дашборды (автоматически разворачиваются):

• docker host (мониторинг хоста на котором установлен docker)
• docker containers (мониторинг докер контейнеров)
• monitoring services (мониторинг мониторинга)
• logs (кастомный вывод логов и алертов)