Code Monkey home page Code Monkey logo

big-data-2023's Introduction

Классический жизненный цикл разработки моделей машинного обучения

Цель работы

Целью данной работы является получение навыков разработки CI/CD pipeline для ML моделей с достижением метрик моделей и качества.

Выполнениие работы

  1. Был создан репозиторий на GitHub, в который регулярно проводились commit'ы и push'ы в ветку разработки.
  2. Была проведена подготовка данных для набора данных, согласно варианту задания.
  3. Была разработана ML модель с двумя классическими алгоритмами классификации: деревом решений и случайный лесом.
  4. Модель вместе с препроцессингом была описана .py скриптами.
  5. Код был покрыт юнит-тестами при помощи pytest.
  6. Был задействован DVC для версирования обрабатываемых данных и результатов экспериментов.
  7. Была произведена докеризация модели.
  8. В дистрибутив были добавлены следующие ключевые файлы:
    • config.json – параметры запуска модели;
    • Dockerfile и docker-compose.yml – конфигурация создания контейнера и образа модели;
    • requirements.txt – используемые зависимости (библиотеки) и их версии.
  9. Был создан CI pipeline на базе GitHub для сборки docker image и отправки его на DockerHub (сборка автоматически стартует по pull request в основную ветку репозитория модели).
  10. Был создатн CD pipeline для запуска контейнера и проведения функционального тестирования по сценарию (запуск стартует в качестве последнего этапа CI pipeline).

Результаты функционального тестирования

Результаты функционального тестирования

Скрипт конфигурации CI

Скрипт конфигурации CI

Скрипт конфигурации CD

Скрипт конфигурации CD

big-data-2023's People

Contributors

pnthrleo avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.