Code Monkey home page Code Monkey logo

amo_1_moskvin's Introduction

AMO_1_Moskvin

Москвин Александр

  1. Этап создания скрипта data_creation.py:
  • Импортируем необходимые библиотеки (numpy, pandas, matplotlib, seaborn)
  • Создаем функцию generate_data, которая создает наборы данных каждый набор - это таблица с колонками, содержащими значения отчетности за определенный период времени. В каждом наборе данных также могут быть включены аномалии или шумы.
  • Разбиваем полученные данные на две части: обучающую (train) и тестовую (test) в отношении примерно 80% на 20%. Сохраняем эти наборы данных в соответствующих директориях.
  • Функцией plot_data строим графики для каждого набора данных.
  1. Этап создания скрипта model_preprocessing.py:
  • Импортируем необходимые библиотеки (sklearn.preprocessing)
  • Создаем функцию preprocess_data, которая выполняет предобработку данных, например, стандартизацию с помощью StandardScaler.
  1. Этап создания скрипта model_preparation.py:
  • Импортируем необходимые библиотеки (numpy, pandas, sklearn)
  • Загружаем обучающий набор данных из директории "train".
  • Выполняем предобработку данных с помощью функции preprocess_data, которую написали на предыдущем этапе.
  • Создаем модель машинного обучения, используя любой из доступных алгоритмов обучения, которые поддерживает библиотека Scikit-learn.
  • Обучаем модель на обучающем наборе данных.
  • Сохраняем полученную модель в директории "model".
  1. Этап создания скрипта model_testing.py:
  • Импортируем необходимые библиотеки (numpy, pandas, matplotlib)
  • Загружаем тестовый набор данных из директории "test".
  • Загружаем сохраненную модель из директории "model".
  • Выполняем предобработку данных с помощью функции preprocess_data из скрипта model_preprocessing.py.
  • Далее, на основе полученной модели, проводим тестирование на тестовом наборе данных.
  • Считаем среднеквадратичное отклонение для всех предсказаний и выводим на экран график, на котором отображены реальные и предсказанные значения.
  1. Создание bash-скрипта pipeline.sh:
  • Создаем bash скрипт, который последовательно запускает python скрипты в нужном порядке: data_creation.py -> model_preprocessing.py -> model_preparation.py -> model_testing.py.
  • Внутри скрипта pipeline.sh вызываем функции из всех выше перечисленных скриптов.
  1. Сделаем также вывод графиков, которые построили на этапах 1 и 4, например, с использованием библиотеки matplotlib.pyplot.

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.