Code Monkey home page Code Monkey logo

cientificas_de_datos's Introduction

Científicas_de_datos

  • Repositorio para módulo Científicas de datos
  • TSCD - ISPC
  • Cohorte 2021

Integrantes

  • Karina Alem
  • Florencia Bravo Corvalán
  • Laura Martinez Quijano
  • María Gimena Binaghi

Objetivo del proyecto:

poner en producción un proyecto de detección de spam.

Breve descripción:

Se toma un dataset que posee informacion sobre mensajes que fueron fraude o no. La base se usó para crear un modelo de clasificacion con una precisión de 0.91 y recall de 0.93 para la clase de interés(SPAM) y precisión de 0.99 y recall de 0.99 para la clase HAM. En posterior se realizó la construcción de un frontend con HTML y CSS. Luego se desarrollo del lado del backend la estructura para llamar al modelo, realizar la predicción y mostrarlo en el front. Por último se realizaron distintos test para asegurar el correcto funcionamiento.

Instrucciones para poner en marcha (deploy) el modelo

Se encuentran en un documento con imágenes ilustrativas en la carpeta "documentation".

Problemas y dificultades encontradas:

Los primeros issues que definimos fueron tentativos, antes de definir sobre qué modelo trabajaríamos. Cuando identificamos al modelo de detección de spam, surgieron más espontáneamente las tareas y su asignación en el grupo. Los primeros sprints que definimos (uno por semana) nos quedaron cortos porque hubo varias redefiniciones a medida que avanzábamos con el trabajo, por lo que los desplazamos en el tiempo y reordenamos las issues. Al verificar la funcionalidad del back end encontramos conflictos con la versión de Python y de las librerías que resolvimos creando un entorno virtual. Al desarrollar el front end nos encontramos con el desafío de investigar como conectar back con front. Decidimos hacerlo con Flask y desarrollamos el front con HTML dandole estilos con CSS. Después nos encontramos con el desafío de dónde subir la aplicación Flask creada, y encontramos pythonanywhere.com. Luego de entender cómo se estructura un repo, re-estructuramos lo que habíamos hecho originalmente en las carpetas sugeridas , y creamos branches para subir el trabajo de cada una de nosotras. En la etapa de testing nos encontramos con el problema de que corre con paths locales o rutas estaticas pero no relativas. Comprobamos que corre de manera local pero no al cambiar de pc.

Link servidor:

http://florcorvalan26.pythonanywhere.com/

Para levantar la aplicación:

En Linux:

sudo apt install python3-venv

Crear un entorno virtual nuevo: python3 -m venv my-project-env

Activar un entorno virtual: source my-project-env/bin/activate

En Windows:

Crear un entorno virtual nuevo: python -m venv c:\ruta\al\entorno\virtual

Activar un entorno virtual: c:\ruta\al\entorno\virtual\scripts\activate.bat


Instalar librerias correpondientes:

pip install flask

Despues de instalar CTRL+SHIFT+P y buscar Python Interpreter imagen

Seleccionar el entorno virtual my-project-env que se creo en el paso anterior imagen

Luego pararse en la carpeta donde esta el archivo requirements.txt y para instalar las librerias ejecutar lo siguiente: pip install -r requirements.txt

Por ultimo configurar los siguientes paths: imagen imagen

cientificas_de_datos's People

Contributors

alemkarina avatar florenciacorvalan avatar gibinaghi avatar lmquijano avatar

Watchers

 avatar

cientificas_de_datos's Issues

Crear Proyecto con issues y milestones

Recuperar el modelo desarrollado de regresión lineal para predicción del consumo de energía
Crear Proyecto en GitHub
Crear Issues
Crear Milestones
Asociar issues a proyecto y milestones correspondientes
Definir issues "to do"

Generar el pkl y el training

Escribir el requirements.txt
Estructurar el preprocessing
Estructurar el modelado
Estructurar el postprocessing
Testear lo implementado

Desarrollar la wiki

Mantener actualizada la bitácora de los trabajos definidos y realizados en las reuniones semanales

Implementar la ingesta de datos del cliente

Desarrollar lo definido para la ingesta de datos
Verificar que el formato subido es correcto
Verificar que los campos tienen los datos que deben tener
Verificar si todos los datos están presentes
Definir qué hacer si no están todos los datos presentes
Dónde quedarán disponibles para que los tome el modelo
Testear lo implementado

Crear requirement.txt

Dejar asentado el requirement con el que se creo el pkl para que sea reproducible el mismo enviroment

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.