Code Monkey home page Code Monkey logo

fabiodelgadopereira / integrationservices Goto Github PK

View Code? Open in Web Editor NEW
5.0 2.0 0.0 289 KB

Esse repositorio tem como objetivo apresentar um pouco sobre a arquitetura SSIS(SQL Server Integration Services) que é a ferramenta para projetos de Microsoft ETL. Esse repositorio tem como objetivo apresentar um pouco sobre a arquitetura SSIS(SQL Server Integration Services) que é a ferramenta para projetos de Microsoft ETL. Ele faz parte de um projeto em que implemento uma aplicação por completo (backend, frontend, bases de dados e etcs...)

TSQL 100.00%

integrationservices's Introduction

Autor: Fábio Delgado

Olá! Seja bem vindo ;)

Índice

  1. SSIS
  2. Projeto e Conteúdo
  3. Connection
  4. Conversor
  5. Fluxo
  6. Publicação
  7. Suporte

SSIS(SQL Server Integration Services)

Esse repositorio tem como objetivo apresentar um pouco sobre a arquitetura SSIS(SQL Server Integration Services) que é a ferramenta para projetos de Microsoft ETL. Esse repositorio tem como objetivo apresentar um pouco sobre a arquitetura SSIS(SQL Server Integration Services) que é a ferramenta para projetos de Microsoft ETL. Ele faz parte de um projeto em que implemento uma aplicação por completo (backend, frontend, bases de dados e etcs...)

O SQL Server Integration Services (SSIS) trata-se de um componente do software que é voltado para a integração de informações. Sua especialidade é em relação aos ambientes empresariais, que, mais do que nunca, geram uma grande quantidade de dados. Ou seja, a clássica carga de dados de um repositorio (.csv por exemplo) para o banco de dados.

Projeto e Conteúdo

Nesse exemplo, é feito uma carga de dados vinda de um arquivo CSV para uma tabela que representa um cadastro de cliente, com informações de nome, email, sexo e cidade.

Pré-requisitos

integration

Você pode instalar o SQL Server Integration Services nas seguintes configurações:

  • Instalar o SQL Server Integration Services em um computador que não possui instâncias anteriores do SQL Server.
  • Instalar o SQL Server em uma instância existente do Integration Services.
  • Instale o SQL Server Data Tools, para desenvolvimento no visual studio 2017/2019
  • O caminho é Arquivo > Novo > Business Intelligence > Integration Services > Integration Services Project

visualstudio

Connection

O primeiro passo é criar a connection com a base de dados, nesse exemplo a conexão é feita com OLEDB para o banco de dados CadastroDB. O script para criação das tabelas esta na pasta script desse repositório.

connection

Para buscar as informações, disponibilizei um arquivo CSV com dados fake para carga. O delimitador do arquivo é ponto e virgula (;).

flatfile

Para facilitar a reutilização de código, criei a parametrização do ETL. Nesse exemplo parametrizei a servername, username e password. Essa parametrização é importante pois, caso a senha do banco de dados mude será necessario alterar apenas um campo parametros e não todas as connections dentro do ETL. É muito comum no ambiente produtivo o analista de suporte ter acesso para alterar o valor dos parametros, facilitando assim as manutenções futuras.

Para fazer esssa parametriação, clique com o botão direito na connection e clique em parametrizar.

parametize

Você pode consultar os parametros na aba da direita Project-params. É possivel parametrizar na granularidade de projeto ou por DTSX.

parametros

Conversor

É muito comum a necessidade de conversão de dados em carga de informações, por exemplo: modelo de data, limitação de tamanho de campo e conversão de encoding. Nesse caso inclui um componente de conversão apenas para exemplificar.

conversao

Fluxo

O resultado final fica assim:

flow

O arquivo data.csv tem os dados para cadastro da tabela de cliente. Ele contém informações fake para representar um ambiente realistico. O script para criação das tabelas é o CadastroDB.sql

select

Publicação

Execute o package file no catálogo de Integration service catalog usando este comando (correspondendo a versão do SQL Server à sua versão instalada):

dtexec /F Package.dtsx

Suporte

Por favor entre em contato conosco via [Email]

integrationservices's People

Contributors

fabiodelgadopereira avatar

Stargazers

annoyed-droid avatar  avatar  avatar  avatar  avatar

Watchers

James Cloos avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.