Blog

Nossas integrações são desenvolvidas com um sistema de ETL chamado Pentaho Data Integration ou PDI para os íntimos, rs!
Um sistema de ETL é capaz de extrair, transformar e carregar dados. O PDI faz tudo isso e muito mais…

O PDI é uma ferramenta low-code desenvolvida em JAVA que entrega um desenvolvimento rápido através de seus diversos componentes. Para cada necessidade existe um componente que precisa ser apenas configurado para fazer aquilo que precisamos. Desenvolvemos com ele clicando, arrastando e configurando os componentes para dentro das transformações. Também temos a oportunidade de usar a linguagem JavaScript para trazer mais dinamismo e possibilidades aos nossos projetos.

Por ser uma ferramenta de ETL possui as características de Extração, Transformação e Carga de Dados.

Extração

Com ele conseguimos extrair dados de diversas fontes diferentes entre elas:
• Bancos de dados – Relacionais ou Não relacionais (NoSql)
• Arquivos texto – csv, txt, posicionais ou delimitados
• Planilhas – xls, xslx, com uma ou varias abas
• FTPs – SFTPs também
• APIs – REST ou SOAP
• Sistemas web – a partir de APIs utilizando vários protocolos como oAuth 2.0
• E-mails, entre outros.

Depois que os dados são extraídos de suas fontes muitas vezes precisamos transformá-los. Fazer cálculos, agregações, concatenações, separações de dados ou novas consultas em outras fontes de dados.

O PDI entrega uma série de componentes prontos para fazer estas e muitas outras funções de transformação e, caso você não encontre algum componente pronto que supra suas necessidades, você pode criar sua transformação personalizada utilizando as funções internas do PDI ou então a linguagem JavaScript. Aqui o céu é o limite!

Carga
Com os dados extraídos e transformados só resta carregá-los no sistema destino. E a gama de componentes que nos auxiliam com isso é extensa. As mesmas possibilidades que apresentamos na extração, também temos na carga. Nos dando oportunidade de integrar dados entre os mais diversos tipos de sistema.

Agora que entendemos o que é o PDI podemos ter noção das possibilidades que temos de atender a vários tipos de projetos. Aqui na BLP.IT já fizemos diversos tipos de integração com o PDI, segue abaixo alguns exemplos:

• ERP x ecommerce
• ERP x CRM
• ERP x Força de Vendas
• ERP x ERP
• Planilha x sistema Web
• Arquivo csv x Banco de dados
• Banco de dados x Banco de Dados
• API x API
• API x Banco de Dados
• FTP x API

Manutenção e Reutilização
Por ser um sistema low-code, componentizado e visual, a manutenção dos projetos se torna algo simples, fácil e rápido, ao contrário de linguagens de programação que tomam muito mais tempo de análise e correção.

Para poder aproveitar todo o poder e benefícios que o PDI oferece, a BLP.IT também faz a reutilização ou componentização dos processos desenvolvidos. Todo nosso desenvolvimento é pensado e feito para ser reutilizado de forma a deixá-lo mais rápido e simples. Em resumo, desenvolvemos uma única vez um processo de integração e reutilizamos em todos os futuros projetos que acessam este mesmo sistema.

Trabalhamos de forma inteligente para entregar projetos cada vez melhores e mais ágeis, unindo o que há de melhor em boas práticas de desenvolvimento e produtividade!

Falaremos mais da nossa arquitetura de integração em um próximo post.

Até lá!