Convidando a todos para conhecer um pouco mais sobre o paradigma da década, as tecnologias empregadas no desenvolvimento de uma solução de Lake House.

Afinal, o que é um Lake House?

Lake House é o novo termo no paradigma de arquitetura de plataforma de dados, sendo a combinação do Data Lake com o Data Warehouse.

Em outras palavras, você não precisa carregar os dados em nenhum data warehouse para processar e analisar. Você pode consultar diretamente os dados subjacentes em seu data lake construido com armazenamento de objetos. Este método diminui a sobrecarga operacional no pipeline e manutenção.

Vantagem do Lake House

Algumas das vantagens de ter um Lake House são:

Eliminação de parte dos trabalhos de ETL

Na técnica de Data Warehousing, os dados devem ser carregados no Data Warehouse para serem consultados/analisados. Seguindo esta idéia, temos movimentado os dados do Data Lake para o Data Warehouse, usando alguma ferramenta de ETL. Mas, usando o Lake House, essa etapa do processo de ETL será eliminada, conectando o mecanismo de consulta/análise diretamente ao seu Data Lake.

Redundância de dados reduzida

Da mesma forma que eliminamos boa parte dos trabalhos de ETL, Lake House remove também boa parte da redundância de dados, pois não há necessidade de movimentar os dados para um Data Warehouse afim de  consultar/analisar os dados, esses, podem ser conectados diretamente através das ferramentas de Business Intelligence e Data Science.

Facilidade de governança de dados

Lake House pode eliminar a sobrecarga operacional de gerenciamento de governança de dados em várias ferramentas. Se você estiver lidando com dados confidenciais, deve ter cuidado ao transferir dados de uma ferramenta para outra, para que cada ferramenta possa manter os controles de acesso e criptografia adequados. Mas se você usar uma única solução, o gerenciamento de governança de dados pode ser feito de um único ponto.

Conecte-se diretamente a ferramentas de Business Intelligence

Lake House permite que ferramentas como Athena e Redshift ofereçam suporte à conexão direta com algumas das principais ferramentas de Business Intelligence do mercado, como Power BI, Qlik Sense, Quicksight e Tableau. Isso certamente oferece uma brevidade de entrega de dados aos usuários de negócios muito maior.

Redução de custos

Olhando para soluções desacopladas de Data Lake e Data Warehousing, os dados estão armazenados em vários locais e o custo desse armazenamento possivelmente é alto. Comparando com o Lake House podemos armazenar os dados em locais mais baratos, como o armazenamento de objetos, por exemplo, o S3.

Por que os cientistas de dados adoram o Lake House?

Os cientistas de dados adoram trabalhar com os dados brutos para que possam obter mais insights do padrão de dados e desenvolver os modelos a partir deles. Lake House permite esta atuação, pois oferece aos cientistas de dados acesso aos dados brutos. Desta forma eles obtém uma superpotência para construir suas lógicas de transformação e técnicas de limpeza após entender os insights estatísticos básicos e a qualidade dos dados brutos.

Venha conosco conhecer as principais ferramentas da AWS empregadas no desenvolvimento de uma solução de Lake House, como também o uso de ferramentas Open Source complementando o desenvolvimento da solução.

Profissional com mais de 20 anos dedicados ao desenvolvimento de projetos de Data Warehouse, Business Intelligence e Data Lake, trabalhou no principal parceiro da Business Objects no Brasil, passou pela americana Sagent (a Pitney Bowes company) como consultor pre-venda LATAM e desenvolveu ao longo deste período inúmeros projetos em empresas como Porto Seguro, Intermédica, Pfizer, Secretaria de Edução de SP, USP, Unibanco, Ambev e GPS. Atualmente é Sócio Diretor da Openin Big Data, profissional certificado Pentaho e instrutor.

Garanta sua inscrição! As vagas são limitadas, então reserve já o seu lugar nesse evento imperdível!