Blog do Eduardo

Tecnologia, Inovação, Negócios e muito mais...

Compreendendo o Data Engine do Tableau

Entenda como funciona o Hyper do Tabelau

  • 22 de Outubro de 2019 às 12:00
Capa Post

A forma como o Tableau armazena e trata os dados ainda não é algo extremamente compreendido mesmo pelos melhores desenvolvedores. Isso se da devido aos detalhes desta tecnologia não ser totalmente aberta, porém neste post tentarei elucidar melhor com esta tecnologia funciona. Logico que estamos falando do Hyper, uma tecnologia que visa armazenar os dados e garantir uma alta performance para leitura e a realização de cálculos das métricas em tempo real.  O Tableau começou a suportar o Hyper a partir da versão 10.5, substituindo o mecanismo de manipulação de dados anterior, primeiro apenas para extrações.

O que torna o Hyper tão rápido? Vamos dar uma olhada embaixo do capô!

Tudo começou originalmente como uma pesquisa realizada na Universidade de Munique em 2008 com o algoritmo base para a criação do Hyper, gerou um grande sucesso na academia e começou a despertar interesse da indústria. Em 2016 o Tableau adquiriu os direitos. Durante os experimentos com Hyper, notou-se que o Engine escrito em C era mais rápido que qualquer outro sistema de Banco de Dados atuais.

Hyper foi criado com os seguintes objetivos:

  • Ser um Sistema de Banco de Dados de proposito geral que combina Processamento de Transações, Ingestão de Dados e Análise de Dados;
  • Processamento de Transações, Ingestão de Dados e Análise de Dados em um único estado;
  • Sem ter que escolher entre características do transacional tradicional ou suporte à linguagem SQL.
  • Obter escala com o Hardware disponível para permitir um ganho de performance

Benefícios em utilizar o Hyper

  • Trabalhar com uma quantidade enorme de dados sem abrir mão da performance
  • Extrações e atualizações mais rápidas a base de dados
  • Aumento de escalabilidade real e performance

O Segredo do Hyper

Se pudessemos atribuir o seu ótimo desempenho em uma palavra seria paralelismo. Com o aprimoramento na criação e na atualização de extrações e sua capacidade de processar conjuntos de dados ainda maiores possibilitam aos usuários gerar extrações de dados de acordo com suas necessidades empresariais, sem se preocuparem com as limitações dos agendamentos. Além disso, o Hyper é capaz de executar consultas em grandes volumes de dados em segundos. Com seu desempenho de consultas aprimorado, a abertura de painéis complexos é otimizada, o processamento dos filtros ficou mais rápido e a inclusão de novos campos nas visualizações é praticamente instantânea. O Hyper também ajuda os usuários do Tableau a escalonar suas extrações para um uso mais amplo, aproveitando os avanços do mais recente processador com vários núcleos e empregando novas técnicas de paralelização de carga de trabalho. Utiliza bastante de processamento em memória, desenvolvido para cargas de trabalho relacionadas a transações e análises e que não compromete o desempenho.

Entretanto temos um problema! O Tableau ainda precisa primeiro converter as consultas em código, otimizá-lo, compilá-lo em código de máquina e ai sim ser executado. Portanto, a grande questão é: ainda é mais rápido? Sim isso é um mito! Muitos testes no Tableau Public e em outras pastas de trabalho provaram isso, e isso ainda não é tudo!

Se houver uma consulta estimada como mais rápida se executada sem a compilação do código de máquina, o Tableau possui sua própria VM na qual a consulta será executada imediatamente. Além disso, o Hyper pode utilizar 99% das CPUs, enquanto outros processos paralisados podem utilizar apenas 29% de todas as CPUs disponíveis. Isso se deve à técnica única e inovadora de paralelismo acionado em “pedaços”.

Conclusão

Aproveitando as mais modernas técnicas de otimização de consulta e um sistema único de armazenamento em colunas para todas as cargas de trabalho, o Hyper diminui a distância entre os usuários e seus dados.

Referências

Blog em protuguês sobre o Hyper: https://www.tableau.com/pt-br/about/press-releases/2018/tableau-launches-hyper-new-data-engine-technology-delivering-unprecedented

Vídeo Lançamento do Hyper:  https://www.youtube.com/watch?v=h2av4CX0k6s

Business Intelligence Design Pattern Tableau
  • COMENTÁRIOS: 0 Seja o primeiro a comentar!

Você tem o permissão de:

Compartilhar: copiar e redistribuir o material em qualquer suporte ou formato.

Adaptar: remixar, transformar, e criar a partir do material para qualquer fim, mesmo que comercial.

Esta licença é aceitável para Trabalhos Culturais Livres. O licenciante não pode revogar estes direitos desde que você respeite os termos da licença.


Blog do Eduardo - Todos os direitos reservados © 2020 Licença Creative Commons