Descobrindo seus ativos de dados: Data Profiling

Tenho visto pelas empresas nas quais já trabalhei que há muitas informações que são carregadas integralmente e utilizadas em parte. Há muitas bases de dados que são operacionais no dia-a-dia porém, não há um conhecimento razoável e atualizado delas. Isso impacta desde a manutenção deste ambiente de dados até privar a visibilidade do negócio de inovar e descobrir novos potenciais nos seus ativos de dados.
Pois bem, a boa notícia é que há técnicas, ferramentas e até frameworks para nos servir como guias no desafio de mudar esta situação. Por isso, hoje vamos falar um pouco de: Data Profiling.

Antes de gastar milhares de dólares em ferramentas, vamos refletir sobre nossa necessidade: Onde queremos chegar? O que realmente precisamos?
Se for um dos pontos no mapa abaixo, o profiling será o melhor caminho:

 data profiling

Estes resultados do profiling podem ser utilizados para diversos fins, destacando-se entre eles:
– Base para validar as especificações dos ativos de dados;
– Desmistificação dos ativos de dados quando do inicio de projetos de integração de dados;
– Levantamentos e avaliações da qualidade dos dados;

Os ganhos em manter atualizada a espeficiação dos ativos de dados é muito importante para a organização. Possibilita a disseminação do conhecimento através das áreas de negócio e também uma maior agilidade nas áreas de IT e BI. Este é o alicerce mais importante dos ativos de dados entretanto não pode ser considerado uma solução em si mesmo. Para manter as especificações dos ativos de dados atualizadas e, aquelas que derivam desta seguindo o mesmo padrão, a bagagem de procesos para viabilizar este objetivo é grande. Não há uma solução padrão, porém ao realizar um profillng com vistas à atualizar as informações dos ativos de dados, deve-se prever os trabalhos de organização e processos.
A importância do data profiling na estimativa ou estudo preliminar antes de um projeto é também fundamental. Em geral, sabemos que os projetos que envolvem a gestão de informações não são baratos. Muitas vezes até são concebidos como heróis responsáveis por uma transformação da empresa. Não há como investir grandes quantias num terrenos obscuro. O foco aqui não é o quanto custa o que vamos criar, seja um relatório ou um novo e revolucionário Data Mart, mas sim garantir que nosso ativo de dados esta pronto para nos fornecer as informações de que necessitamos.
Algumas dimensões de qualidade também costumam emergir após um data profiling. Elas nos ajudam a iniciar o trabalho de medir a qualidade dos dados. Integridade, consistência entre outras dimensões são fortes candidatas à serem extraídas do resultado do profiling para o início do processo de acompanhamento da qualidade de dados. Os medidores da qualidade de dados não são uma solução em si mas a principal entrada para o framework de qualidade de dados, em especial neste caso a parte de “issues remediation” ou em português, solução/endereçamento de problemas.

Até o próximo artigo!
Comente, compartilhe e ajude assim a trazermos cada vez mais artigos que ajudem no dia-a-dia da gestão de dados.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s