Engenharia, ciência ou análise de dados…O que muda?

Saiba o que faz e quais são as principais habilidades de cada um dos profissionais que trabalham na área de dados

Trabalho com dados há aproximadamente 13 anos. No início da minha trajetória profissional, quando procurava emprego nas plataformas de vagas, o termo “analista de BI” no meu perfil já me listava muitas oportunidades. De lá para cá, para dar conta da infinidade de dados que geramos, as atividades do analista de BI foram diluídas, ganharam outros nomes e deram origem a outras profissões. Hoje, a área de dados se divide basicamente entre engenheiros, cientistas e analistas, mas para os iniciantes, tantas possibilidades ainda podem ser confusas. Afinal, o que faz um analytics engineer? Quais habilidades eu preciso ter para trabalhar com engenharia de dados? O que diferencia um analista de um cientista de dados?

Neste artigo, vamos discutir um pouco da atuação de alguns dos profissionais de dados, passando desde a ingestão de dados no lake – isto é, a coleta e envio de dados em um repositório – até a entrega de insights para os stakeholders, mostrando quais são as diferenças de perfis, atividades e habilidades de cada área.

Engenheiro de dados

Quando falamos em engenharia logo pensamos em habilidades como planejar, construir, manter e melhorar; em dados não é diferente. O engenheiro de dados é responsável por projetar, implementar e manter a infraestrutura necessária para assegurar que o fluxo de dados funcione corretamente, garantindo segurança e performance de ponta a ponta.

Existem 3 etapas fundamentais para que o fluxo de dados aconteça. Em inglês, chamamos de ETL (Extract, Transform, Load. Ou seja, Extrair, Transformar e Carregar, em português):

• Extração: é a obtenção de dados de uma ou mais origens, como bancos de dados, arquivos em seus diversos formatos (csv, parquet, txt e etc) ou APIs – Application Programming Interface ou Interface de Programação de Aplicação, em português. Trata-se de um conjunto de rotinas e padrões que facilitam a comunicação e troca de informações entre sistemas. Essa etapa pode ser desafiadora, pois os dados podem estar armazenados em diferentes sistemas, com estruturas diferentes e até mesmo em formatos não estruturados – dados que não se apresentam de forma tabular, como textos ou logs.
• Transformação: uma vez que os dados foram extraídos, é preciso deixá-los uniformes, com formato e estrutura comuns. A transformação dos dados garante que eles estejam coerentes e prontos para a análise. Alguns exemplos de transformação de dados são: padronizar uma data no formato Dia(DD)/Mês(MM)/Ano(AAAA), colocar todos os campos de descrição, como nome próprios, em maiúsculo e sem acentuação, ou deixar os campos de valores com apenas duas casas decimais, R$100,00 em vez de 100.
• Carga ou Ingestão: é o processo de inserir os dados formatados em um sistema de armazenamento ou processamento, como um data warehouse ou um banco de dados analítico. Essa carga pode ser incremental, quando se adiciona apenas os dados atualizados, ou completa, que substitui todos os dados existentes sem considerar se foram ou não alterados.

A carga também pode envolver a criação de índices: um recurso importante no contexto do banco de dados, cuja função é acelerar o tempo de acesso a linhas de uma tabela; ou a criação das chaves estrangeiras, que consiste em um campo ou conjunto de campos que estabelece uma ligação entre duas tabelas de um banco de dados e outras estruturas necessárias para a análise dos dados.

E o que um engenheiro de dados deve saber para fazer tudo isso?

• Linguagens de programação: Python – uma das mais usadas na área –, Scala, R ou Java;
• Sistemas de armazenamentos e processos de dados em nuvem: como as plataformas da AWS (Amazon Web Services), Microsoft Azure ou GCP (Google Cloud Platform), que oferecem recursos de segurança, gerenciamento, armazenamento e processamento escalável de grandes volumes de dados na internet, ou seja, sem usar softwares ou hardwares instalados localmente, no computador do profissional.
• Modelagem de dados: etapa crucial na estruturação de modelos de bancos de dados, é o processo de diagramação do fluxo, ou seja, é nesse momento que se define as estratégias de um sistema de informação ou partes dele, como quais serão os sistemas de coleta e as etapas de transformação dos dados, de acordo com as regras e com a infraestrutura disponível.
• Banco de dados relacionais e não relacionais: diferem-se na forma como armazenam os dados. Os bancos de dados relacionais, ou SQL, armazenam dados seguindo esquemas específicos, pré-definidos e estruturados. Já os não relacionais, também conhecidos como NoSQL, permitem que os dados sejam armazenados, acessados e gerenciados de formas variadas.

Além de todo o conhecimento técnico, um engenheiro de dados também precisa das soft skills ou habilidades comportamentais. É essencial ser um bom comunicador, saber resolver problemas e conseguir traduzir as necessidades de um negócio em soluções eficientes.

Analista de dados

De nada adianta ter uma infraestrutura moderna e eficiente, se os dados não são usados para auxiliar na tomada de decisão dos times da organização. E esse é o papel do analista de dados.

Confesso que de todas as funções na área, esse é o perfil que ocupa um lugar bem especial no meu coração. O analista de dados é responsável por entender as demandas e as necessidades do negócio, e por transformar dados em informações, em insights valiosos que auxiliam na tomada de decisões estratégicas para a empresa.

Por isso é necessário que, além de uma visão ampla de negócios, o analista de dados tenha conhecimentos em:

• SQL: Structured Query Language, em inglês, ou Linguagem de Consulta Estruturada, em português. É uma linguagem de programação que permite armazenar, processar, pesquisar, atualizar e remover informações em um banco de dados relacional;
• Storytelling: técnica que consiste em usar informações geradas pelos dados para criar uma narrativa ou história que seja compreensível, interessante e envolva o público-alvo. Para isso, o storytelling pode se aproveitar de ferramentas de visualização de dados e ser usado em apresentações executivas.

• Capacidade analítica: o trabalho do analista de dados é voltado ao estudo de cenários, interpretação e observação de comportamentos. É fundamental que o profissional seja curioso e tenha a estatística como aliada na hora de analisar e interpretar os cenários de maneira detalhada e, dessa forma, entender como os dados impactam nos resultados na empresa;
• Comunicação: o analista de dados tem que ser capaz de se comunicar com as diversas áreas, criar relacionamentos e conexões de olho nas oportunidades e necessidades que surgem na empresa.

Analytics engineer (Engenheiro analítico)

É o profissional que combina o conhecimento técnico de um engenheiro de dados com a estratégia de negócios do analista de dados. Tem como objetivo, traduzir dados brutos e complexos em fontes confiáveis e inteligíveis, deixando-as prontas para o consumo dos usuários finais.

As habilidades buscadas nesse profissional são: conhecimento em Cloud e linguagens de programação, para transformar e estruturar grandes volumes de dados brutos em dados com contexto de negócios, e disponibilizá-los para o consumo de profissionais diversos da empresa.

Em suma, o dia do engenheiro analítico é trabalhar com modelagem de dados, escrever queries em SQL para organizar e estruturar os dados – essa etapa ocupa cerca de 80% de seu trabalho diário –, criar e manter documentações adaptando a comunicação para os diversos perfis (técnicos e não técnicos) da empresa.

Cientista de dados

Deixei o cientista de dados para o final de propósito, já que essa profissão é uma das que mais surfou no hype das “profissões mais sexy do século XXI” ou do “saiba o que faz o profissional que ganha até 20 mil reais”. Ciência de dados é, sim, uma carreira muito promissora e tem alta demanda no mercado para os próximos anos. Mas o que faz um cientista de dados?

O papel do cientista de dados é gerenciar, analisar e extrair insights a partir dos dados. Já deu para ver que existe muita semelhança com o trabalho do analista de dados, né? Mas há diferenças cruciais na atuação desses dois profissionais.

Enquanto o analista de dados foca no presente e em respostas rápidas para os problemas que surgem, o cientista de dados olha para o futuro e cria modelos preditivos. É essa capacidade de “prever o futuro” o principal motivo para que essa profissão seja uma das mais atrativas do mercado atual.

Os cientistas de dados devem ter habilidades avançadas em programação, estatística, matemática, SQL, visualização de dados, algoritmos de aprendizado de máquina ou machine learning, inteligência artificial, algoritmos de aprendizagem profunda, computação em nuvem e visão de negócios. São tantos requisitos que, por algum tempo, esses profissionais foram chamados de “Unicórnios”.

O que você precisa saber é que o objetivo do cientista de dados é gerar mudanças significativas em seu contexto. Por exemplo, os insights apresentados por esse profissional podem conduzir à otimização da receita, à eliminação de erros e à ações que ajudam a manter a sustentabilidade do negócio em que atuam.

Extra: o estrategista de dados

Agora que conhecemos as principais funções dentro da área de dados, vimos que precisamos de um profissional capaz de orquestrar todas essas etapas e garantir que toda a organização saiba dos resultados. Com isso um novo perfil profissional tem surgido com mais de um nome no mercado. Na Hotmart, empresa em que eu trabalho, chamamos de estrategista de dados.

O estrategista de dados facilita a comunicação entre diferentes times ou áreas da organização, dá apoio na coordenação de projetos de dados, e mantém os processos de governança e disseminação de dados para fortalecer a maturidade analítica da empresa. Ou seja, esse profissional é responsável por cobrir a lacuna e fazer a ponte entre a linguagem técnica utilizada entre os analistas, cientistas e engenheiros e a linguagem de negócios utilizada pelos tomadores de decisão.

Desta forma, o estrategista de dados deve ter habilidades em gestão de projetos, comunicação, liderança e pensamento crítico, além de conhecer as diversas áreas de dados, no geral.

Conclusão

Ter acesso aos dados torna as organizações mais competitivas e podem melhorar os processos de tomada de decisão das empresas e, com isso, surgem inúmeras oportunidades de atuação. O mais importante é entender que as empresas estão buscando pessoas que tenham capacidade de resolver problemas, por isso saber do negócio e buscar entender quais são as oportunidades dentro do seu contexto é o que vai te diferenciar dos demais profissionais.

De acordo com uma pesquisa realizada, a previsão é que o mercado global de big data cresça para US$273,4 bilhões até 2026, ou seja, temos muitas oportunidades dentro dessa área. Além disso, de acordo com pesquisa realizada pela comunidade Data Hackers, os salários dos profissionais de dados continuam em alta e acima da inflação, principalmente para os sêniores.

Para você que está começando agora, olhar todas essas habilidades e oportunidades pode assustar, mas se eu puder dar um conselho: comece pelo SQL. Essa é uma habilidade técnica necessária para qualquer uma das áreas de atuação em dados, e, a partir daí, aprenda as características do negócio da empresa em que trabalha e descubra o que te empolga.

A partir de tudo que falamos nesse post, fiz um resumo dos pontos principais:

• Aprenda SQL. Essa é a habilidade técnica necessária em todas as funções da área de dados;
• Entenda o negócio em que você atua e foque na resolução de problemas;
• Aprenda a se comunicar., Independe do nível que estiver, se não for claro, se não souber explicar os resultados encontrados em suas análises, metade do seu trabalho não estará feito;
• Seja uma pessoa curiosa. Todos os dias surgem novas tecnologias no mercado, procure referências em blogs, fóruns, comunidades, podcasts e tente entender como essa nova tecnologia pode te ajudar no trabalho;
• E por fim, mas não menos importante: Vá com calma! A área de dados não para e nunca vai parar. Aproveite a jornada de aprendizado e não desanime. Com certeza valerá a pena!

Espero ter ajudado.
Até a próxima!

Este conteúdo faz parte do PrograMaria Sprint IA e Dados.