Como construir uma equipe de dados eficiente para trabalhar com dados públicos da web

Construindo uma equipe eficiente para dados públicos da web

O tópico de como montar uma equipe de dados eficiente é uma questão altamente debatida e frequentemente discutida entre especialistas em dados. Se você está planejando construir um produto orientado por dados ou melhorar o seu negócio existente com a ajuda de dados da web pública, você precisará de especialistas em dados.

Este artigo abordará os princípios-chave que tenho observado ao longo da minha experiência trabalhando na indústria de dados da web pública, que podem ajudá-lo a construir uma equipe de dados eficiente.

Por que não há uma receita universal para auxiliar com dados da web pública?

Embora ainda não tenhamos encontrado uma receita universal para auxiliar dados da web pública – a boa notícia é que existem várias maneiras de abordar esse assunto e ainda obter os resultados desejados. Aqui exploraremos o processo de construção de uma equipe de dados pela perspectiva de líderes empresariais que estão apenas começando com dados da web pública.

O que é uma equipe de dados?

Uma equipe de dados é responsável por coletar, processar e fornecer dados aos interessados no formato necessário para os processos de negócios. Essa equipe pode ser incorporada a um departamento diferente, como o departamento de marketing, ou ser uma entidade separada na empresa.

O termo equipe de dados pode descrever uma equipe de qualquer tamanho, de um a dois especialistas a uma equipe multinível extensa que gerencia e executa todos os aspectos das atividades relacionadas a dados na empresa.

Por onde começar?

Existe um princípio simples que recomendo às empresas que trabalham com dados da web pública: uma equipe de dados eficiente trabalha em alinhamento com as necessidades do seu negócio. Tudo começa com o produto que você irá construir e os dados necessários.

Em termos simples, toda empresa que planeja começar a trabalhar com dados da web precisa de especialistas que possam coletar e processar grandes quantidades de dados e aqueles que possam transformar os dados em informações valiosas para o negócio. Geralmente, a etapa de transformação é quando os dados começam a criar valor para seus usuários.

Para chegar a essa etapa, uma pequena empresa pode até começar com um especialista.

A primeira contratação pode ser um engenheiro de dados com habilidades analíticas ou um analista de dados com experiência em trabalhar com big data e engenharia de dados leve. Ao construir algo mais complexo, é essencial entender que os dados da web pública são essencialmente usados para responder a perguntas de negócios, e o processamento de dados da web é tudo sobre iterações.

Independentemente da complexidade do seu produto, você sempre começa adquirindo uma grande quantidade de dados.

Iterações posteriores podem incluir dados agregados ou enriquecendo seus dados com dados de fontes adicionais. Em seguida, você os processa para obter informações, como insights específicos. Como resultado, você obtém informações que podem ser usadas em processos subsequentes, como suporte à tomada de decisões de negócios, construção de uma nova plataforma ou fornecimento de insights aos clientes.

A resposta para qual equipe de dados você precisa está conectada às ferramentas que você estará usando,

Ao olhar de uma perspectiva de produto, a resposta para qual equipe de dados você precisa está conectada às ferramentas que você estará usando, o que também depende dos volumes de dados que você estará usando e de como eles serão transformados. A partir dessa perspectiva, posso dividir a construção de uma equipe de dados em três cenários:

Cenário 1. Você trabalha com ferramentas semi-automatizadas ou totalmente automatizadas que não exigem personalização e habilidades específicas. Especialistas em dados de nível júnior podem até lidar com algumas tarefas.
Cenário 2. Algumas operações ou processos de transformação de dados exigem trabalho de desenvolvimento fora das ferramentas que você está usando.
Cenário 3. Você não pode usar as opções mencionadas acima porque seu produto requer personalização completa. Nesse caso, você poderia usar software de código aberto e construir tudo do zero com base nas necessidades exatas do seu produto.

Qual é o seu produto e visão para construir uma equipe de dados eficiente?

No final das contas, o tamanho da sua equipe de dados e quais especialistas você precisa dependem do seu produto e da visão para ele. Nossa experiência na construção da equipe de dados da Coresignal nos ensinou que o princípio-chave é combinar as habilidades da equipe com as necessidades do produto, independentemente do nível de senioridade dos especialistas.

Quantos cargos de dados existem em uma equipe de dados?

A resposta curta para essa pergunta é “Depende.” Quando se trata da classificação de cargos de dados, há muitas maneiras de abordar essa questão. Novos cargos surgem e as fronteiras entre os existentes às vezes podem se sobrepor.

Vamos abordar os cargos mais comuns em equipes que trabalham com dados da web pública. Em minha experiência, a estrutura das equipes de dados está relacionada ao processo de trabalhar com dados da web, que consiste nos seguintes componentes:

Obtendo dados do sistema de origem;
Engenharia de dados;
Análise de dados;
Ciência de dados.

Em seu artigo publicado em 2017, a conhecida cientista de dados Monica Rogati introduziu o conceito da hierarquia das necessidades de ciência de dados em uma organização. Isso mostra que a maioria das necessidades relacionadas à ciência de dados em uma organização está relacionada às partes do processo na base da pirâmide – coletar, mover, armazenar, explorar e transformar os dados. Essas tarefas também estabelecem uma base sólida de dados em uma organização. As camadas superiores incluem análise, aprendizado de máquina (ML) e inteligência artificial (IA).

No entanto, todas essas camadas são importantes em uma organização que trabalha com dados da web e requerem especialistas com um conjunto de habilidades específicas.

Engenheiros de dados

Os engenheiros de dados são responsáveis por gerenciar o desenvolvimento, implementação e manutenção dos processos e ferramentas usadas para a ingestão de dados brutos, a fim de produzir informações para uso posterior, como análises ou aprendizado de máquina (ML).

Ao contratar engenheiros de dados, a experiência geral de trabalho com dados da web e a especialização no uso de ferramentas específicas geralmente estão no topo da lista de prioridades. Você precisa de um engenheiro de dados nos cenários 2 e 3 mencionados acima e no cenário 1, caso decida começar com um especialista.

Analistas de dados (ou de negócios)

Os analistas de dados se concentram principalmente em dados existentes para avaliar o desempenho de um negócio e fornecer insights para melhorá-lo. Você já precisa de analistas de dados nos cenários 1 e 2 mencionados acima.

As habilidades mais comuns que as empresas procuram ao contratar analistas de dados são SQL, Python e outras linguagens de programação (dependendo das ferramentas utilizadas).

Cientistas de dados

Os cientistas de dados são principalmente responsáveis por análises avançadas que se concentram em fazer previsões ou fornecer insights futuros. As análises são consideradas “avançadas” se forem usadas para criar modelos de dados. Por exemplo, se você quiser trabalhar com dados sobre empresas analisando seus perfis públicos. Você deseja identificar a porcentagem de perfis empresariais em seu banco de dados que são falsos. Através de várias iterações de várias camadas, você deseja criar um modelo matemático que permita identificar a probabilidade de um perfil falso e categorizar os perfis analisados com base em critérios específicos. Para esses casos de uso, as empresas geralmente contam com cientistas de dados.

As habilidades essenciais para um cientista de dados são matemática e estatística, necessárias para a construção de modelos de dados, e habilidades de programação (Python, R). Provavelmente, você precisará de cientistas de dados no cenário três mencionado acima.

Engenheiro de análise

Essa função relativamente nova está se tornando cada vez mais popular, especialmente entre empresas que trabalham com dados públicos da web. Como o próprio título sugere, o papel de um engenheiro de análise está entre um analista, que se concentra em análises, e um engenheiro de dados, que se concentra em infraestrutura. Os engenheiros de análise são responsáveis por preparar conjuntos de dados prontos para análise, que geralmente são realizadas por analistas de dados ou cientistas de dados, e garantir que os dados estejam prontos para a análise em tempo hábil.

SQL, Python e experiência com ferramentas necessárias para extrair, transformar e carregar dados estão entre as habilidades essenciais necessárias para os engenheiros de análise. Ter um engenheiro de análise seria útil nos cenários 2 e 3 mencionados acima.

Três coisas para se ter em mente ao montar uma equipe de dados

Como existem muitas abordagens diferentes para a classificação de funções de dados, também existem várias estruturas que podem ajudá-lo a montar e expandir sua equipe de dados. Vamos simplificar para um começo fácil e dizer que existem diferentes perspectivas pelas quais uma empresa pode avaliar qual equipe será necessária para começar com dados da web.

Perspectiva de dados

Estou me referindo aos dados da web neste artigo como big data. Grandes quantidades de registros de dados geralmente são entregues a você em arquivos grandes e formato bruto. Seria melhor ter especialistas em dados com experiência em trabalhar com grandes volumes de dados e as ferramentas usadas para processá-los.

Perspectiva de tecnologia

Quando se trata de ferramentas, você deve considerar que as ferramentas que sua organização usará para lidar com tipos específicos de dados também moldarão quais especialistas você precisará. Se você precisa se familiarizar mais com as ferramentas necessárias, consulte um especialista antes de contratar uma equipe de dados ou contrate profissionais para ajudá-lo a selecionar as ferramentas certas, dependendo das necessidades do seu negócio.

Perspectiva organizacional

Você também pode começar a montar uma equipe de dados avaliando com quais partes interessadas os especialistas em dados trabalharão em estreita colaboração e decidindo como essa nova equipe se encaixará em sua visão da estrutura organizacional. Por exemplo, a equipe de dados fará parte da equipe de engenharia? Essa equipe se concentrará principalmente no produto? Ou será uma entidade separada na organização?

Organizações que possuem um nível de maturidade de dados mais avançado e estão desenvolvendo um produto que é alimentado por dados analisarão essa tarefa por meio de uma perspectiva mais complexa, que envolve a visão futura da empresa, alinhando-se à definição de dados em toda a organização, decidindo quem e como gerenciará os dados e como a infraestrutura geral de dados se parecerá à medida que o negócio cresce.

O que torna uma equipe de dados eficiente?

A equipe de dados é considerada eficiente enquanto atende às necessidades do seu negócio e, quase em todos os casos, a eficiência da equipe de dados está relacionada ao tempo e ao dinheiro.

Portanto, você pode confiar em métricas como a quantidade de dados processados durante um período específico ou a quantidade de dinheiro gasta. Desde que você acompanhe essa métrica em intervalos regulares, a próxima coisa que você deseja observar é a dinâmica dessas métricas. Em termos simples, se sua equipe estiver conseguindo processar mais dados com a mesma quantidade de dinheiro, significa que a equipe está se tornando mais eficiente.

Outro indicador de eficiência que combina o mencionado anteriormente é o quão bem sua equipe está escrevendo código, porque você pode ter muitos recursos e realizar iterações rapidamente, mas erros significam mais recursos gastos.

Além das métricas que são fáceis de rastrear, um dos problemas mais comuns que as empresas enfrentam é a confiança nos dados. Confiança nos dados é exatamente o que parece. Embora haja uma maneira de rastrear o tempo necessário para realizar tarefas relacionadas a dados ou ver quanto custa, os interessados ainda podem questionar a confiabilidade dessas métricas e dos dados em si. Essa confiança pode ser negativamente impactada por experiências negativas como incidentes anteriores ou simplesmente pela falta de comunicação e informação dos proprietários dos dados.

Além disso, trabalhar com grandes volumes de dados significa que identificar erros é uma tarefa complexa. Ainda assim, a organização deve ser capaz de confiar na qualidade dos dados que utiliza e nos insights que produz usando esses dados.

É útil realizar testes estatísticos que permitam à equipe de dados avaliar as métricas quantitativas relacionadas à qualidade dos dados, como taxas de preenchimento. Com isso, a organização também pode acumular dados históricos que permitirão à equipe de dados identificar problemas ou tendências negativas a tempo. Outro princípio essencial a ser aplicado em sua organização é ouvir o feedback do cliente em relação à qualidade de seus dados.

Resumindo, tudo se resume a ter especialistas talentosos em sua equipe de dados que possam trabalhar rapidamente, com precisão e construir confiança em torno do trabalho que estão fazendo.

Conclusão

Para resumir tudo, aqui estão algumas perguntas úteis para ajudar você a montar uma equipe de dados:

Qual é o seu produto?
Que dados você estará usando?
Quais são os principais componentes do produto que envolvem dados?
Quais são os resultados esperados em diferentes estágios do projeto envolvendo dados?
Que conjunto de tecnologias será necessário para isso?
Quem são os interessados?
Quais indicadores ajudarão você a avaliar se sua equipe de dados atual atende às necessidades do seu negócio?

Espero que este artigo tenha ajudado você a entender melhor os diferentes papéis de dados que são comuns em organizações que trabalham com dados da web pública, por que eles são essenciais, quais métricas ajudam as empresas a medir o sucesso de suas equipes de dados e, finalmente, como tudo isso está conectado à maneira como sua organização pensa sobre o papel dos dados.

Crédito da imagem apresentada: Foto de Sigmund; Fornecida pelo autor; Do Unsplash; Obrigado!