Claro, os dados em tempo real agora estão ‘democratizados’, mas é apenas o começo
Sem dúvidas, a democratização dos dados em tempo real está em alta, mas é apenas o início
Os dados em tempo real parecem estar em toda parte – em realidade aumentada, gêmeos digitais, 5G, IoT, IA, aprendizado de máquina, wearables e tecnologia de beacons. É compreensível pensar que as empresas de hoje estão transmitindo dados em tempo real em todas as áreas vitais. Estamos chegando lá – em grande parte graças a muitas soluções de código aberto, como Apache Flink, Kafka, Spark e Storm, bem como plataformas baseadas em nuvem. No entanto, ainda há muito trabalho a ser feito antes de alcançarmos o ponto em que os dados se movem através das organizações em uma velocidade impressionante ou algo próximo disso.
Primeiro, um entendimento, cortesia de John Rydning, da IDC: “Frequentemente, os termos dados em streaming e dados em tempo real são usados em conjunto e às vezes de forma intercambiável. Embora nem todos os dados em streaming sejam em tempo real, e nem todos os dados em tempo real sejam transmitidos, as organizações indicam que mais de dois terços dos casos de uso de streaming requerem dados ultra em tempo real ou em tempo real.”
Também: Todo projeto de IA começa como um projeto de dados, mas é um caminho longo e sinuoso
Até mesmo os dados ultra em tempo real estão em uso – e as empresas estão ansiosas para que isso funcione. “O entendimento do valor da captura e processamento de dados em tempo real está crescendo a uma velocidade impressionante”, diz Avtar Raikmo, diretor de engenharia da Hazelcast. “Com as plataformas retirando a complexidade do usuário ou engenheiro individual, isso acelerou a adoção em toda a indústria. Inovações como suporte a SQL ajudam a democratizar e fornecer acesso fácil para a grande maioria, em vez de apenas alguns selecionados.”
Há uma ampla gama de casos de uso, incluindo “processamento de áudio e vídeo em tempo real, visão computacional para processamento de IA e aprendizado de máquina, ou até mesmo fones de ouvido com cancelamento ativo de ruído”, diz Raikmo. Outro caso de uso emergente são os gêmeos digitais, especialmente para mobilidade. “Ser capaz de capturar dados e telemetria em tempo real de carros, caminhões ou foguetes permite que as organizações modelem cenários à medida que ocorrem. Os gêmeos digitais podem ser usados para otimizar rotas reais, energia utilizada ou melhorias na direção assistida. No mundo dos esportes, estrategistas da Fórmula 1 determinam a parada nos boxes ideal e os compostos de pneus para maximizar o desempenho na corrida.”
- Compre uma associação ao Costco e ganhe um cartão-presente de $40 g...
- 8GB de RAM no MacBook Pro M3 prova ser o gargalo nos testes do mund...
- Mais de 100 ofertas do Black Friday da Best Buy acabaram de entrar ...
No entanto, há muitos problemas técnicos e organizacionais que impedem a realidade dos dados em tempo real – ou ultra em tempo real. “Implantações de dados em tempo real geralmente usam tecnologias de alto desempenho que atendem aos grandes volumes e análises rápidas necessárias para tomadas de decisão instantâneas”, diz Emma McGrattan, vice-presidente sênior de engenharia e produto da Actian. “Para os volumes muito grandes que alguns setores, como serviços financeiros, tendem a gerar, migrar para o tempo real exigirá investimento em recursos adicionais para hardware, software e componentes de rede.”
Também: Como a IA remodela a indústria de TI será ‘rápida e drástica’
São necessários investimentos para “aumentar a disponibilidade e confiabilidade da infraestrutura e serviços de dados”, diz McGrattan. “Para volumes menores, a infraestrutura existente provavelmente poderá ser utilizável, com modificações nas aplicações para análise e implantação em tempo real.”
O processo de captura, visualização e armazenamento de dados em tempo real requer “investimentos substanciais em componentes de infraestrutura capazes de lidar com fluxos de dados pesados e complexos”, diz Rakesh Jayaprakash, chefe de gestão de produtos da ManageEngine e Zoho. “Isso é especialmente verdade quando os fluxos de dados em tempo real exigem algum nível de pré-processamento. Infelizmente, muitas organizações, especialmente as pequenas e médias, não possuem a infraestrutura necessária para lidar com um processamento tão intensivo.”
Muitas infraestruturas de empresas não estão prontas, e tampouco as organizações em si. “Algumas ainda não entendem ou não veem o valor do tempo real, enquanto outras estão totalmente comprometidas, com soluções projetadas para streaming em toda a organização”, diz Raikmo. “Combinar conjuntos de dados em movimento com técnicas avançadas como marca d’água e janelamento não é uma tarefa trivial. Isso requer correlacionar múltiplos fluxos, combinar os dados em memória e produzir conjuntos de resultados fusionados e mantidos em estado, em escala empresarial e com resiliência.”
Também: A revolução do tempo real está aqui, mas está distribuída de forma desigual
A boa notícia é que nem todos os dados precisam ser transmitidos ou entregues em tempo real. “As organizações frequentemente caem na armadilha de investir em recursos para tornar cada ponto de dados que visualizam em tempo real, mesmo quando não é necessário”, aponta Jayaprakash. “No entanto, essa abordagem pode levar a custos exorbitantes e se tornar insustentável.”
“Enquanto visualizar dados em tempo real é mais atrativo do que analisar dados que têm alguns minutos de atraso, você deve avaliar cuidadosamente a relação custo-benefício e o retorno sobre o investimento associados à construção de fluxos e visualizações de dados em tempo real”, diz Jayaprakash. “Além disso, as organizações devem exercer due diligence na seleção das métricas que desejam transmitir em tempo real.”
A especialista da IDC, Amy Machado, argumenta que é necessário considerar cuidadosamente o que precisa ser entregue em tempo real: “Eu sempre digo, ‘Deixe o caso de uso guiar'”, escreve ela em um post de blog. “Ele deve direcionar como você pensa sobre a arquitetura em tempo real, que idealmente é uma expansão do seu framework existente para evitar a criação de silos de dados.”
Também: Líderes empresariais continuam a lutar para aproveitar o poder dos dados
Machado enumera questões-chave a serem feitas sobre a entrega de dados em tempo real:
- “Quais são os benefícios comerciais que esperamos alcançar?”
- “Que insights precisamos para alcançar essas metas?”
- “Quem precisa desses insights e onde eles precisam deles?”
- “Que outros sistemas precisamos integrar para contexto ou para operacionalizar esses insights?”
Para otimizar os investimentos em dados em tempo real, “selecione cuidadosamente as métricas que realmente requerem relatórios em tempo real”, aconselha Jayaprakash. “A natureza complexa da infraestrutura necessária para operar e manter fluxos de dados em tempo real introduz pontos potenciais de falha, exigindo uma equipe dedicada para solução de problemas e manutenção. Para mitigar problemas de continuidade de dados resultantes de falhas nos fluxos, você precisa implementar mecanismos à prova de falhas, o que aumenta os custos gerais.”
