Engenharia de dados: a hype do momento!

Leandro Lopes

Tanto na vida como na Tecnologia não podemos construir nada sem antes efetivamente entender os principais requisitos necessários para determinado projeto. Ou seja, fazer escolhas, principalmente as técnicas, podem ter consequências indesejadas e limitar as opções no futuro. Na verdade, antes mesmos das escolhas, é bom refletir sobre a proposta de valor de seu projeto ou plataforma e sobre as experiências que você deseja proporcionar aos clientes internos e/ou externos e ao mundo.

Sabemos que as preocupações ambientais, sociais e de governança (ESG) são primordiais nas empresas hoje em dia. Muitas estão buscando operar uma base neutra em carbono no futuro próximo e imediato. Vemos o desenvolvimento de habilidades de IA como uma parte fundamental desse processo, pois atua como um facilitador de engenharia de dados para criar sistemas mais eficientes nos quais as organizações podem operar de forma eficaz, lucrativa, mas acima de tudo, em uma base mais limpa e mais enxuta. 

Rumo à nuvem – seja ela qual for (pública, privada, híbrida e/ou multicloud)

Existe um forte movimento mundial das organizações colocarem seus dados e aplicações na nuvem em busca de escalabilidade, agilidade e alta disponibilidade. Mas essa iniciativa deve ser bem pensada e planejada - em termos de gestão, equipe capacitada e investimentos – pois é uma escolha que vai moldar o ambiente da sua organização nos próximos anos.

O desenvolvimento nativo da nuvem de aplicações corporativas e serviços de dados exige alto grau de conhecimento de engenharia de dados com objetivo de construir plataformas tecnológicas verdadeiramente funcionais – e que tenham agilidade suficiente para atender aos requisitos de negócios modernos.

É importante que as equipes de engenharia de plataforma - que se envolvem em tarefas e cargas de trabalho diárias de engenharia de dados - sejam capazes de usar um modelo operacional consistente para gerenciar com segurança clusters do Kubernetes em ambientes locais, híbridos e multicloud. Novamente, é tudo sobre que tipo de ferramentas de engenharia de dados podemos apresentar diante das principais evoluções da plataforma moderna, como a popularização e padronização generalizadas do Kubernetes.

Um ponto relevante é a centralização do console para facilitar a gestão. Ou seja, quando os controles de engenharia de dados - abrangendo ambientes multicloud - podem ser acessados ??de um único console, as organizações têm a chance de reduzir não apenas os custos operacionais, mas também a complexidade de gerenciamento.

Vejo que outro objetivo importante da centralização é permitir que as organizações sejam capazes de executar qualquer aplicação, em qualquer escala e tenham a liberdade de abranger vários serviços de nuvem (e várias nuvens em qualquer hyperscaler). E, se necessário, consiga operar uma infraestrutura semelhante à nuvem on-premise por meio de operações unificadas em todos os seus sites de TI e nuvens.

Precisamos equipar a engenharia de dados com o máximo de flexibilidade de plataforma possível, enquanto eles trabalham para trazer práticas de gerenciamento de dados que unificarão formatos de armazenamento, unificarão o acesso a aplicações e – mais importante – buscarão unificar a governança em todo ambiente de TI da organização.

Sabemos que todo negócio em funcionamento quer evitar a rotina diária de interrupções, tarefas de manutenção e dores de cabeça de integração para que possa centralizar sua atenção em melhorias, atividades estratégicas como: promover um design cuidadoso, fazer implementações à prova do futuro e impulsionar o desempenho ideal para aplicações de negócios em todos os níveis.

Por que precisamos prestar tanta atenção à engenharia de dados agora? Eu poderia dar uma lista imensa de motivos, mas podemos considerar:

• Existe atualmente uma forte disrupção no mercado de fabricantes de soluções de virtualização
• O espectro iminente da Inteligência Artificial e seu impacto no ambiente de nuvem
• Há a necessidade de abranger desenvolvimento em bancos de dados, computação do usuário final, rede e segurança - além dos desafios de configuração da arquitetura para trabalhar com hyperscalers e com aplicações críticas de negócios.

Por mais técnicas que as discussões sobre engenharia de dados sejam, defendo a necessidade de criar um discurso claro entre a função de negócios e a função de TI - quando consideramos como a engenharia de dados impactará as operações comerciais diárias. Esses movimentos precisam ser contextualizados e qualificados para a função de negócios a fim de entender o porquê estão sendo aplicados — isso para que o negócio possa maximizar a oportunidade de prosperar, inovar, expandir e melhorar.

 

Leandro Lopes é diretor de engenharia de sistemas para América Latina da Nutanix.