Big data acionável: como preencher a lacuna entre cientistas e engenheiros de dados

A agitação em torno do big data criou um equívoco generalizado: que sua mera existência pode fornecer à empresa insights acionáveis ​​e resultados comerciais positivos. A realidade é um pouco mais complicada. Para obter valor do big data, você precisa de uma equipe capaz de cientistas de dados para analisá-lo. Na maioria das vezes, as empresas entendem isso, como evidenciado pelo crescimento de 15 a 20 vezes nos trabalhos de cientistas de dados de 2016 a 2019. No entanto, mesmo se você tiver uma equipe capaz de cientistas de dados à mão, ainda precisará limpar o grande obstáculo de colocando essas idéias em produção. Para obter o verdadeiro valor comercial, você precisa garantir que seus engenheiros e cientistas de dados trabalhem em conjunto. Em sua essência, os cientistas de dados são inovadores que extraem novas idéias e pensamentos dos dados que sua empresa ingere diariamente, enquanto os engenheiros, por sua vez, criam essas idéias e criam lentes sustentáveis ​​para visualizar nossos dados. Os cientistas de dados têm a tarefa de decifrar, manipular e comercializar dados para obter resultados positivos nos negócios. Para realizar esse feito, eles realizam uma variedade de tarefas, desde mineração de dados até análise estatística. A coleta, organização e interpretação dos dados são realizadas na busca de tendências importantes e informações relevantes. Embora os engenheiros certamente trabalhem em conjunto com os cientistas de dados, existem algumas diferenças distintas entre os dois papéis. Uma das diferenças fundamentais é que os engenheiros atribuem um valor decididamente mais alto à “prontidão de produção” dos sistemas. Desde a resiliência e segurança dos modelos gerados pelos cientistas de dados até o formato e a escalabilidade reais, os engenheiros desejam que seus sistemas sejam rápidos e confiáveis. Em outras palavras: cientistas de dados e equipes de engenharia têm preocupações diferentes no dia-a-dia. Isso levanta a questão: como você pode posicionar as duas funções para obter sucesso e, finalmente, extrair as informações mais significativas de seus dados? A resposta está na dedicação de tempo e recursos para aperfeiçoar as relações de dados e engenharia. Assim como é importante reduzir a confusão ou o "ruído" em torno dos conjuntos de dados, também é importante suavizar todo e qualquer atrito entre essas duas equipes que desempenham papéis vitais no sucesso do seu negócio. Aqui estão três etapas críticas para tornar isso uma realidade. Não basta simplesmente colocar alguns cientistas e alguns engenheiros em uma sala e pedir que resolvam os problemas do mundo. Você primeiro precisa que eles entendam a terminologia um do outro e comecem a falar o mesmo idioma. Uma maneira de fazer isso é treinar as equipes. Ao juntar cientistas e engenheiros em grupos de dois, você pode incentivar o aprendizado compartilhado e quebrar barreiras. Para os cientistas de dados, isso significa aprender padrões de codificação, escrever código de uma maneira mais organizada e, talvez o mais importante, entender a pilha tecnológica e as compensações de infraestrutura envolvidas na introdução de um modelo na produção. Postado em 7wData.be