Eu tenho coletado informações sobre grandes dados e introduzindo noções sobre o assunto em alguns dos meus cursos, mas hoje Ao preparar uma conferência, percebi que foi um tópico que ainda não havíamos mencionado na página, apesar de ser uma das tendências mais indicadas na indústria.
Por grandes dados que nos referimos exatamente o que você Nome próprio indica: o tratamento e análise de enormes repositórios de dados, tão desproporcionalmente grandes que é impossível tratá-los com ferramentas e análises de banco de dados convencionais. A tendência é enquadrada em um ambiente que soa como nada estranho: a proliferação de aplicativos da web, aplicativos de imagem e vídeo, redes sociais, dispositivos móveis, aplicativos, sensores, internet das coisas, etc. Capaz de gerar, de acordo com a IBM, mais de 2.5 quintillones de bytes por dia, a ponto de 90% dos dados do mundo foram criados durante os últimos dois anos. Falamos de um ambiente absolutamente relevante para muitos aspectos, desde a análise de fenômenos naturais, como dados climáticos ou sismográficos, a ambientes como saúde, segurança ou, é claro, o ambiente de negócios. E é precisamente nessa área onde as empresas desenvolvem sua atividade em que um interesse que faz grandes dados está emergindo em algo como “a próxima palavra”, a palavra que definitivamente escreveremos de todo: fornecedores de tecnologia, ferramentas, consultores, etc. En un momento en que la mayoría de los directivos nunca se han sentado delante de una simple página de Google Analytics y se sorprenden poderosamente cuando ven lo que es capaz de hacer, llega un panorama de herramientas diseñadas para que cosas inmensamente más grandes y complejas puedan ter sentido. Tenha medo, muito medo.
O que exatamente por trás do buzzword? Basicamente, a evidência de que as ferramentas de análise não são capazes de converter em informações úteis para gestão de negócios os dados gerados. Se a sua empresa não tiver um problema com a análise de dados, é simplesmente porque não é onde ele tem que ser ou não sabe como obter informações do ambiente: assim que nos juntarmos às questões tradicionais de operação e transações como Interação bidirecional cada vez mais intensa com os clientes e o movimento da Web Analytics que geram redes sociais de todos os tipos, encontramos nós mesmos um panorama em que não sendo uma grande desvantagem em relação àqueles que são. É simplesmente que opera no ambiente com maior capacidade de geração de dados na história carrega a adaptação de ferramentas e processos. Bancos de dados não estruturados, não convencionais, que podem atingir petabytes, exabytes ou zetabytes, e exigir tratamentos específicos para suas necessidades de armazenamento e processamento ou visualização.
Big Data foi, por exemplo, a estrela no final do Oracle OpenWorld: o O posicionamento adotado é oferecer enormes máquinas com enormes capacidades, processamento multiparaleloe, análise visual ilimitada, processamento de dados heterogêneo, etc. Desenvolvimentos como Exadados e aquisições como Endeca apoiam uma oferta com base no pensamento grande, que alguns não hesitaram em discutir: na frente dessa abordagem, a realidade é que algumas das empresas mais focadas no assunto, como o Google, Yahoo! o Facebook ou a totalidade das startups não usam ferramentas Oracle e optam, em uma aproximação com base na distribuição, na nuvem e na fonte aberta. O Open Source é Hadoop, um quadro altamente popular neste campo que permite que os aplicativos trabalhem com repositórios de dados enormes e milhares de nós, originalmente criados por Doug Cutting (que lhe deu o mesmo nome que o elefante de brinquedo de seu filho e inspirado em Ferramentas do Google, como MapReduce ou sistema de arquivos do Google, ou NOSQL, sistemas de banco de dados não relacionais necessários para abrigar e processar a enorme complexidade de dados de todos os tipos gerados, e que em muitos casos a lógica de garantias não seguem ácido (atomicidade, consistência, isolamento, durabilidade ) Recurso de bancos de dados convencionais.
No futuro: um crescente panorama de adoção e muitas, muitas questões. Implicações para os usuários e sua privacidade, ou as empresas e a confiabilidade ou potencial real dos resultados obtidos: como a revisão da tecnologia do MIT, grandes responsabilidades. No momento, uma coisa é segura em grandes dados: prepare seus ouvidos para ouvir o termo.