FAETERJ-PARACAMBI

Matéria: Orientada a Objeto 1

A Introdução do Big Data No Meio Organizacional

Autores: Gabriela do Carmo Fernandes, Rafael Ribeiro, Thaiani Regina de Oliveira Andrade

 

Introdução:

Com o avanço da tecnologia, o surgimento e a popularização de novos meios de comunicação, o nível de informações geradas diariamente cresceu a níveis exponenciais. Dia após dia, as pessoas ficam cada vez mais reféns das informações, uma vez que com o surgimento da internet e posteriormente das redes sociais, torna-se possível o acesso a informações do mundo inteiro. Com tal avanço, o que mudou não foi só a interação das pessoas com o mundo. No que diz respeito ao mundo dos negócios, muitas coisas mudaram também.

Atualmente, o acesso imediato à informação se tornou fundamental para os negócios de uma empresa. Ter acesso em tempo real a essas informações mais ainda. Porém, o número de informações (dados) de uma empresa cresce absurdamente a cada ano. Tal crescimento dificulta analises precisas, o que compromete o crescimento da empresa. Para resolver tal problema diversas organizações ao redor do mundo começaram a investir em uma solução tecnológica inovadora: o Big Data.

O Big Data pode ser definido como uma solução tecnológica que possibilita o armazenamento de um grande número de dados, sejam eles estruturados ou não estruturados, possibilitando também o acesso imediato / em tempo real a tais dados/ informações. Tal solução baseia-se em 5 v’s, sendo eles: volume, velocidade, variedade, veracidade e valor.

Na prática, tal solução tecnológica permite que sejam armazenados e processados rapidamente qualquer tipo de dado digital, o que de certa forma possibilita uma análise mais rápida e precisa de tais informações, tornando o trabalho da empresa mais confiável e seguro. De tal modo, isso alavancaria os negócios de uma empresa, pois unindo a baixa probabilidade de erro com a confiança transmitida através dos serviços prestados, tal empresa conseguiria mais clientes, gerando assim um retorno extremamente positivo aos negócios da mesma.

                                     

 

 

A Tecnologia Big Data:

O Big Data se trata de um conjunto de tecnologias no qual o grande foco é o armazenamento de dados digitais em volume, velocidade, variedade, veracidade e valor, mas como explicar de forma mais precisa e consistente a definição de Big Data? Quando escutamos o termo Big Data é comum fazermos uma tradução do termo e associarmos a ideia de GRANDES DADOS a serem analisados. A teoria dos 5 v’s transmite de forma ampla e simples o conceito da tecnologia big data e seus diferentes meios de aplicações.

A expressão Big Data ainda é pouco conhecida e apesar de ser um termo relativamente novo, surgiu por volta dos anos 2000. Em 2005 foi implementado na Google e só em 2008 foi popularizado através da empresa Yahoo que transformou a plataforma Hadoop em Open Source.

A plataforma Hadoop é o núcleo principal para trabalhar com o Big data, porém sua funcionalidade depende de um conjunto de softwares acoplados, que são programas que interagem através de troca de informação. A plataforma Hadoop roda baseada em um servidor chamado Apache que é responsável pela execução e controle do ambiente trabalhado.

Um dos principais objetivos do Big data é permitir que às empresas possuam uma maior capacidade de armazenamento de dados, permitindo também uma redução de custo e tempo, ajudando no desenvolvimento de novos produtos e auxiliando no entendimento sobre o comportamento do consumidor.

 Uma vez que há um número crescente de sistemas que geram grandes quantidades de dados, o Big data possibilita analisar qualquer tipo de informação digital em tempo real. É utilizado para analisar de forma mais precisa o grande volume de dados gerados pela empresa fazendo com que se alcance maior popularidade com o aumento no número de informações processadas, permitindo que a empresa esteja sempre um passo à frente a concorrência.

Seguindo esta linha de raciocínio, de que adianta os dados se eles não forem tratados corretamente? É ai que surge a importância de softwares especializados somados as APIs (Applications Interface Program) ,a plataforma Hadoop e o servidor Apache trabalhando juntos, com o objetivo de transformar dados distintos em informações relevantes para a organização.

 Vale ressaltar que, antes de decidir implementar a tecnologia Big Data em sua empresa/negócio é importante distinguir necessidade de modismo. Não é porque outras empresas defendem o Big Data como a melhor solução para o processamento de informações em tempo real, que a sua empresa tenha necessidade de implementar tal conceito. O Big Data é indicado para empresas que armazenam números de dados exorbitantes em tempo real e essas informações são fundamentais para seu funcionamento. Caso contrário será só mais um software sem utilidade em sua empresa.

Em suma, a tecnologia Big Data é um conceito inovador porque possibilita armazenamento de dados em grande escala com um menor tempo de resposta, tendo menor custo quando comparado a tecnologia tradicional de tratamento de dados. Gerando assim, um ambiente mais propício para o desenvolvimento dos negócios de forma otimizada, a menor preço com maior flexibilidade já que o armazenamento é em nuvem e a velocidade de processamento das informações muito mais rápida.

A Definição de Big Data em 5 V’s:

Pode-se definir Big Data como um conjunto de tecnologias que permite o armazenamento de um grande número de dados com maior velocidade de acesso à eles. Porém não trata-se somente de volume e velocidade.   Trata-se também de uma grande variedade de dados, da veracidade das informações e do valor que uma solução em Big Data retorna a empresa. Volume, velocidade, variedade, veracidade e valor. São esses os 5 v’s que podem definir de forma clara e precisa o Big Data.

Porém, há quem acredite que apenas 3 desses v’s possam transmitir uma boa noção sobre o Big Data. Sendo eles: volume, velocidade e variedade. Quanto aos outros v’s (veracidade e valor) subentende-se que uma organização séria trabalha sempre com informações verídicas e não investe naquilo que não retorne algum tipo de valor para a empresa.

Entendendo o Significado de Cada um dos V’s:

Volume: No que diz respeito ao volume, podemos entender que uma empresa trabalha com uma grande quantidade de informações. O Big Data permite que trabalhe-se com uma quantidade de dados em nível exponencial, permitindo assim que a empresa aproveite ao máximo suas informações.

Velocidade: Quando se trabalha com dados, informações em geral, há uma grande necessidade de acesso imediato a eles, muitas vezes em tempo real. Graças ao Big Data tal velocidade se torna possível. Um banco de dados contém muitas informações, se uma empresa não tiver total domínio sobre o conteúdo e uma forma rápida de acesso à ele, os negócios da empresa acabam sendo prejudicados.

Variedade: Sobre variedade, precisamos entender que antigamente os dados eram estruturados, o que facilitava a administração dos mesmos. O que não acontece atualmente. Hoje em dia a grande maioria dos dados não são estruturados, são oriundos de diferentes fontes. Com o Big Data, pode-se trabalhar igualmente com dados estruturados e não estruturados.

Veracidade: Na era da tecnologia, informação é dinheiro. Porém, para uma empresa, a veracidade dessas informações é algo crucial. Não adianta trabalhar com dados não sólidos, é necessário que sejam verdadeiros. Com o Big Data é possível analisar um grande volume de dados, compensando assim, através de estatísticas e análises sérias, as informações incorretas.

Valor: O último, porém não menos importante dos v’s, é o valor. Uma empresa quando investe em uma solução deve esperar que tal investimento gere resultados positivos. Não sendo diferente com o Big Data. A combinação de cada um dos v’s, deve gerar resultados positivos a empresa, agregando valor a mesma.

Concluindo, pode-se dizer ao abordar o tema Big Data, que trata-se de soluções capazes de armazenar e permitir acesso imediato a um grande número de dados de diferentes origens. Permitindo assim, que haja uma melhor administração das informações, de forma que agregue valor ao trabalho.

 

Big Data: Origem, Funcionalidade e Importância no Ambiente Organizacional.

Atualmente, alguns dos maiores desafios enfrentados pelas organizações é o armazenamento, análise e utilização de grandes volumes e variedades dos conjuntos de dados, o que, de forma resumida, exemplifica o conceito de Big Data, que tem como função principal aumentar a velocidade desses processos.

A termologia Big Data surgiu por volta dos anos 2000, quando empresas como Google e Yahoo perceberam que os sistemas convencionais de armazenamento e processamento de dados não atenderiam as suas demandas. Deste modo foram desenvolvidas novas técnicas para lidar com tais volumes e processamento. No início essas tecnologias eram utilizadas de forma privada, por volta de 2005 a Yahoo popularizou o termo Big Data, transformando a plataforma Hadoop em Open Source.

Dentre os fatores que contribuem diretamente para o aumento do volume de dados podemos citar o crescente acesso a tecnologia como estopim para que empresas como Facebook, Yahoo e Google coletem dados de milhões de usuários em uma escala sem precedentes.

Quando procuramos a definição do Termo Big Data em Blogs, Sites e fóruns especializados existem diversos conceitos abordados e muitas divergências entre os mesmos, no entanto é possível definir Big Data como um conjunto de soluções tecnológicas capaz de lidar com dados digitais em volume, variedade e velocidade. Na prática a tecnologia permite analisar qualquer tipo de informação digital em tempo real, tornando a tomada de decisão com uma maior possibilidade de veracidade com um custo menos elevado quando comparado ao valor da tecnologia tradicional.

Vale ressaltar que a tecnologia Big Data está diretamente relacionada com a Internet e a forma de uso que fazemos dela no nosso dia a dia. É por isso que em síntese, são as tecnologias de computação em nuvem que suportam o Big Data, seja no contexto técnico da infraestrutura ou na visão de negócios. Essa correlação é fundamental para que fique clara a abrangência do termo Big Data que ultrapassa a ideia de “processamento de grande volume de dados”, ultrapassando os limites de uma única organização.

A aplicação de técnicas de Big Data é diferente de acordo com o cenário em que está inserida, se adaptando a realidade de cada segmento, trazendo informações em tempo real de acordo com a necessidade da empresa. Podemos citar como exemplo uma clínica médica que precisa cruzar os dados comuns de idade, altura, peso e sexo dos pacientes de um programa de emagrecimento. O fato é que a aplicação destas técnicas é muito ampla, sendo possível identificar a necessidade de seu cenário utilizando estas tecnologias para facilitar aplicação e a tomada de decisão. 

Dentre as tecnologias Big Data o Hadoop é uma plataforma Open Source, que roda em cima do servidor Apache em distribuição Linux. Em outras palavras, o Hadoop é o nome do núcleo principal de uma plataforma para trabalhar com Big Data, podendo ser executando em um servidor de Internet chamado Apache, que por sua vez é o responsável por executar e controlar o ambiente que o Hadoop está trabalhando, sendo o Apache uma ferramenta que trabalha em cima do sistema operacional Linux.  

Mas engana-se quem pensa que o Hadoop trabalha sozinho, sem as chamadas APIs (Application Programming Interface) não tem tanta utilidade. APIs são programas que interagem através de troca de informação com o núcleo principal, receptores que ajudam nas principais tarefas de uma plataforma. Existem APIs que se encarregam de fazer o trabalho para movimentar dados entre uma base de dados que você possui e o Hadoop. Tem API que trabalha no âmbito de aprendizado de máquina e pode ajudar na sua tomada de decisão, aprendendo com métodos estatísticos o comportamento dos seus usuários. Outra API que é amplamente utilizada é responsável por agendamento de tarefas, que podem processar os dados que são inseridos durante o dia na plataforma de Big Data.

Quanto a sua implementação, é possível que ocorra sem uma equipe de TI especializada, mas pode dar um trabalho extra e você precisaria ter noções de TI para isso, e o resultado final pode não ser satisfatório. Hoje, existem provedores de serviços na Internet que oferecem plataformas prontas para se trabalhar com Big Data utilizando seus serviços. Podemos citar como exemplo a Amazon Web Services, a Microsoft com a plataforma Windows Azure e o Google com a Google Big Query. Cada fornecedor possui suas peculiaridades variando de preços e recursos.

O importante é saber se existe uma real necessidade em ter Big Data no seu negócio, assim como qualquer tecnologia você precisa saber se seu negócio está preparado e se de fato isso vai ajudar o seu desempenho de mercado, uma vez que o Big Data é a típica solução que sozinha não melhora em nada o desempenho da empresa, podendo ser mais um software encalhado na prateleira da empresa.

A importância do Big Data para empresas:

Na era da tecnologia, as informações valem ouro, e é por isso que as empresas investem em uma solução Big Data. A ideia de poder administrar igualmente dados de diferentes tipos, em grande quantidade e com rápido acesso, se mostra cada vez mais interessante e necessária para ajudar a alavancar os negócios empresariais. O uso do Big Data proporciona a empresa um maior aproveitamento dos dados, tornando o trabalho mais eficaz e retornando mais valor à empresa.

Atualmente, o mundo inteiro está conectado através da internet, e as soluções em Big Data permitem que dados contidos na web sejam igualmente analisados, como por exemplo: blogs e mensagens nas redes sociais, possibilitando assim que a empresa possa conhecer melhor seu público alvo e de tal forma impulsionar as atividades da empresa. Isso se dá pelo fato dos consumidores estarem cada vez mais conectados às redes sociais, expondo nelas suas opiniões sobre tudo, inclusive sobre produtos e serviços prestados por uma empresa. É comum encontrar em redes sociais também o que está na moda, qual o negócio da vez e o que não está.

Através das redes sociais pode-se ter feedbacks mais completos, uma vez que é possível entender a opinião dos consumidores sobre produtos e serviços prestados. Dessa forma a empresa tem uma melhor visão sobre no que deve investir, o que está dando certo e o que não está, aumentando assim suas vendas, poupando dinheiro, uma vez que se tem ideia do que gera lucro investir e o que não gera, e tem ainda a possibilidade de detectar e corrigir rapidamente aquilo que não deu certo.

As empresas que utilizam as soluções em Big Data, têm, digamos, uma vantagem significativa no que diz respeito a competitividade em relação a empresas que não fazem uso de tais soluções. Isso se dá pelo fato de tais soluções permitirem a empresa ter um melhor gerenciamento de suas informações, sejam elas em grande ou pequena quantidade. Dessa forma, os processos operacionais são aprimorados assim como a tomada de importantes decisões, o que gera um impacto grande e positivo na competitividade com outras empresas.

Com o uso do Big Data, analisar informações e tomar decisões importantes a partir das mesmas, se tornou mais fácil, simples, rápido e seguro, o que possibilita um retorno bastante positivo, comprovando assim a eficiência das soluções tecnológicas em Big Data.

BIG DATA x DATA WAREHOUSE

Big Data é um conceito onde a prioridade é o armazenamento de grandes volumes de dados, disponíveis para serem acessados com uma velocidade maior.

O conceito de Big Data pode ser confundido com projetos de Data Warehouse, que são depósitos de dados, onde aos dados são transformadas através de um processo de ETL (extract, transforming and load) e as informações resultantes desse processo são utilizadas para tomadas de decisões.

 A grande diferença de Data Warehouse com Big Data é a velocidade com que os dados precisam ser disponibilizados, uma vez que, em um projeto de Data Warehouse, o processo de ETL torna-se mais lento até que as informações estejam disponíveis.

O ambiente do Big Data torna possível o acesso à informação, através de diferentes formatos de mídias, porém a grande dificuldade encontrada nesse novo conceito é a falta de profissionais qualificados para gerir esse volume de dados, pois se faz necessário um melhor gerenciamento dos dados, para obtenção de informações utilizáveis e verídicas.

Conclusão:

Baseado nos fatos abordados neste artigo, é possível concluir que a tecnologia Big Data é muito mais abrangente no tocante ao armazenamento de grandes quantidades de dados estruturados e não estruturados. Está relacionado também ao acesso rápido as informações, com o processamento otimizado a baixo custo quando comparado as tecnologias tradicionais. Em grande parte essas tecnologias não seriam capazes de processar essa base de dados com total eficiência, sem a perda de informações.

A tecnologia Big Data está diretamente relacionada ao uso que fazemos da internet, sendo seus dados armazenados em nuvens, o que torna a tecnologia mais flexível. É muito comum ler artigos, blogs e sites que compara Big Data com Data Warehouse de forma equivocada. Os dois são base de armazenamento de dados, tendo diferença na tecnologia utilizada pela Data Warehouse, que se baseia na plataforma ETL, que faz com que os dados sejam acessados de forma mais lenta e nem sempre tratados de modo a trazer soluções palpáveis para a empresa.

Antes de implantar a tecnologia Big Data em um negócio, é importante fazer um levantamento da real necessidade de sua implantação, levando em consideração que para gerar resultados deve estar diretamente ligado ao uso de uma plataforma compatível a uma tecnologia Big Data, citamos como exemplo a Hadoop, além de API’s e um servidor Apache, que é o responsável por gerenciar o tratamento dos dados no servidor.

Pode-se afirmar que o conceito de Big Data é inovador, uma vez que as informações são processadas em alta velocidade, em grande escala, processando dados estruturados e não estruturados em tempo real. Permitindo a empresa estar um passo à frente no mercado.