Anathan Santos Silva

[email protected]

Universidade Federal de Goiás

Prof. Dr. Adriano C. Santana

[email protected]

Universidade Federal de Goiás

OLAP COM FERRAMENTA OPEN SOURCE (PENTAHO), PARA AGREGAR INFORMAÇÃO PARA TOMADA DECISÃO AOS NEGÓCIOS

 

 

Resumo - Nos últimos tempos tem se um enorme crescimento na quantidade de dados armazenados e na percepção da informação útil que pode ser retirada e assim aplicada em diversas áreas, com as tecnologias OLAP que têm o fim de obter resultados que proporcionem aos gestores um melhor entendimento do comportamento e perfil da companhia. Uma das alternativas para o aumento da eficiência no armazenamento, gestão e operação dos dados para o suporte a decisão baseia-se no desenvolvimento do Data Warehouse (DW), neste ambiente constitui-se fontes de informação estratégicas do negocio, gerando diferencial competitivo para a companhia. Para a compreensão do que é OLAP neste artigo fará descrição de sua origem e seus conceitos, através de um estudo pratico e teórico como o OLAP da apoio ao usuário final na tomada de decisão estratégica e suas tomadas de decisões diárias.

Palavra chaves: OLAP. Data Warehouse. Mineração de Dados.

Abstract - In recent times it has been a huge growth in the amount of stored data and the perception of useful information that can be removed and so applied in several areas, with the OLAP technologies that have the order to get results that give managers a better understanding of the behavior and company profile. An alternative to increasing efficiency in storage, management and operation of data to support the decision is based on the development of the Data Warehouse (DW) in this environment is up strategic information resources of the business, creating competitive advantage for company. To understanding what it is OLAP this article will description of their origin and their concepts, through a practical and theoretical study as the OLAP support the end user in strategic decision making and their decision-daily decisions.

Keywords: OLAP. Data Warehouse. Data mining.

1    Introdução

 

A inteligência de negócios (Business Intelligence) é uma combinação de tecnológicas e arquiteturas. Tipicamente as organizações recolhem informações a fim de avaliar o ambiente de negócio, e converter campos como pesquisa de marketing, pesquisa de indústria e mercado, e analise de competidores. Geralmente, coletores de BI recolhem suas informações primarias de fontes internas ao negócio. Tais fontes ajudam os responsáveis por tomarem as decisões a entender quão bem eles agiram. Fontes secundárias de informações são formadas pelas necessidades dos clientes, processos de tomada de decisão dos clientes, a competição e as pressões dos competidores, as condições das indústrias relevantes, e em geral as tendências econômicas, tecnológicas e culturais (Cavalcanti, 2006).

O BI utiliza uma série de ferramentas para coletar, analisar e extrair Informações, que serão utilizadas no auxílio ao processo de gestão e tomadas de decisão. Fazem parte dos pacotes de Business Intelligence existente: o Datawarehouse (DW), Sistemas de gestão integrados (ERP), Sistemas específicos para uma determinado área funcional corporativa, ferramentas OLAP, Data Mining, Data Mart, CRM, Metadados, dentre outros.

Vamos expor a ferramenta OLAP (do inglês, Online Analytical Processing),  usado nos sistemas de Business Intelligence, como o SIN-OS (Sistema de Inteligência de Negócios da Oficina de Sistemas) o OLAP que permite aos analistas de negócios, gerentes e executivos analisar e visualizar dados corporativos de forma rápida, consistente e principalmente interativa. Essas ferramentas são capazes de navegar pelos dados de um Data Warehouse, possuindo uma estrutura adequada tanto para a realização de pesquisas como para a apresentação de informações (Ribeiro, 2011).

O OLAP e o Data Warehouse são destinados a trabalharem juntos, enquanto o DW armazena as informações de forma eficiente, o OLAP deve recuperá-las com a mesma eficiência, porém com muita rapidez. As duas tecnologias se complementam, ao ponto de que um Data Warehouse para ser bem sucedido, já na sua concepção, deve levar em consideração o que se deseja apresentar na interface OLAP (Campos, 2015).

                Este artigo tem como objetivo trazer a descrição de OLAP sua origem e seus conceitos. Mostrando como o OLAP através de um estudo pratico e teórico da apoio ao usuário final na tomada de decisão estratégica e suas tomadas de decisões diárias.

2    Origem

 

A base da análise Multidimensional para OLAP, remonta por volta de 1962, com a publicação do livro A Programming Language, de Ken Iverson. A IBM desenvolveu e implementou a primeira linguagem com análise multidimensional, no fim da década de 60, chamada de APL. Definida matematicamente, baseada em símbolos gregos, utilizadas por usuários finais e grande consumidora de recursos, foi amplamente utilizada nas décadas de 80 e 90 em aplicações de negócio. Acompanhando a evolução dos sistemas, na década de 90,
introduziu-se uma nova classe de ferramentas no mercado, que foi batizada de OLAP. (Anzanello, 2005).

O termo OLAP foi citado pela primeira vez por E. F. Codd, quando ele definiu doze regras que estas aplicações deveriam atender. A visão conceitual multidimensional dos negócios de uma empresa foi umas das regras citadas, a qual se tornou a característica fundamental no desenvolvimento destas aplicações. As visões multidimensionais fornecem as técnicas básicas para cálculo e análise requeridos pelas aplicações de BI.

3    Conceitos OLAP

 

Segundo Ribeiro (2011) é um software cuja tecnologia de construção permite visualizar dados corporativos de forma rápida, consistente e interativa. A funcionalidade OLAP é inicialmente caracterizada pela análise dinâmica e multidimensional dos dados consolidados de uma organização permitindo que as atividades do usuário final sejam tanto analíticas quanto navegacionais

                De acordo com Baptista (2001), antes de ser uma tecnologia, OLAP é um rótulo. Aplica-se a qualquer ferramenta de software que facilita a geração de consultas à banco de dados ou permita formas de análise de dados mais complexas utilizadas no processamento de informações de apoio a decisão.

                A tecnologia OLAP mostra os dados para análise em várias dimensões e níveis de agregação e segundo Singh (2001), suas aplicações estão aumentando a sua popularidade à medida que as organizações tentam maximizar o valor corporativo dos dados disponíveis, em volume cada vez maior, a partir de sistemas operacionais, planilhas eletrônicas, banco de dados externos e parceiros comerciais.

Neste artigo o conceito de OLAP é de Sowek (1999) que justifica que hoje OLAP é um dos muitos componentes que sustentam a Inteligência de Negócios, assim como outras tecnologias de Suporte a Decisão, tais como: visualização de dados, Data Mining, Data Warehousing. Alguns fornecedores têm feito o esforço de incluir na sua linha de produtos estas tecnologias de suporte à decisão, enquanto que outros fornecedores optaram por um produto aberto formando parcerias com fornecedores de produtos complementares (SOUZA E NEIVERTH, 2007).

3.1  Tipos de OLAP

 

                Os tipos de OLAP mais utilizados são MOLAP, ROLAP, DOLAP e HOLAP. Cada um deles tem uma função específica e deve ser utilizada quando melhor atender às necessidades de análise pela ferramenta de OLAP.

  • ROLAP (OLAP Relacional): Armazena todos os dados em outros bancos de dados, geralmente relacionais. Os dados são recuperados do banco de dados quando solicitado pelo usuário e são gerados comandos SQL. Todo o processamento é realizado no servidor. É lento para consultas complexas, mas é um ambiente mais aberto (Sowek, 1999). 
  • HOLAP (OLAP Híbrido): O armazenamento pode ser feito tanto em um banco de dados normal ou no formato multidimensional. Todos os dados são apresentados como dados multidimensionais. Algumas vezes são gerados comandos SQL e todo o processamento é feito no servidor (Sowek, 1999). 
  • MOLAP (OLAP Multidimensional): é o modelo “clássico”, que usa as estruturas da base de dados geralmente otimizadas para determinados atributos. A forma como cada dimensão é agregada é definida por uma ou mais hierarquias. Todas apresentam algumas vantagens e desvantagens, quando comparadas entre si. Algumas implementações MOLAP, dependendo da forma que foram realizadas, podem gerar colapso no banco de dados devido ao grande número de informações que armazenam e de agregações que podem ser carregadas ao mesmo tempo. Mesmo assim, elas provêm melhores resultados, em termos de desempenho, uma vez que têm índices especiais, e usam técnicas de compressão (Sowek, 1999).

Vantagens

Desvantagens

MOLAP

ü Melhor desempenho no tempo de resposta

ü Duplica o armazenamento de dados (ocupa mais espaço)

ü Tempo de latência

ROLAP

ü Economia de espaço de armazenamento. Ultil quando se trabalha com conjuntos de dados muito grandes.

ü O tempo de resposta das consultas é maior.

HOLAP

ü Bom tempo de resposta apenas para informação sumarizada.

ü Volumes de dados maiores no banco de dados nacional.

 

Tabela 1 – Vantagens e Desvantagens MOLAP, ROLAP e HOLAP.

Fonte: TechNet Microsoft

3.2    Ferramentas de OLAP

 

Atualmente, existem muitas ferramentas de OLAP no mercado e mudanças têm ocorrido. Na maioria das ferramentas observa-se a existência de dois componentes: a ferramenta do administrador e a ferramenta do usuário final. O componente do administrador é usado para administrar e gerar os cubos de dados a serem acessados, enquanto o componente do usuário final tem acesso aos dados para extraí-los de suas bases de dados, com os quais geram relatórios capazes de responder as suas questões gerenciais. As ferramentas surgiram juntamente com os sistemas de apoio a decisão para fazerem a extração e análise dos dados contidos nos DW e DMs. Algumas das características destas ferramentas por Cielo (2008):

  • Consultas Ad-hoc: Segundo Inmon “são consultas com acesso casual único e tratamento dos dados segundo parâmetros nunca antes utilizados, geralmente executado de forma iterativa e heurística”. Isso tudo nada mais é do que o próprio usuário gerar consultas de acordo com suas necessidades de cruzar as informações de uma forma não vista e com métodos que o levem a encontrar aquilo que procura.
  • Slice-and-Dice/Pivot table: Essa característica das ferramentas OLAP é de extrema importância. Com ela nós podemos analisar nossas informações de diferentes prismas limitados somente pela nossa imaginação. Utilizando esta tecnologia conseguimos ver a informação sobre ângulos que anteriormente inexistiam sem a confecção de um DW e a utilização de uma ferramenta OLAP.
  • Drill Down/Up: Consiste em fazer uma exploração em diferentes níveis de detalhe das informações. Com o Drill Down você pode “subir ou descer” dentro do detalhamento do dado, como por exemplo analisar uma informação tanto diariamente quanto anualmente, partindo da mesma base de dados.
  • Geração de Queries: A geração de queryes no OLAP se dá de uma maneira simples, amigável e transparente para o usuário final, o qual precisa ter um conhecimento mínimo de informática para obter as informações que deseja.

É importante lembrar que as exigências do usuário devem ditar que tipo de arquitetura irá atende-lo melhor. Como sempre, a arquitetura deve estar bem desenhada para que isso aconteça da melhor forma possível.

4    Ligação do DW e OLAP

O OLAP e o Data Warehouse são destinados a trabalharem juntos, enquanto o DW armazena as informações de forma eficiente, o OLAP deve recuperá-las com a mesma eficiência, porém com muita rapidez. As duas tecnologias se complementam, ao ponto de que um Data Warehouse para ser bem sucedido, já na sua concepção, deve levar em consideração o que se deseja apresentar na interface OLAP (CAMPOS, 2015). Desta forma, para explorar o DW completamente é necessário o OLAP que irá extrair e alavancar totalmente as informações nele contidas.

5    Ligação de mineração de dados (Data Mining) e OLAP

A mineração de dados (Data Mining) consiste em um processo que oferece os meios necessários para a descoberta de conhecimento interessante em bancos de dados. O OLAP e Data Mining são partes integrantes de todo e qualquer processo de suporte à decisão. Ainda, nos dias de hoje, a maioria dos sistemas de OLAP tem o foco no provimento de acesso aos dados multidimensionais, enquanto os sistemas de DM lidam com a análise de influência para os dados de uma única dimensão. As grandes empresas como a IBM, Oracle estão liberando versões de seus RDBMS que possuem ferramentas de OLAP e DM. Quando os usuários possuem ferramentas de OLAP e não de mineração de dados, eles gastam boa parte de seu tempo fazendo as tarefas pertinentes a um DM, como classificações e predições das informações recebidas.

A mineração de dados é considerada uma importante técnica de Business Intelligence (BI), assim como o Data Warehousing e a análise OLAP. 

6    Ferramentas Open Source.

 

Uma das ferramentas de BI Open Source é o Pentaho. A suíte Pentaho de Inteligência de Negócios é um conjunto de softwares livre que serve para criar soluções de BI, de ponta-a-ponta.  A ferramenta pode ser usada para diversas demandas de trabalhos, que os conceitos de BI atendem. Processos ETL, cargas de DATA WAREHOUSES, relatórios, OLAP, Dashboards, DATA MINING (Salles, 2013).

O software Pentaho é constituído pelas ferramentas: Mondrian, Pentaho Reporting Engine, Kettle, Weka, Pentaho. 

Mondrian – Ferramenta onde podemos construir cubos de analise, podendo ver dados de várias perspectivas do negócio. Podendo obter informações de suma importância para tomada de decisão. Conseguir analisar em uma venda, o quanto um produto e importante, o quanto um produto x pode estar saindo junto produto y, criar linha de tempo de crescimento de um produto ou venda do negócio entre muitas visões que o empreendimento possa ter.

Pentaho Reporting Engine – Permite elaborar um relatório para visualizar informações já ajustadas dentro do relatório, sendo disponibilizado de forma web, podendo exportar esses dados para Excel, Word, PDF, dentre outras plataformas de visualização de dados.

Kettle (PDI)  - As organizações trabalha informações em várias bases de dados. Sendo assim e necessário uma ferramenta para poder integrar todas essas fontes. O kettle nos dá essa opção, podendo entregar bases, EXCEL, ACESS, banco de dados relacionais e não relacionais.

Weka – Ferramenta para trabalhar com Data Mining, com ela podendo transar perfil de clientes, com as informações na base de dados. Através de algoritmos e processo de inteligência ela e capaz previr possíveis compras de cliente e produtos mais vendido dentro classe social de pessoas, dentro entre outras coisas.

Pentaho BI- Uma espécie de integrador de componentes através dele pode-se disponibilizar online as outras ferramentas para acesso aos usuários, com controle de acessos, traçando perfil de usuários.

7    Teoria de Pareto

 

Em 1897, o economista italiano Vilfredo Pareto executou um estudo sobre a distribuição de renda na Itália. E observou que 80% da renda na Itália provinha de apenas 20% da população. Pareto depois realizou estudos sobre uma série de outros países e para sua surpresa encontrou uma distribuição similar em todos eles.

Veja agora algumas aplicações servindo exemplo:

  • 80% das reclamações dos clientes surgem a partir de 20% de seus produtos ou serviços.
  • 80% dos atrasos no cronograma surgir a partir de 20% das possíveis causas dos atrasos.
  • 80% do lucro de uma organização provem de apenas 20% de seus produtos ou serviços;
  • 20% de sua força de vendas responde por 80% do faturamento da sua empresa.
  • 20% de defeitos nos sistemas operacionais causam 80% dos seus problemas.

A Análise de Pareto é uma técnica estatística utilizada na tomada de decisão que permite selecionar e priorizar um número pequeno de itens capazes de produzir grande efeito na melhoria dos processos.  O Princípio de Pareto traz também a idéia de que 80% dos resultados corresponde a apenas 20% dos fatores, o que justifica uma priorização. A partir de então, tal princípio de análise tem sido estendido a outras áreas e atividades tais como a industrial e a comercial (Barros, 2014).

8    Metodologia

 

Um estudo prático foi elaborado implementando ferramentas tecnológicas e técnica estratégica para tomada de decisão, com uma base de dados disponibilizada pela IT4BIZ. No estudo pratico, foi elaborado um projeto de OLAP para locadora de filmes, com dados de 26 dias trabalhados. Visando alcançar informações para responder algumas perguntas pertinentes ao negocio. O empreendimento precisa expandir, mas precisa manter os clientes, com isso era necessário conhecer e determinar aos clientes grau de importância.  

Para conseguir colocar uma medida e peso, foi introduzida ao projeto a teoria de Pareto, com estudo da regra 80/20. Baseando nessa teoria, aplicado com uso de OLAP com a ferramenta PENTAHO, conseguimos encontrar a qualidade dos clientes, determinando assim os clientes que fazem os 80% do negocio dentro dessa base de estudo.

8.2     Desenvolvimento

 

Para iniciar o projeto foi necessário conhecer a base de dados em estudo. Foi desenvolvido para isso um modelo para o nosso DW. Modelo abordado, modelagem dimensional formato estrela como expresso na Fig. 1, para que se possa dar melhor desempenho no desenvolvimento de analises com o conceito de OLAP.

 

Figura 1 – Modelo Estrela

Fonte: Dados de Pesquisa

                Com o modelo estrela desenhado do projeto, foi feito o MER do banco de dados, implantado esse modelo o banco obteve um ótimo desempenho para as consultas no momento de aplicar o OLAP.

 

 

Figura 2 – Modelo de MER Físico

Fonte: Dados de Pesquisa

 

                O DW foi desenvolvido baseado no modelo físico descrito na Fig. 2. Com uso da ferramenta Mondrian do Pentaho Fig. 3, foi desenvolvido o cubo para trabalharmos o OLAP, nesse cubo determinamos as pontas da estrela como sendo as dimensões e o centro da estrela sendo o fato. Colocamos também nesse cubo as colunas mensuráveis, que nesse projeto é o valor e a quantidade.

 

Figura 3 – Cubo do Mondrian

Fonte: Dados de Pesquisa

 

Após a publicação desse modelo de cubo no Pentaho BI, podemos fazer analises com o conceito de olap através do painel gráfico disponibilizado pela ferramenta.

 

 

 

 

 

 

 

 

 

Figura 4 – Tela incial do PentahoBI

Fonte: Dados de Pesquisa

Apos ser feito o Login na tela inicial como demonstrado na Fig. 4, entramos na tela de Menu da Ferramenta demonstrado na Fig. 5, onde podemos visualizar a ferramenta que vamos usar para gerar informações com a prática do uso de OLAP.

 

 Figura 5 – Menu PentahoBI

 Fonte: Dados de Pesquisa

A ferramenta para análise é Saiku Analytics (Fig. 6), que e um plugin no PentahoBI, que tem como tela inicial a escolha do cubo, o cubo selecionado foi criado no processo inicial com nome de Análise de Locadora.

 

 

 

 

Figura 6 – Tela do Saiku

Fonte: Dados de Pesquisa

                Dentro do Saiku, tudo e bem simples basta arrastar e soltar, observe na Fig. 7 abaixo no lado esquerdo da janela ele mostra as medidas e dimensões disponíveis para fazer suas análises. Sendo assim você pode fazer relatórios Ad-Hoc, que são consultas atípicas e casuais que vão depender do que o gestor esta procurando de informação, pois a ferramenta da inúmeras possibilidades para atender à demanda de tomadas de decisão.

                Visando atender a resposta que esse projeto busca, vamos adicionar os campos de forma que eles possam gerar essa informação.

                Colocando os campos Valor e Qtd Filme para dentro do quadro de Medidas e colocar no quadro linha, a dimensão cliente, com o campo cliente.

               

 

Figura 7 – Analise no Saiku

Fonte: Dados de Pesquisa

                Gerando uma planilha com os dados de nome de Cliente, valor de suas locações e quantidade de filmes locados. Tendo esses dados vamos ordená-los de forma que os clientes que geram mais renda para a empresa fiquem em primeiro lugar, após isso vamos criar uma coluna na planilha para podemos calcular o que cada cliente representa do total como percentual, com essa coluna adicionada pode calcular o acumulado (Fig. 8). Esse acumulado vai apresentar em pratica a teoria de Pareto 80/20, mostrando que os 80% gerado do faturamento é representado pelos 20% dos primeiros clientes.

Figura 8 – Planilha de Cliente/Participação

 Fonte: Dados de Pesquisa

Conclusão

 

Verificou-se, com a realização deste artigo, que o OLAP pode ser utilizado como uma
alternativa de melhoria do processo de tomada de decisão dos usuários, o OLAP auxilia na obtenção de informações para a elaboração de estratégias nos diversos níveis da hierarquia estratégica. A principal contribuição da ferramenta desenvolvida foi à possibilidade do usuário criar novas consultas a partir da visualização de todas as dimensões, da tabela de fatos e poder executar as operações OLAP sem a necessidade de conhecer nenhuma linguagem de banco de dados.

A ferramenta open source PENTAHO atende bem a expectativa para se trabalhar com projetos DW, OLAP, BI e etc, sendo de fácil manuseio e com possibilidades de criação livre para se trabalhar analises diversas que o negocio necessite.

A teoria de Pareto 80/20 aplicada com uma solução tecnológica para inteligência de negócio pode contribuir bem para geração de informação, conforme foi expressado nesse caso prático, obtendo informações claras e objetivas para a tomada de decisão.

 

 

 

 

Referências

 

ANZANELLO, C.A. OLAP conceitos e utilização. Instituto de Informática, UFRGS. Disponível em: <www.inf.ufrgs.br/~clesio/cmp151/cmp15120021/artigo_cynthia.pdf>. Acesso em: 23 de abril de 2015

 

BACHEGA ET. AL., Análise do uso da ferramenta OLAP na melhoria do processo de decisão e suporte à elaboração de estratégias. XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

 

BACHEGA ET. AL., OLAP como Alternativa de Melhoria do Processo Decisório e de Auxílio à Formulação de Estratégias: Casos de Empresas que Utilizam esta Ferramenta de Apoio à Decisão. EnANPAD 2006. 30° Encontro da ANPAD. 23 a 27 de setembro de 2006 -  Salvador/BA -  Brasil.

 

BAPTISTA, E. Um Modelo para Análise Gerencial na Área de Vendas. 2001. Dissertação (Mestrado em Engenharia de Produção) - Universidade Federal de Santa Catarina, Florianópolis, 2001.

 

BARROS L. J. S. A. ET. AL., Avaliação e Seleção da Representatividade dos Ativos do Patrimônio nas Bases de Remuneração das Concessionárias de Distribuição no Brasil, ANEEL/BRASIL, Publicado CIDEL Argentina, 2014.

 

CAMPOS W. L. M., Conceitos Básicos Sobre OLAP, Disponível em: <http://www.devmedia.com.br/conceitos-basicos-sobre-olap/12523>. Acessado em: 20 de abril de 2015

Cavalcanti C. C., Business Intelligence. Publicação 2006. Recife

CIELO I., Arquiteturas OLAP. 2008. Disponível em: <http://www.datawarehouse.inf.br/olap.htm> Acessado em: 24 de abril de 2015

FELBER E. J. W. E CARVALHO J. V. Uma Ferramenta OLAP e um Data Mart Comercial: Uma Aplicação Prática na Indústria Calçadista utilizando softwares open source. Disponível em: http://sedici.unlp.edu.ar/bitstream/handle/10915/22307/Documento_completo.PDF?sequence=1> Acessado em: 27 de abril de 2015

RIBEIRO V., O que é OLAP?. Julho de 2011 Disponível em: <https://vivianeribeiro1.wordpress.com/2011/07/12/o-que-e-olap/> Acessado em: 20 de abril de 2015

SINGH, H. S. Data Warehouse: Conceitos, Tecnologias, Implementação e Gerenciamento. Tradução de Mônica Rosemberg. São Paulo: Makron Books, 2001.

SOUZA E. S. e NEIVERTH J. Estudo de caso sobre Business Intelligence2007. 72 f. Monografia. . Universidade Estadual De Ponta Grossa Setor De Ciências Agrárias E De Tecnologia Departamento De Informática. Ponta Grossa, 23 de novembro de 2007.

SOWEK, C. A. Tecnologia OLAP, Curitiba, jun. 1999. Disponível em: <http://www.batebyte.pr.gov.br/modules/conteudo/conteudo.php?conteudo=1017> Acessado em: 24 de abril de 2015

TechNet Microsoft, Módulo 4. Construindo uma solução OLAP. Disponível em: <download.microsoft.com/download/8/4/3/.../AcadBI-Modulo4.pdf> Acessado em: 24 de abril de 2015

SALLES F., SOUZA C. M., DOMINGOS C., Pentaho na Pratica (Portuguese Edition). Abril 2013. 445p. Edição Amazon.