Pratica BD - Capitulo 3

29/05/2023, 13:52 Ead.
br
1.00
PRÁTICAS DE BANCO DE DADOS

PRÁTICAS DE BANCO DE
DADOS
Autor: Me. Paulo Sérgio Pádua de Lacerda
INICIAR
https://student.ulife.com.br/ContentPlayer/Index?lc=c8HVygcWE3DcS6tBTvrIkg%3d%3d&l=8DC6%2f15XMQ7A4vJoORGVRA%3d%3d&cd=LP… 1/44
29/05/2023, 13:52 Ead.br
introdução
Introdução
Seja bem-vindo(a) à disciplina de Prática de Banco de Dados! A proposta
principal desta unidade é definir conhecimentos sobre Big Data. Em um
mundo competitivo e digital, empresas buscam por informações que possam
garantir liderança de mercado, tomadas de decisões mais assertivas,
conhecimento sobre cliente e soluções inovadoras, a informação se torna um
bem precioso. Quem detém a informação está à frente do mercado, consegue
entender tendências, abrir novos mercados etc. Nesse ponto, tecnologias
como Big Data e Mineração de Dados, permitem que empresas possam
compreender toda essa ebulição de informações existente, principalmente na
internet.
Você ficará familiarizado com tópicos a respeito do conceito de Big Data,

entenderá a finalidade da mineração de dados e se familiarizar com exemplos
de aplicações usando tais tecnologias. Em suma, você vai identificar e
compreender os princípios da tecnologia de Big Data e Mineração de Dados.
Vamos lá?
29/05/2023, 13:52 Ead.br
Big Data
Nos tempos atuais, com o surgimento de novas configurações e maneiras de

fazer uso dos recursos e serviços da tecnologia da informação, as empresas e
instituições precisam repensar e transformar o modo como utilizam esses
dados e informações para auxiliar e fundamentar seu processo de tomada de
decisão e, assim, conduzir seus negócios e alcançar os objetivos e resultados
esperados.
Um dos desafios das empresas na Era da Informação na qual vivemos é saber

como lidar com a quantidade de dados disponíveis e como usá-los de maneira
útil, ou seja, como transformá-los em informações que serão usadas nos
processos de decisões e, assim, possibilitar a vantagem competitiva.
Pode-se dizer que Big Data é um conjunto de soluções de tecnologia que

possuem a capacidade de lidar com uma imensa quantidade de dados, de
tipos antes não explorados, presentes no dia a dia, sejam dados estruturados,
semiestruturados ou não estruturados.
Para Siewert (2013 apud FERNANDES; ABREU, 2014, p. 557),
29/05/2023, 13:52 Ead.br
[...] Big Data é a captura, gerenciamento e a análise de dados que

vão além dos dados tipicamente estruturados, que podem ser
consultados e pesquisados através de bancos de dados relacionais.
Frequentemente são dados obtidos de arquivos não estruturados
como vídeo digital, imagens, dados de sensores, arquivos de logs e
de qualquer tipo de dados não contidos em registros típicos com
campos que podem ser pesquisados [...].
A Figura 3.1 elucida diferenças entre um sistema de Big Data e os sistemas

tradicionais.
Figura 3.1 - Tradicional x Big Data

Fonte: Adaptada de Pasupuleti (2015, p. 33).
29/05/2023, 13:52 Ead.br
#PraCegoVer: Apresenta uma quadro com comparativo dos sistemas

tradicionais versus os sistemas de big data em relação a cinco atributos de
comparação: 1) Aplicações de usuários finais: nos sistemas tradicionais temos
as ferramentas de BI, ferramentas de processo analítico on-line e nos
sistemas Big Data temos redes sociais, jogos online e comércio eletrônico; 2)
Virtualização: nos sistemas tradicionais temos virtualização básica (relatórios,
busca detalhada) enquanto nos sistemas Big Data virtualização avançada
(nuvens de tag, mapa de calor); 3) Ferramentas analíticas: nos sistemas
tradicionais é o BI tradicional e no Big Data são as ferramentas avançadas de
análise analíticas (métodos preditivos, redes neurais, aprendizado profundo,
redes de crenças neuro-linguística, ferramentas de análise de redes
sociais,análise comportamental, análise semântica, otimização estocástica,
SQL extremo, BI baseada em restrições) e tecnologia de análise em memória;
4) Gerenciamento de dados: no tradicional são o banco de dados tradicional e
sistema de arquivos tradicionais e no Big Data são banco de dados NoSQL,
banco de dados paralelos relacionais, integração, armazenamento e
gerenciamento e, sistema de arquivos distribuídos Hadoop; 5) Infra estrutura
e armazenamento: nos sistemas tradicionais são hardware monolítico e
poucos computadores, enquanto nos sistemas Big Data são redes de
computadores.
Os sistemas tradicionais ( tradicionais systems ) e sistema de Big Data ( big data

systems ), como mostrado na Figura 3.1, possuem tanto características
comuns quanto diferentes.
As aplicações usuários finais ( end-user applications ), nos sistemas tradicionais

( traditional systems ), são compostas por ferramentas de BI tradicionais (
Traditional BI suites ) e ferramentas de processo analíticos on-line ( OLAP
applications ), mas elas também transitam no mundo do Big Data, somando-se
às redes sociais (social media), jogos on-line ( Online gaming ) e sistemas de
comércio eletrônico ( e-commerce ).
Com relação à virtualização ( virtualization ), os sistemas tradicionais executam

virtualização básica ( basic virtualization ), relatórios ( report ) e busca
detalhada ( drilldown ), visto que os sistema de big data executam
29/05/2023, 13:52 Ead.br
virtualização avançada ( advanced virtualization ), nuvem de tag ( tag cloud ) e

mapa de calor ( heat map ).
Com relação às ferramentas analíticas ( analytics tools ), os sistemas

tradicionais usam ferramentas de BI tradicionais, modelos de análise
estatística multivariada ( multivariate models ) e regressão ( regression ). Já as
ferramentas avançadas de análise analíticas ( advanced analytics ) transitam
entre sistemas tradicionais e big data, ou seja, são comuns a ambos os
sistemas, podendo ser usados método preditivos ( predictive methods ) como
redes neurais ( neural nets ), um de aprendizado de máquinas chamado de
aprendizado profundo ( deep learning ), redes de crenças neurolinguísticas (
belief nets Neuro-linguistic programming - NLP ), ferramentas de análise de
redes sociais ( Social NW analysis ), análise comportamental ( behavior analytics
), análise semântica ( semantic analytics ), otimização estocástica ( stochastic
optimization ), SQL ( extreme SQL ) e BI baseada em restrições ( constraint based
BI ). Já as relativas somente ao sistema de big data são a tecnologia de análise
em memória ( in-memory analytics ) e processamento de eventos complexos (
Complex Event Processing - CEP ).
A relação com os gerenciados de banco de dados ( Data Management ) está

nos sistemas tradicionais e sistemas gerenciadores de banco tradicionais
(Traditional Database), sistema de banco NoSQL ( NoSQL database ) e sistema
de arquivos convencionais ( Conventional filesystem ). Porém, essa relação com
o sistema de big data é diferente, porque fazem uso do sistema distribuído
Hadoop ( Hadoop distributed file system ), sistemas paralelos de banco de
dados relacionais ( parallel relational DBs ) ou banco de dados de
processamento massivo de informações ( massively parallel processing - MPP ),
agregado à modelagem de dados ( data modeling ), integração,
armazenamento e manipulação de dados ( integration, storage, management ).
Na infraestrutura e armazenamento ( infra and storage ), os sistemas

tradicionais usam hardwares monolíticos ( monolithic hardwares ), ou seja,
poucos computadores ( few hardwares ) e redes de computadores ( network
computers ). Nesse contexto, os sistemas de big data trabalham em redes de
arquitetura distribuída ( distributed hardware ), CPUs com múltiplos núcleos de
29/05/2023, 13:52 Ead.br
processadores ( MULTICore CPUs ), ambientes virtualizados ( virtualized

environments ) e redes de alto desempenho ( high performance networks ).
Os “Vs” do Big Data

A tecnologia do Big Data é fundamentada em, basicamente, três pilares:
velocidade, volume e variedade, conhecida como 3Vs. Entretanto, alguns
autores incluem mais dois Vs: valor e veracidade (TAYLOR-SAKYI, 2016).
As cinco dimensões (pilares) do Big Data podem ser descritas por:
volume: os dados aumentam exponencialmente, nas casas de Petta,

Zetta, Yotta Bytes. Esse aumento de volume foi impulsionado pelas
redes sociais e pelo acesso à internet por grande parte da população;
variedade: essa massa significativa de dados é formada pelos mais
variados tipos de arquivos, desde um simples arquivo de texto a
complexos arquivos multimídia;
velocidade: está associada à velocidade que informações são
produzidas diariamente na internet, graças ao crescente uso de
aparelhos conectados à internet. O usuário passou de somente um
leitor a fornecedor de informações. As informações são geradas,
principalmente, pelas redes sociais;
veracidade: confirmação se a informação (dado) corresponde à
realidade do mundo real;
valor: qual o verdadeiro valor do dado para empresa.
29/05/2023, 13:52 Ead.br
reflita
Reflita
A agência nacional de segurança
americana consegue analisar 1,6% do
tráfego global de dados, cerca de 30
milhões (30 peta bytes) todos os dias.
Você consegue imaginar o volume de
dados a 100%?
A Figura 3.2 apresenta uma explicação macro dos cinco pilares do Big Data.
Figura 3.2 - Cinco pilares

Fonte: 1tjf / 123RF.
#PraCegoVer: O esquema apresenta uma nuvem com a descrição Big Data
dentro de um circulo com cinco retângulos com setas direcionais que
apontam entre si formando um círculo contínuo. Cada retângulo tem um pilar
29/05/2023, 13:52 Ead.br
de Big Data que são Volume, Velocidade, Valor, Veracidade e Variedade.
A Figura 3.2 centraliza o Big Data em cinco pilares: variedade ( variety ) de

dados, velocidade ( velocity ) de produção de dados, volume ( volume ) de
dados, valor agregado aos dados ao negócio (value) e veracidade ( veracity ) da
informação, ou seja, o quanto a informação é verdadeira com relação a sua
aplicação no mundo real.
Esses princípios estão solidificados na ideia de que os dados que transitam no

mundo são gerados em alta velocidade, em grande quantidade e nos mais
variados tipos de arquivos. Entretanto, à medida que as organizações
remodelam seus processos operacionais, necessitam de dados confiáveis,
verdadeiros e que tenham valor para seus planejamentos estratégicos.
Tipos de Dados
Tempos atrás, dados eram geralmente carregados em estruturas tradicionais
de banco de dados e possuíam uma estrutura compreensível. Por exemplo,
dados de um usuário como nome, CPF, e-mail etc., ou dados da venda de uma
certa quantidade de produto, preço da venda, data da venda etc. Esses dados
eram chamados de dados estruturais, porque tinham uma estrutura definida
e fixa. Um exemplo de uma tabela é demonstrado na Figura 3.3.
29/05/2023, 13:52 Ead.br
Figura 3.3 - Dados estruturados

Fonte: Adaptada de aurfupvector / 123RF.
#PraCegoVer: Apresenta uma tabela com quatro colunas e seis linhas. A
primeira coluna nomeada como Coluna 1 contém os seguintes valores
distribuidos nas linhas (140.598), (240.452), (278.564), (360.455), (420.451) e na
útilma linha o total (1.440.520). A segunda coluna nomeada como Coluna 2
contém os seguintes valores distribuidos nas linhas (148.564), (248.698),
(283.478), (364.458), (422.659) e na útilma linha o total (1.467.857). A terceira
coluna nomeada como Coluna 3 contém os seguintes valores distribuidos nas
linhas (153.264), (249.364), (285.421), (368.897), (435.985) e na útilma linha o
total (1.492.931). A quarta coluna nomeada como Coluna 4 contém os
seguintes valores distribuidos nas linhas (201.700), (289.560), (295.120),
(375.562), (482.597) e na útilma linha o total (1.644.539).
Porém, com o passar do tempo, novas tecnologias foram sendo usadas em

sistemas, como o XML ( Extensible Markup Language ). O XML foi muito usado
na transferência de dados entre sistemas não compatíveis, porém, hoje, o
formato Javascript Object Notation (JOSN), por ser mais leve, veio substituir o
formato XML na transferência de arquivos. Embora o XML e JSON sejam
estruturados no formato da linguagem (sintaxe), os dados em si não são
estruturados, sendo, portanto, denominados semiestruturado. A Figura 3.4
ilustra um arquivo no formato JSON.
https://student.ulife.com.br/ContentPlayer/Index?lc=c8HVygcWE3DcS6tBTvrIkg%3d%3d&l=8DC6%2f15XMQ7A4vJoORGVRA%3d%3d&cd=L… 10/44
29/05/2023, 13:52 Ead.br
Figura 3.4 - Dados semiestruturados (JSON)

Fonte: Elaborada pelo autor.
#PraCegoVer: Apresenta em um editor com fundo preto o trecho de um
arquivo JSON (JavaScript Object Notation) com vários campos, tais como, _id,
index, guid, isActive, balance, picture, age, eyecolor, name, gender, company,
email, phone, addres e about.
Já os dados que circulam na internet são denominados não estruturados, pois

não apresentam uma estrutura definida, portanto, podem ser de diversos
tipos, como um arquivo de texto (em formato Word, pdf), vídeo, som, imagem
etc. A Figura 3.5 apresenta um resumo das extensões de dados não
estruturados.
29/05/2023, 13:52 Ead.br
Figura 3.5 - Dados não estruturados

Fonte: Blankstock / 123RF.
#PraCegoVer: Quatro quadrados multicoloridos com confetes coloridos com
um fundo cinza. Nos quadrados estão descritas as extensões de arquivos que
são classificados como contendo dados não estrutuados: *.pdf, *.xml, *.doc e
*.zip.
Sistemas gerenciadores de banco tradicionais não suportam essa

complexidade de dados gerados na internet a cada segundo, mas novas
tecnologias surgiram e muitas compõem as tecnologias que sustentam o Big
Data.
Hadoop: a Tecnologia por trás do Big

Data
Hadoop é uma estrutura de código aberto fornecida e mantida pela Apache
Software Foundation, criada para armazenar, processar e analisar enormes
volumes de dados em um sistema distribuído para clusters, tolerante a falhas,
de baixo custo e flexível. Escrito em Java e altamente usado por grandes
empresas como Facebook, Google, Twitter, LinkedIn, Yahoo etc., é Open Soure
29/05/2023, 13:52 Ead.br
(código aberto), o que significa que seu código-fonte está disponível de graça,
e qualquer empresa pode editá-lo sob a licença General Public License (GPL).
A infraestrutura usada pelo Hadoop é a de ambientes de computação

distribuída em clusters de computadores, para criar modelos de programação
simples para armazenar e processar grandes dados. Basicamente, o Hadoop é
constituído de três componentes: HDFS, MapReduce e Yarn.
O HDFS ou High Disponibility File System é um sistema de arquivo de alta

disponibilidade, alta escalabilidade, confiável e é o núcleo do Hadoop. Esse
sistema de arquivo provê tolerância a falhas.
O MapReduce é um componente fundamental e muito importante do

Hadoop, visto que é um modelo de programação paralela e distribuída que
consegue trabalhar com grandes volumes de dados. O MapReduce trabalha
com dois componentes: Mapper, que mapeia as informações a serem
processadas; e o Reduce, que sumariza as informações.
Já o Yarn é o gerenciador de recurso do Hadoop. Em um sistema de cluster

com muitos nós, a complexidade de gerenciamento, alocação de recursos e
liberação de recursos como memória, CPU e disco são difíceis. Nesse caso, a
Yarn é responsável pela gestão desses recursos, ou seja, é responsável pela
atribuição dos recursos aos pedidos.
Desafios do uso de Hadoop

A inteligência analítica depende de iteratividade e interatividade, porém, no
MapReduce, essas tarefas tornam-se mais custosas e complexas. Os nós
operam de maneira independente, a comunicação é feita por meio de map-
shuffle e sort-reduce, criando diversos arquivos no processo Map-Reduce e
tornando o sistema ineficiente para computação analítica.
Trabalhar com Hadoop com eficiência e eficácia não é para programadores ou

profissionais iniciantes, visto que a demanda de profissionais qualificados
pode ser uma dificuldade.
29/05/2023, 13:52 Ead.br
Os dados são fragmentados entre nós do cluster e podem se tornar um

problema de segurança. A segurança do Hadoop pode provir do protocolo de
autenticação Kerberos.
Embora haja diversas ferramentas no ecossistema Hadoop, faltam

ferramentas para padronização e qualidade de dados. Embora o Big Data seja
emergente e muito utilizado pelas empresas, a mineração de dados é um
outro assunto fundamental para qualificação de dados e foco de estudos no
próximo tópico.
praticar
Vamos Praticar
O Big Data é um conceito novo e emergente que está sendo muito utilizado pelas
empresas para diversos fins. Esse conceito é baseado em cinco pilares que
representam o porquê do uso dessa tecnologia em comparação a um sistema de
banco de dados tradicionais.
Assinale a alternativa que descreve corretamente o pilar e sua respectiva descrição.
a) Volume: relativo ao volume de dados gerados.

b) Veracidade: relativo a dados originais sem modificação.
c) Variedade: relativo à variedade de usuários conectados à internet.
d) Valor: relativo ao valor da instituição que usa a tecnologia.
e) Velocidade: relativo à velocidade de transmissão de dados.
29/05/2023, 13:52 Ead.br
Mineração de
Dados
Segundo Elmasri e Navathe (2011, p. 698), “o objetivo de um Data Warehouse

DW) é dar suporte à tomada de decisão com dados”. A mineração de dados
pode ser usada junto com um DW para ajudar certos tipos de decisões, pode
ser aplicada a bancos de dados operacionais com transações individuais, para
extrair “novos padrões significativos que não podem ser necessariamente
encontrados apenas ao consultar ou processar dados ou metadados no Data
Warehouse” (ELMASRI; NAVATHE, 2011, p. 698).
Para torná-la mais eficiente, o DW deve ter uma coleção de dados agregada
ou resumida. Barbieri (2011) aponta que os conceitos de garimpagem ou
mineração de dados estão relacionados à tendência (para aplicações
comerciais) de buscar correlações escondidas em altos volumes de dados
nem sempre evidentes, principalmente no tratamento cotidiano dos sistemas
de informações. Já para Santos e Ramos (2009), a mineração de dados é uma
fase do processo de DCBD (Descoberta e Conhecimento em Base de Dados) e
consiste na procura de relacionamentos, padrões ou modelos que estão
implícitos nos dados armazenados sem grandes bases de dados.
29/05/2023, 13:52 Ead.br
A mineração de dados é um processo pelo qual os dados são armazenados

eletronicamente, e a busca por padrões é feita automaticamente com base
em regras desenvolvidas sob técnicas de mineração. Esse fato foi explicado há
tempos por economistas estatísticos, meteorologistas e engenheiros que
procuram por dados, validam e os usam em previsões (WITTEN; FRANK; HALL,
2011).
Tarefas da Mineração de Dados

As tarefas associadas à mineração de dados podem ser divididas em dois
grupos: descrição e previsão. A descrição possibilita a identificação de regras
que caracterizam os dados analisados, e a previsão faz uso de informações
da base de dados para prever o valor de uma outra variável.
De acordo com Bery e Linoff (2000 apud SANTOS; RAMOS, 2009), existe uma
diferença entre descrição e previsão que depende do objetivo da tarefa da
mineração de dados, possibilitando um aumento do conhecimento a respeito
dos dados e suporte ao processo de tomada de decisão.
Podemos dizer que, quando se trata de previsão, o melhor e mais adequado

modelo é o que possibilita a realização de uma previsão mais acertada e
elevada, demonstrando superioridade à probabilidade de acertos de outros
modelos disponíveis. Porém, o melhor e mais adequado modelo em descrição
não necessariamente é o que disponibiliza dados mais precisos, mas o que
possibilita um conhecimento mais ampliado dos dados analisados.
Segundo Santos e Ramos (2009), algumas tarefas são associadas à mineração

de dados, como: classificação, segmentação, sumarização e modelação de
dependências. A seguir, apresentamos as principais características das tarefas
da mineração de dados.
Classificação: proporciona um dimensionamento do conjunto de

dados dentro do que são denominadas classes predefinidas,
realizando a identificação de qual classe cada elemento faz parte. A
classificação de dados é um processo dividido em duas fases
29/05/2023, 13:52 Ead.br
distintas, sendo a primeira relacionada à identificação de modelo que

consiga a integração do grupo de classes que segmentam os dados.
Já a segunda fase está relacionada com o processo que classifica, ou
seja, esse modelo faz a aplicação do grupo de dados de testes,
possibilitando a verificação do desempenho na classificação dos
dados desconhecidos. Nos dados apresentados como resultados, é
realizada uma análise com o intuito de averiguar o desempenho do
modelo escolhido. A precisão desse modelo é estipulada com base
na quantidade de registros classificados de forma correta, sendo
comparado ao valor real disponibilizado e armazenado no grupo de
dados de teste, com o valor previsto pelo modelo. Essa tarefa de
classificação é tida como uma tarefa de aprendizagem
supervisionada. Mas o que isso quer dizer? Que os atributos e as
classes que compõem e nortearão o processo de classificação dos
dados já são conhecidos inicialmente. Por exemplo, quando é
necessária a utilização da classificação no reconhecimento do grupo
do qual o item faz parte, como uma empresa que necessita ter em
mãos o padrão de comportamento dos clientes para identificar quais
podem abandonar o serviço.
Segmentação: proporciona a identificação de um conjunto de
classes ou segmentos nos quais os dados analisados são divididos. É
considerada uma tarefa não supervisionada, visto que quem a está
utilizando não tem nenhum tipo de influência na definição das
classes. Os segmentos ocorrem de agrupamentos encontrados nos
dados e que seguem a métrica de similitude. Muitos algoritmos
podem ser empregados para identificar segmentos dos dados.
Primeiro, consideram que todos os dados fazem parte de um só
segmento; em um segundo momento, a divisão acontece entre dois
ou mais segmentos, que são divididos novamente e assim
sucessivamente, até que um número máximo de segmentos seja
atingido, determinado por quem os estão utilizando, ou então até
que métricas utilizadas sinalizem que foi obtido o melhor conjunto.
Parece confuso? Vamos compreender melhor. A segmentação é
semelhante à tarefa de classificação quando o grupo ainda não foi
29/05/2023, 13:52 Ead.br
definido, por exemplo, na tentativa de classificar um perfil de cliente

com base na localização.
Sumarização: possibilita a descrição de determinados grupos de
dados, oferecendo descrições resumidas deles. É possível obter essas
descrições a partir da generalização dos dados. Esse tipo de tarefa
pode ser usado em uma análise exploratória de dados, com a
identificação de grupos de valores ou descrições que permitem a
caracterização dos dados analisados. Santos e Ramos (2009) ainda
ressaltam que a descrição dos dados realizada a partir da
sumarização é um dos objetivos da mineração dos dados por si só,
ou também pode estar inserida e integrada em outras tarefas, como
para a exploração de dados, possibilitando criar oportunidades para
análises futuras. Quer um exemplo para facilitar a compreensão?
Separar cliente por idade ou por área de residências possibilita um
direcionamento de campanhas de marketing e publicidade para
grupos específicos.
Modelação de dependências: o objetivo desse tipo de tarefa está na
identificação de um modelo que realize a descrição de dependências
significativas entre as variáveis. Algumas situações pontuais da
modelação de dependências encontram-se na descrição de
associações e de sequências nos dados. A associação possibilita que
se realize a identificação de relacionamentos entre os registros
armazenados na base de dados, checando a correlação existente
entre eles. Esses relacionamentos que surgem dos dados conseguem
a apresentação de um nível de confiança importante, permitindo a
avaliação do significado das relações encontradas. Como exemplo,
podemos citar quando bens de consumo são comprados
simultaneamente, ou seja, quando, em um supermercado, é
percebido que compradores de salgadinhos têm alta probabilidade
de comprarem, também, uma bebida, como um refrigerante.
Essas técnicas podem ser preditivas ou descritivas, sendo usadas na

mineração de dados para extrair os tipos de padrões. Para informações sobre
eventos passados ou recentes, usa-se a técnica descritiva , por outro lado,
quando se deseja saber respostas das futuras consultas, usa-se a técnica
29/05/2023, 13:52 Ead.br
preditiva que, por sua vez, usa dados históricos como princípio essencial
para decisões. A Figura 3.6 apresenta um resumo das técnicas.
Figura 3.6 - Técnicas de mineração

Fonte: Marigranula / 123RF.
#PraCegoVer: Imagem com um braço e uma mão apontando com o dedo
indicador para um mapa mental que inicia pela mineração de dados e tem
como nós o item Preditivo e Descritivo. No item Preditivo são relacionados os
items classificação, previsão e análise de séries temporais. No item Descritivo
são relacionados os itens associação, clusterização e sumarização.
A Figura 3.6 mostra algumas das técnicas usadas em mineração de dados

como análise preditiva, tarefas como associação, preditiva, entre outras
técnicas que são usadas por empresas na área de telecomunicações,
seguradoras etc.
29/05/2023, 13:52 Ead.br
reflita
Reflita
O Brasil é o país do futebol. Será que a
mineração de dados ajudaria a
encontrar novos Pelés?
Ferramentas de Mineração de Dados

Hoje em dia, as ferramentas de mineração de dados comerciais disponíveis
no mercado fazem uso de técnicas para a extração de conhecimento.
Algumas usam regras de associação, agrupamento, redes neurais,
sequenciação, análise estatística, árvore de decisão, entre outras. Também há
ferramentas que fazem uso de técnicas mais elaboradas e avançadas, como
lógica baseada em caso, algoritmos genéticos, lógica fuzzy, otimização
combinatória, entre outras. As ferramentas de mineração de dados fazem uso
de técnicas para cumprir o objetivo de extrair conhecimento e informações de
volumes imensos de dados
Segundo Elmasri e Navathe (2011), a maioria das ferramentas de mineração

de dados utiliza uma interface denominada ODBC ( Open Database Connectivity
), que é um padrão que opera com banco de dados, permitindo acesso aos
dados na maior parte dos sistemas de bancos de dados, como os conhecidos
Access, dBase, Oracle, SQL Server e Informix. Alguns desses sistemas
29/05/2023, 13:52 Ead.br
possuem interfaces disponíveis para programas característicos de bancos de

dados. Uma grande parte dessas ferramentas roda em ambientes com
sistema operacional Windows e algumas com Unix.
saiba
mais
Saiba mais
A ferramenta de planilha eletrônica da
empresa Microsoft chamada Microsoft Excel
pode ser usada para mineração de dados.
Você pode compreender mais sobre como
usar o MS Excel para minerar dados
integrados a um banco de dados relacional
SQL.
A seguir, serão apresentadas as ferramentas que fazem uso de interface com

o usuário e interface de programação de aplicações (ELMASRI; NAVATHE,
2011).
Interface com o usuário: grande parte das ferramentas conhecidas

são executadas em ambientes que possuem interface com o usuário,
chamada Graphic User Interface (GUI). Dentro dos recursos
disponíveis podem estar incluídas técnicas de visualização
elaboradas e refinadas de exibição de dados e regras. Logo, pode-se
exemplificar a ferramenta MineSet, da SGI, que possui a capacidade
de manipular dados de forma interativa. Outra forma de interface
são as baseadas em textos. Disponível para ambientes Unix, o
Intelligent Miner, da empresa IBM, é um exemplo.
Interface de programação de aplicações: a maior parte dos
produtos disponíveis não possibilita a utilização de funções internas,
29/05/2023, 13:52 Ead.br
entretanto, alguns fornecem a permissão para que o programador

de aplicação realize a reutilização de seu código. As interfaces mais
conhecidas são biblioteca C e Dynamic Link Libraries, as conhecidas
DLLs. Um ponto importante para destacar é que algumas
ferramentas ainda podem incluir linguagens próprias de comando de
banco de dados.
Elmasri e Navathe (2011) destacam que existe em torno de 100 ferramentas

de mineração de dados disponíveis pelo mundo. Além das americanas, tem a
holandesa Data Surveyor e a russa PolyAnaly.
Uma lista de ferramentas de mineração de dados disponíveis atualmente no

mercado, com as devidas técnicas utilizadas por cada uma e o ambiente em
que rodam está apresentada no Quadro 3.1.
29/05/2023, 13:52 Ead.br
Empresa Produto Técnica Plataforma Interface*
Árvores de
decisão,
Windows Microsoft
AcknoSoft Kate raciocínio
UNIX Access
baseado em
caso
Árvores de
Knowledge
Angoss decisão, Windows ODBC
SEEKER
estatística
Redes
Business Business neurais,
Windows ODBC
Objects Miner aprendizado
de máquina
Análise
estatística, Windows
CrossZ QueryObject ODBC
algoritmo de MVS UNIX
otimização
Abrangente,
pode misturar ODBC
Data Data diferentes compatível
Unix
Distilleries Surveyor tipos de com
mineração de ODMG
dados
Análise OLAP,
DBMiner associações,
Microsoft
Technology DBMiner classificação Windows
7.0 OLAP
Inc. algoritmos de
agrupamento
29/05/2023, 13:52 Ead.br
Classificação,
regras de
Intelligent
IBM associação, UNIX (AIX) IBM DB2
Miner
modelos de
previsão
Aquisição de
conhecimento ODBC
Megaputer Windows
PolyAnalyst simbólico, Oracle
intelligence OS/2
programação DB2
evolucionária
Management
Regras de
NCR Discovery Windows ODBC
associação
Tool (MDT)
Árvores de
Oracle
Purple decisão,
MineSet UNIX (irix) Sybase
Insight regras de
Informix
associação
Árvores de
UNIX
decisão, ODBC
Enterprise (solaris)
SAS redes neurais, Oracle
Miner Windows
regressão, AS/400
Macintosh
agrupamento
Quadro 3.1 - Lista de ferramentas
Fonte: Adaptado de Elmasri e Navathe (2011, p. 717).
Com a crescente utilização de conceitos e aplicações de Business Intelligence

(BI), surgiu a necessidade de ferramentas variadas e especializadas em
mineração de dados. Barbieri (2011) classifica as ferramentas de mineração
de dados da seguinte forma:
29/05/2023, 13:52 Ead.br
Ferramentas independentes de aplicação genérica: são as que

disponibilizam um vasto conjunto de recursos e técnicas de
visualização, com abordagens mais simplificadas – como é o caso da
análise de regressão – e também abordagens mais elaboradas e
avançadas – como as redes neurais, regras de associação e análises
de agrupamentos.
Essas ferramentas necessitam que uma equipe possua formação na área de

Estatística para o momento de preparo dos dados a serem garimpados e
extraídos, exigindo um tempo mais longo para a implantação do projeto.
Nessa categoria de ferramentas, podemos citar a IBM DB2 Intelligent Miner,
da IBM Corp, apresentada em versão dedicada de forma exclusiva à
mineração de textos e que consegue a mineração de dados em geral; a
Enterprise Miner, do SAS Inc, a Clementine, da SPSS, posteriormente
incorporada à IBM, denominada de IBM SPSS Modeler, que possibilita que o
projeto de mineração seja exportado como um programa na linguagem C e
utilizado em outros sistemas de suporte à decisão da empresa, e ainda a
ferramenta Família Knowledge, da Angoss Software Corp.
Ferramentas orientadas para algoritmos: são as que fazem uso de

tipos de algoritmos que podem proporcionar um melhor
desempenho. Para tanto, é preciso um completo entendimento
acerca da problemática a ser resolvida para a mais adequada e
correta técnica a ser aplicada.
Ferramentas dessa categoria podem proporcionar um resultado melhor do

que das demais. Como exemplos estão Knowledge Seeker, da Angoss,
utilizando árvores de decisão e a NeuralWorks, da NeuralWare, para
aplicações que necessitam de complexos algoritmos de redes neurais.
Ferramentas orientadas a aplicações específicas: nessa categoria se

enquadram as ferramentas que precisaram passar por adaptações
para conseguirem trabalhar com aplicações como CRM, database
marketing, entre outras. São fáceis de serem utilizadas,
possibilitando que se desenvolvam aplicações por meio da
orientação de tutoriais; entretanto, são desenvolvidas para certos
29/05/2023, 13:52 Ead.br
tipos de sistemas, não permitindo grandes variações. Podemos

destacar o Portrait Customer Analytics, da Portrait Software, que foi
comprada pela Pitney Bowes, e as ferramentas da FICO ( Fair Isaac
Company ).
Ferramentas embutidas em soluções OLAP: geralmente, são
relacionadas a produtos de bancos de dados e aplicações de
Business Intelligence (BI) ou Processamento Analítico On-line
(OLAP).
Proporcionam recursos mais simples, com algoritmos comuns e de fácil

aplicação. Como exemplos estão Business Miner, da Business Object, o
Scenario, da Cognos, que foi incorporada pela IBM, as ferramentas de data
mining dentro do SQL/Server 2008 da Microsoft e a Suíte de data mining da
Oracle.
Ferramentas e serviços de provedores externos: são as mais

completas, porque envolvem a prestação dos serviços de mineração
de dados. Os serviços citados englobam desde a abordagem de
metodologias para mineração de dados até hosting dos serviços de
garimpagem de dados, enquadrando-se em um novo conceito. O DW
Appliance, fornecido pela IBM, Oracle e HP são exemplos.
Então, há diversas ferramentas de mineração de dados disponíveis no

mercado, cada uma com suas particularidades e aplicações. Embora a
mineração de dados seja uma tecnologia explorado no mercado, Data Lake é
um conceito emergente e também foco de estudo do nosso próximo tópico.
praticar
Vamos Praticar
29/05/2023, 13:52 Ead.br
A mineração de dados é uma técnica de encontrar padrões em um repositório de

dados ou em uma massa de dados. Essa técnica faz uso de algoritmos que são
rotinas predefinidas, que permitem uma busca por um determinado padrão na
massa de dados.
Sendo assim, assinale a alternativa que apresenta um algoritmo utilizado em

conjunto com a técnica de mineração na técnica de classificação.
a) Algoritmos de redes neurais.

b) Árvore binária.
c) Redes neurais.
d) Algoritmo first-in-first-out (fifo).
e) Round-robin.
29/05/2023, 13:52 Ead.br
Data Lake
Data Lake é uma arquitetura emergente que evoluiu para atender à

necessidade das organizações de se adaptarem à nova realidade de negócios.
Empresas posicionam o objetivo com foco no cliente, são sensíveis aos seus
feedbacks e ficam atentas a posicionamentos negativos. A fim de recuperar o
atraso com o cenário de negócios em mudança, há imenso potencial para a
construção de um Lago de Dados para armazenar, processar e analisar
enormes quantidades de dados estruturados e não estruturados (JOHN;
MISRA, 2017).
Um Lago de Dados pode ter definições flexíveis. Entretanto, no conceito

fundamental, é um repositório de armazenamento e processamento de
dados no qual todos os dados em uma organização podem ser colocados
para que todos os sistemas internos e externos, parceiros, e os dados dos
colaboradores entram nele e os insights surgem.
A seguir, apresentamos algumas características de um Data Lake:
é um enorme repositório que contém formato bruto de arquivos;

não é Hadoop;
29/05/2023, 13:52 Ead.br
as ferramentas usadas no Data Lake são diferentes;

não é um banco de dados tradicional;
implementações no Data Lake fazem uso de vários bancos de dados
NoSQL e In-Memory;
um Lago de Dados complementa várias funcionalidades de um Data
Warehouse;
armazena grandes volumes de dados não estruturados e
estruturados;
não é voltado para transação Processamento;
auxilia na criação de modelos de dados que são flexíveis e podem ser
revisados sem redesenho do banco de dados;
executa o enriquecimento de dados: aumento, classificação e
padronização dos dados;
permite modelos preditivos quase em tempo real e mais precisos
que vão além da amostragem e ajudam na geração de modelos
multidimensionais;
um cientista de dados pode realizar quaisquer consultas ad-hoc e
construir um modelo avançado em qualquer tempo, iterativamente.
permite modelar os dados, não só na forma relacional tradicional,
mas com o valor real dos dados.
A flexibilidade no armazenamento de todos os dados em um único local ou

repositório de Big Data, criando múltiplos pontos de vista, permite que uma
arquitetura como a do Data Lake implemente controles para a consistência de
dados corporativos.
Controles são aplicados por políticas de governança da informação, logo,

fazem uso de Master Data Management (MDM), Pesquisa Gerenciamento de
dados (RDM) e de outros diversos controles de segurança, colaboração
corporativa e controles de acesso implementado.
Design do Data Lake
29/05/2023, 13:52 Ead.br
A simplificação de custos e TI são as maiores características do Data Lake. Em

um Data Lake, diversos sistemas podem ser fontes de dados. Fontes como
sistemas tradicionais relacionais, sistemas de arquivos estáticos, registros na
web ou dados de sensores providos da Internet das Coisas podem ou não ser
dados estruturados.
Uma camada analítica é construída dentro dos processos do Data Lake,

portanto, há necessidade de uma definição, um esquema e uma estrutura
para os dados brutos. A partir desse ponto, com base nas diretrizes
estabelecidas pela governança de dados, os dados são consumidos pela
aprendizagem preditiva modelos, aplicações de Business Intelligence (BI) e
faixas de ciência de dados. A Figura 3.7 apresenta essa estrutura de um Data
Lake empresarial.
Figura 3.7 - Estrutura de um Data Lake

Fonte: Adaptada de Gupta e Giri (2018, p. 14).
#PraCegoVer: Representa a estrutura de Data Lake Empresarial. No centro
tem-se o desenho de um cilindro azul representando o Hadoop onde esta a
camada de dados e uma função f(x) que gera a camada de análise. A esquerda
do Cilindro do Hadoop um quadrilatero azul claro na vertical com a seguinte
descrição: “Camada de aquisição de dados. Fonte para Data Lake (integração).
* Captura de dados; * Sistema de ETL. * Inserção de dados não estruturados”.
Mais a esquerda do quadrilatero tem quatro quadrados com as seguintes
descrições: Recursos Humanos (estruturado); Finanças (estruturado); ERP
29/05/2023, 13:52 Ead.br
(estruturado e arquivos); Seimisc (não estruturado). A direita do Cilindro do

Hadoop um quadrilatero azul claro na vertifical com a seguinte descrição:
“Consumo de dados. * Modelos analíticos; * Pesquisa Ad-hoc; * Análise de BI”.
Também aparecem cinco nuvens abaixo e a direita do quadrilatero direito
com as seguintes descrições: Descoberta e exploração de dados; Visualização
de dados; Aplicações BI; Análise de Recursos Humanos, Finanças e Negócio;
Mineração de dados / Modelo de aprendizado profundo.
A Figura 3.8 ilustra as etapas envolvidas no planejamento de um Data Lake e

execução. Note que, na fase de construção, as tarefas são concentradas nos
dados em comparação com a fase de planejamento.
Figura 3.8 - Etapas de um Data Lake

Fonte: Adaptada de Gupta e Giri (2018, p. 19).
#PraCegoVer: Uma escada azul com as etapas de Planejamento de um Data
Lake e uma escada verde com as etapas de construção do Data Lake. As
etapas do Planejamento de uma Data Lake estão representadas em cinco
degraus com as seguintes descrições em cada degrau: Identificação dos
desafios, Solução estratégica (desenvolvimento e implantação), Prever
crescimento de dados, Planejamento de infraestrutura e Estratégia
operacional. As etapas da Construção do Data Lake estão representadas em
cinco degraus com as seguintes descrições em cada degrau: Identificação das
fontes de dados e consumidores, Estratégia de inserção de dados, Estratégia
29/05/2023, 13:52 Ead.br
de aquisição de dados, Análise de dados e Consumo de dados.
Desafios impulsionaram o conceito de um Data Lake em uma empresa e

permitiram modificar a forma de tratamento, processamento e
armazenamento de dados. No início, os dados das aplicações eram
armazenados individualmente, em um processo tradicional, porém, um novo
tipo de armazenamento insere todos os dados em somente um único
repositório, Data Lake, e permite que esses aplicativos individuais comecem a
expor esses dados da organização por meio de acesso de Data Mart ou como
uma camada de acesso de dados sobre um Data Warehouse (DW).
Tecnologias como Big Data, Mineração de Dados e Data Lake são novas,
resultado de uma evolução natural do mundo de Tecnologia da Informação e
Comunicação agregada ao negócio. No próximo tópico, veremos exemplos de
como organizações de diferentes áreas utilizam a mineração de dados para
alcançarem seus objetivos estratégicos.
praticar
Vamos Praticar
O volume de informações que trafega diariamente na internet extrapola a
capacidade de gerenciadores de banco tradicionais. Essas informações são dados
dos mais variados tipos, como arquivos textuais, imagens, registro de banco de
dados, arquivos de transferência de dados etc. Algumas tecnologias emergentes
conseguem manipular esses dados.
Com base no texto, assinale a alternativa que apresenta uma tecnologia que agrupa
dados brutos em um único repositório.
29/05/2023, 13:52 Ead.br
a) Hadoop.
b) Data Lake.
c) MapReduce.
d) Data mining.
e) Yarn.
29/05/2023, 13:52 Ead.br
Na Prática
Empresas dos mais variados segmentos da economia e de diversos portes

fazem uso da mineração de dados para alcançar seus objetivos e metas
estratégicas, tais como: crescimento dos lucros, redução dos gastos, obtenção
de competitividade, superação da concorrência, expansão dos negócios, entre
tantos outros.
As ferramentas de mineração de dados podem ser utilizadas em áreas, como:
na saúde , por meio do auxílio e indicação de diagnósticos mais

precisos e mais rápidos;
na política , na identificação do perfil e padrão comportamental dos
eleitores;
nas vendas , para a identificação do perfil, padrão de
comportamento dos consumidores, bem como suas necessidades e
preferências;
no setor financeiro , para a identificação de padrões para o auxílio
no gerenciamento de relacionamento com o cliente;
29/05/2023, 13:52 Ead.br
na gestão de pessoas , na identificação e análise de competências e

habilidades nos currículos de candidatos;
no setor de cobranças , para detecção de fraudes.
Você consegue ter a dimensão do quanto é importante e valioso para essas

organizações terem acesso a informações e, a partir disso, conseguirem
alcançar resultados positivos e significativos?
Vamos, a seguir, conhecer alguns casos práticos de utilização de ferramentas

de mineração de dados por grandes empresas.
Grande Loja de Departamento

Barbieri (2011) relata o caso da utilização de mineração de dados em uma
grande rede de lojas de departamentos dos Estados Unidos.
Em 2004, havia a previsão de um grande furacão em direção à região sul do

país. A empresa decidiu garimpar os dados de produtos de consumo
registrados na área e descobriu que, em outras passagens de furacões, houve
um aumento significativo de produtos, não necessariamente relevantes a
uma situação de emergência.
Com a realização das análises, a empresa descobriu que, no lugar de lonas,

lanternas e pregos, uma torta de morango teve o consumo aumentado em
sete vezes. Outra curiosidade constatada foi que a cerveja foi o produto mais
vendido no período antes da passagem do furacão.
Com o levantamento desses dados, a empresa decidiu organizar uma

operação de logística para deslocamento de estoques desses produtos para a
região em questão. A análise realizada com base em históricos anteriores de
dados possibilitou a rede de departamentos alcançar enormes lucros. A
empresa conseguiu compreender o comportamento de seus clientes em
momentos de aflição, quando estão expostos a riscos de tornados e furacões,
a partir do uso da mineração de dados em um Data Warehouse (DW).
29/05/2023, 13:52 Ead.br
Empresa do Setor de Saúde no Brasil

Segundo Barbieri (2011), uma grande empresa de saúde do Brasil decidiu
realizar a aplicação de técnicas de mineração de dados em suas ações
preventivas. Por exemplo, clientes mulheres foram divididas por áreas de
trabalho, e constatou que existia um comportamento padrão relacionado à
faixa de idade quando se tornam gestantes. A partir dessa técnica, foi possível
calcular com um grau de precisão mais elevado os gastos médios de cada
grupo e realizar ajustes necessários nos valores dos serviços oferecidos pela
empresa.
Outra aplicação diz respeito à redução dos custos com internações

hospitalares. A empresa de saúde, por meio da aplicação de mineração de
dados entre seus mais de cinco milhões de beneficiários, coletou
características e histórico de saúde, como obesidade, hipertensão, diabetes
ou indicadores elevados de colesterol, entre outros índices. Adicionando
essas informações a um sistema de call center , a empresa conseguiu uma
interação maior com clientes, com o intuito de realizar a conscientização
sobre essas condições de saúde e implementar ações preventivas que
resultaram em redução em torno de 48% nas internações (BARBIERI, 2011).
Empresa do Setor Financeiro

Santos e Ramos (2009) descrevem que uma empresa do setor financeiro dos
Estados Unidos, fundada em 1888, é especializada em seguros de vida de
acordo com as necessidades dos clientes, a classe média dos americanos.
Na década de 1980, a empresa passou a trabalhar com produtos financeiros

para clientes pessoa física e empresas. Uma área de grande importância para
a empresa é o setor de marketing, que necessita não só manter contato,
como também conhecer o perfil e comportamento de seus clientes. As
informações da empresa estavam armazenadas em mais de 25 sistemas
informatizados diferentes, sem comunicação entre eles.
29/05/2023, 13:52 Ead.br
A empresa decidiu implantar um DW de marketing que comportasse e

abrangesse todas as informações sobre os clientes. Esse poderoso banco de
dados, alinhado com um conjunto de ferramentas de mineração de dados,
serviu de base para uma nova forma de gestão de relacionamento com
clientes. A empresa investiu em colaboradores com conhecimento do negócio
e com competências técnicas para a melhor utilização possível das
informações armazenadas no Data Warehouse.
Um ponto importante para o sucesso da implantação foi o trabalho a partir de

algumas campanhas de marketing que geraram resultados imediatos e
significativos como: campanha para adoção de pagamento eletrônico como
processo de preferência no momento de pagamento dos valores de apólices;
campanha para contato com os atuais clientes e oferecimento de produtos
que complementassem os serviços já adquiridos, levando à identificação
daqueles clientes que poderiam comprar os produtos complementares e
como resultado o crescimento nas vendas; campanha de vendas de
coberturas complementares com o objetivo de identificar clientes com poucos
riscos que tivessem cobertura pela apólice e oferecer coberturas extras;
campanha de identificação dos clientes mais lucrativos e aqueles que
poderiam adquirir outros produtos; e campanha que visava fornecer
informações sobre os clientes e mercados aos agentes de seguros.
O desenvolvimento de todas essas campanhas levou a empresa a resultados

positivos e impactantes nas vendas, além do melhor conhecimento sobre
seus clientes, necessidades e preferências.
praticar
Vamos Praticar
29/05/2023, 13:52 Ead.br
Na prática, o mercado é competitivo e encontrar novos caminhos ou solidificar os

antigos passa por tomada de decisões. As empresas adotam sistemas com
tecnologias como Big Data e Data Mining para buscar embasamento por melhores
tomadas de decisões estratégicas.
Sendo assim, assinale a alternativa que apresenta um cenário (sistema) em que o

Big Data e Data podem ser aplicados.
a) Análise de uso de prótese dentária.

b) Análise do tempo de registro Web.
c) Análise de dashboard .
d) Análise de perfil de investidor financeiro.
e) Análise de número de matrículas.
29/05/2023, 13:52 Ead.br
indicações
Material
Complementar
LIVRO
Aprenda mineração de dados: teoria e

prática
Fernando Amaral
Editora: Alta Books
ISBN: 978.857.608.988-9
Comentário: Esse é um livro que traz uma proposta
diferenciada, com uma linguagem mais didática para o
entendimento dos fundamentos da mineração de
dados, com exemplos de aplicação por empresas.
29/05/2023, 13:52 Ead.br
FILME
Transcendence – A Revolução
Ano: 2014
Comentário: Esse filme tem ingredientes de
Inteligência Artificial (IA), física quântica, nanotecnologia
e Big Data. O ator Johnny Depp interpreta Dr. Will
Caster, reconhecido e famoso pesquisador na área de
IA, que sofre tentativa de morte quando está
analisando milhares de dados sobre o cérebro, com o
intuito de desenvolver uma máquina com a capacidade
de lidar com informações de todos os tipos e fontes
(Big Data) com as emoções humanas.
Para conhecer mais sobre o filme, acesse o vídeo a
seguir.
TRAILER
29/05/2023, 13:52 Ead.br
conclusão
Conclusão
Nesta unidade, você compreendeu que a tecnologia Big Data é um conceito
que se refere a uma imensa quantidade de dados e informações
armazenados e representa um grande desafio às empresas contemporâneas,
que precisam saber como lidar com esse excesso de dados e transformá-los
em informações úteis e relevantes para auxiliar na tomada de decisão.
Outro ponto importante destacado foi a mineração de dados, isto é, o

processo de exploração e extração, feito de maneira automática, em grandes
quantidades de dados armazenados em bancos de dados e de como
identificar padrões de comportamento.
Você também foi apresentado à nova e emergente tecnologia denominada

Data Lake, que é definida por um armazenamento de dados brutos usados
por empresas para inserir dados em um único repositório para diversos
propósitos. Por fim, foram apresentados alguns exemplos práticos de uso das
tecnologias da unidade.
referências
Referências
Bibliográficas
29/05/2023, 13:52 Ead.br
AMARAL, F. Aprenda mineração de dados: teoria e prática. Rio de Janeiro:

Alta Books, 2016.
BARBIERI, C. BI2 – Business Intelligence: modelagem & qualidade. Rio de

Janeiro: Elsevier, 2011.
ELMASRI, R.; NAVATHE, S. B. Sistema de banco de dados. 6. ed. São Paulo:

Pearson Addison Wesley, 2011.
FERNANDES, A. A.; ABREU, V. F. A. Implantando a governança de TI: da

estratégia à gestão dos processos e serviços. 4. ed. Rio de Janeiro: Brasport,
2014.
GUPTA, S.; GIRI, V. Practical Enterprise Data Lake Insights: Handle Data-
Driven Challenges in an Enterprise Big Data Lake. Apress, 2018.
JOHN, T.; MISRA, P. Data Lake for Enterprises . Packt Publishing Ltd, 2017.
PASUPULETI, P.; PURRA, B. S. Data lake development with big data . Packt
Publishing Ltd, 2015.
SANTOS, M. Y.; RAMOS, I. Business Intelligence: tecnologias da Informação

na Gestão de Conhecimento. Lisboa: FCA, 2009.
TAYLOR-SAKYI, K. Big data: understanding big data. arXiv preprint

arXiv:1601.04602, 2016.
WITTEN, I. H.; FRANK, E.; HALL, M. A. Data Mining: Practical Machine Learning
Tools and Techniques. 3. ed. Santos: Morgan Kaufmann, 2011.
29/05/2023, 13:52 Ead.br
29/05/2023, 13:52 Ead.br

Pratica BD - Capitulo 3

Enviado por

Direitos autorais:

Formatos disponíveis

Pratica BD - Capitulo 3

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Pratica BD - Capitulo 3

Enviado por

Direitos autorais:

Formatos disponíveis

29/05/2023, 13:52 Ead.

PRÁTICAS DE BANCO DE DADOS

Você ficará familiarizado com tópicos a respeito do conceito de Big Data,

Nos tempos atuais, com o surgimento de novas configurações e maneiras de

Um dos desafios das empresas na Era da Informação na qual vivemos é saber

Pode-se dizer que Big Data é um conjunto de soluções de tecnologia que

Para Siewert (2013 apud FERNANDES; ABREU, 2014, p. 557),

[...] Big Data é a captura, gerenciamento e a análise de dados que

A Figura 3.1 elucida diferenças entre um sistema de Big Data e os sistemas

Figura 3.1 - Tradicional x Big Data

#PraCegoVer: Apresenta uma quadro com comparativo dos sistemas

Os sistemas tradicionais ( tradicionais systems ) e sistema de Big Data ( big data

As aplicações usuários finais ( end-user applications ), nos sistemas tradicionais

Com relação à virtualização ( virtualization ), os sistemas tradicionais executam

virtualização avançada ( advanced virtualization ), nuvem de tag ( tag cloud ) e

Com relação às ferramentas analíticas ( analytics tools ), os sistemas

A relação com os gerenciados de banco de dados ( Data Management ) está

Na infraestrutura e armazenamento ( infra and storage ), os sistemas

processadores ( MULTICore CPUs ), ambientes virtualizados ( virtualized

Os “Vs” do Big Data

As cinco dimensões (pilares) do Big Data podem ser descritas por:

volume: os dados aumentam exponencialmente, nas casas de Petta,

Figura 3.2 - Cinco pilares

de Big Data que são Volume, Velocidade, Valor, Veracidade e Variedade.

A Figura 3.2 centraliza o Big Data em cinco pilares: variedade ( variety ) de

Esses princípios estão solidificados na ideia de que os dados que transitam no

Figura 3.3 - Dados estruturados

Porém, com o passar do tempo, novas tecnologias foram sendo usadas em

Figura 3.4 - Dados semiestruturados (JSON)

Já os dados que circulam na internet são denominados não estruturados, pois

Figura 3.5 - Dados não estruturados

Sistemas gerenciadores de banco tradicionais não suportam essa

Hadoop: a Tecnologia por trás do Big

A infraestrutura usada pelo Hadoop é a de ambientes de computação

O HDFS ou High Disponibility File System é um sistema de arquivo de alta

O MapReduce é um componente fundamental e muito importante do

Já o Yarn é o gerenciador de recurso do Hadoop. Em um sistema de cluster

Desafios do uso de Hadoop

Trabalhar com Hadoop com eficiência e eficácia não é para programadores ou

Os dados são fragmentados entre nós do cluster e podem se tornar um

Embora haja diversas ferramentas no ecossistema Hadoop, faltam

Assinale a alternativa que descreve corretamente o pilar e sua respectiva descrição.

a) Volume: relativo ao volume de dados gerados.

Segundo Elmasri e Navathe (2011, p. 698), “o objetivo de um Data Warehouse

A mineração de dados é um processo pelo qual os dados são armazenados

Tarefas da Mineração de Dados

Podemos dizer que, quando se trata de previsão, o melhor e mais adequado

Segundo Santos e Ramos (2009), algumas tarefas são associadas à mineração

Classificação: proporciona um dimensionamento do conjunto de

distintas, sendo a primeira relacionada à identificação de modelo que

definido, por exemplo, na tentativa de classificar um perfil de cliente

Essas técnicas podem ser preditivas ou descritivas, sendo usadas na

Figura 3.6 - Técnicas de mineração

A Figura 3.6 mostra algumas das técnicas usadas em mineração de dados

Ferramentas de Mineração de Dados

Segundo Elmasri e Navathe (2011), a maioria das ferramentas de mineração

possuem interfaces disponíveis para programas característicos de bancos de

A seguir, serão apresentadas as ferramentas que fazem uso de interface com

Interface com o usuário: grande parte das ferramentas conhecidas