Big Data, processamento distribuído, volume, velocidade e variedade

Do zero

Big Data é quando os dados ficam grandes demais, chegam rápido demais ou vêm em formatos variados demais para um computador e um banco de dados comum darem conta. A definição clássica usa três Vs:

• Volume: a quantidade. Bilhões de notas fiscais eletrônicas de todos os municípios.
• Velocidade: o ritmo com que chegam e precisam ser tratados. Notas novas a cada minuto.
• Variedade: os formatos. XML, PDF, planilhas, fotos de documentos, textos de denúncias.

Muitos autores acrescentam veracidade (os dados são confiáveis?) e valor (servem para alguma decisão?), chegando a cinco Vs.

Para dar conta disso, em vez de um supercomputador, usa-se o processamento distribuído: muitos computadores comuns (um cluster) dividindo o trabalho. É como a apuração de uma eleição: cada seção conta os próprios votos ao mesmo tempo, e no fim alguém soma os totais. Ninguém leva todas as urnas para uma sala só.

Frase para guardar: Big Data são os Vs (volume, velocidade, variedade); a saída é dividir os dados e o trabalho entre muitas máquinas e levar o processamento até onde os dados estão.

Em 1 minuto

• Escalabilidade horizontal: crescer acrescentando máquinas ao cluster, em vez de trocar por uma máquina maior (vertical).
• Hadoop: o HDFS guarda arquivos enormes divididos em blocos (128 MB por padrão), cada um replicado em vários nós (três cópias por padrão), para tolerar falhas; o YARN gerencia os recursos do cluster; o MapReduce processa em duas fases.
• MapReduce: o map processa cada pedaço onde ele está e emite pares chave-valor; o shuffle agrupa os pares de mesma chave; o reduce combina cada grupo no resultado final.
• Apache Spark: processamento distribuído em memória, muito mais rápido que o MapReduce em tarefas que repetem etapas sobre os mesmos dados (como aprendizado de máquina); tem DataFrames, Spark SQL, streaming e a biblioteca MLlib.
• Lote × fluxo: o processamento em lote (batch) trata grandes conjuntos de tempos em tempos (o fechamento do mês); o em fluxo (streaming) trata cada evento ao chegar (Kafka, Spark Structured Streaming, Flink).
• Data lake × data warehouse: o lake guarda dados brutos, em formatos originais, e aplica o esquema só na leitura (schema-on-read); o warehouse guarda dados tratados e modelados para análise, com o esquema definido na gravação (schema-on-write). O lakehouse combina os dois.
• Formatos colunares (Parquet, ORC) guardam os dados por coluna e aceleram as consultas que leem poucas colunas de muitas linhas.

Exemplo concreto: o total de compras por fornecedor

O Tribunal quer saber, entre bilhões de itens de notas fiscais de todos os municípios, quanto cada fornecedor (CNPJ) vendeu no ano.

Entrada (espalhada em blocos pelo cluster)   Map (em cada nó, onde o bloco está)
nota 1: CNPJ A, R$ 1.000                     (A, 1000)
nota 2: CNPJ B, R$ 500                       (B, 500)
nota 3: CNPJ A, R$ 300                       (A, 300)
nota 4: CNPJ C, R$ 2.000                     (C, 2000)

Shuffle (agrupa por chave)                   Reduce (combina cada grupo)
A → [1000, 300]                              A → 1.300
B → [500]                                    B → 500
C → [2000]                                   C → 2.000

Cada nó faz o map nos blocos que já tem guardados, sem copiar os dados pela rede: o processamento vai até os dados. Se um nó cai, o bloco existe em outros dois, e a tarefa é refeita lá.

No Spark, a mesma conta cabe em poucas linhas, e os dados intermediários ficam em memória:

notas = spark.read.parquet("s3://tce/notas-fiscais/2026/")
total = notas.groupBy("cnpj").sum("valor")
total.write.parquet("s3://tce/analises/total-por-cnpj/")

E para acompanhar as notas à medida que chegam (fluxo), um alerta dispara quando um fornecedor novo emite, num só dia, notas acima de um limite: isso é processamento em streaming, sobre eventos lidos de uma fila como o Kafka.

Comparação: tecnologias e conceitos

Como a FCC cobra

• Escalabilidade horizontal × vertical.
• Data lake × data warehouse; schema-on-read × schema-on-write.
• Processamento em lote × em fluxo.
• Dados estruturados, semiestruturados (XML, JSON) e não estruturados (texto, imagem).

Pegadinhas

Explique com suas palavras

Explique a um gestor, com o exemplo das notas fiscais, por que o Big Data exige processamento distribuído e como o MapReduce soma as compras por fornecedor.

1. Escreva sem olhar a lição, com frases curtas e um exemplo seu.
2. Onde travar ou precisar de jargão, há uma lacuna: releia só essa parte.
3. Compare com a explicação-modelo e reescreva o que faltou.

Sua explicação

Fica salva neste navegador.

Comparar com uma explicação-modelo

As notas fiscais de todos os municípios são tantas, chegam tão depressa e em tantos formatos que nenhum computador sozinho daria conta de analisá-las a tempo. A saída é dividir: os dados ficam espalhados em pedaços por dezenas de máquinas, e cada máquina trabalha nos pedaços que já tem, ao mesmo tempo que as outras.

Para somar as compras por fornecedor, cada máquina lê as suas notas e anota, para cada uma, o CNPJ e o valor. Depois, todas as anotações de um mesmo CNPJ são reunidas, venham de onde vierem, e somadas. É como a apuração de uma eleição: cada seção conta os seus votos, e no fim se somam os totais de cada candidato.

Teste-se

Mais duas questões deste tópico estão em Questões.

Flashcards gerados

Ligação com o estudo de caso

Num caso sobre analisar grandes bases (notas fiscais, folhas de pagamento, contratos de todos os municípios), proponha a arquitetura em camadas: ingestão em lote e em fluxo, um data lake com os dados brutos e um catálogo, processamento distribuído com Spark, um warehouse ou painel com os indicadores tratados, e cuidados de governança e de proteção dos dados pessoais. Justifique cada peça pelos Vs do problema.

Fontes da lição

• Edital nº 01/2026, Anexo II, Inteligência Artificial, Ciência de Dados e Automação (fontes/edital-01-2026.txt).
• Jeffrey Dean e Sanjay Ghemawat, “MapReduce: Simplified Data Processing on Large Clusters” (2004).
• Documentação do Apache Hadoop: arquitetura do HDFS (blocos e replicação).
• Documentação do Apache Spark.