Formatos de Arquivo

Formatos colunares (Parquet, Arrow) dominam pipelines de análise: comprimem bem, embutem esquema e permitem que leitores carreguem apenas as colunas necessárias.

Receita

Cartão de receita de referência rápida - pronto para copiar e colar.

import pandas as pd
 
df = pd.read_csv("orders.csv", parse_dates=["ordered_at"])
df.to_parquet(
    "lake/orders/dt=2025-01-15/data.parquet",
    index=False,
    compression="zstd",
)
# Ler de volta colunas selecionadas
subset = pd.read_parquet("lake/orders", columns=["order_id", "revenue"], filters=[("dt", ">=", "2025-01-01")]

Quando usar isso:

• Camadas raw e mart do Lakehouse em armazenamento de objetos
• Transição entre Python, Spark, Polars e DuckDB
• Redução de custo de armazenamento vs gzip CSV
• Evolução de esquema com colunas documentadas

Exemplo de Trabalho

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
 
df = pd.DataFrame(
    {
        "order_id": [1, 2, 3],
        "region": pd.Categorical(["East", "West", "East"]),
        "revenue": [120.0, 340.0, 150.0],
        "ordered_at": pd.to_datetime(["2025-01-01", "2025-01-02", "2025-01-03"], utc=True),
    }
)
 
# pandas -> Tabela Arrow (zero-copy onde possível)
table = pa.Table.from_pandas(df, preserve_index=False)
 
out_dir = Path("lake/orders/dt=2025-01-15")
out_dir.mkdir(parents=True, exist_ok=True)
pq.write_table(
    table,
    out_dir / "data.parquet",
    compression="zstd",
    use_dictionary=True,
)
 
# Ler metadados sem carregar dados
meta = pq.read_metadata(out_dir / "data.parquet")
print("linhas:", meta.num_rows, "colunas:", meta.num_columns)
 
# Leitura com poda de colunas
loaded = pq.read_table(out_dir / "data.parquet", columns=["order_id", "revenue"])
print(loaded.to_pandas())

O que isso demonstra:

• Diretório de partição Hive dt=AAAA-MM-DD
• Arrow como intercâmbio entre pandas e o escritor Parquet
• Inspeção de metadados para verificações operacionais
• Poda de colunas na leitura

Mergulho Profundo

Como Funciona

• Parquet armazena blocos de colunas com estatísticas (mínimo/máximo) por grupo de linhas.
• Arrow define o layout em memória; pandas 2.2+ usa strings baseadas em Arrow.
• Leitores pulam grupos de linhas usando estatísticas quando os filtros correspondem.
• Pastas de partição (chave=valor/) emulam o particionamento de warehouse em arquivos.

Comparação de Formatos

Notas de Python

import polars as pl
 
# Polars scan com pushdown de projeção
lf = pl.scan_parquet("lake/orders/**/*.parquet").select("order_id", "revenue")

Armadilhas

• Escrever index=True - coluna index surpresa no Parquet. Correção: index=False sempre em pipelines.
• Problema de arquivos pequenos - milhares de arquivos de 1 MB tornam a listagem lenta. Correção: almejar 128-512 MB por arquivo; compactar partições.
• Derivação de esquema entre dias - mergeSchema oculta alterações que quebram. Correção: registro de esquema explícito e validação.
• Timestamps sem fuso horário no Parquet - replays ambíguos. Correção: armazenar UTC com dtype datetime64[ns, UTC].
• CSV como formato mart - custo de re-análise a cada leitura. Correção: mart em Parquet; CSV apenas para exportação humana.

Alternativas

FAQs

import duckdb
duckdb.sql("SELECT region, SUM(revenue) FROM read_parquet('lake/orders/**') GROUP BY 1")

Relacionado

• Performance e Memória - poda de colunas
• PySpark - escritas Parquet distribuídas
• Noções Básicas de Engenharia de Dados - sobrescrita de partição
• Validação e Qualidade de Dados - portões de esquema

Versões da Stack: Esta página foi escrita para Python 3.14.0 (estável 3.14, manutenção 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, e uv 0.6+.