Buenas prácticas de análisis de datos

Hábitos de análisis reproducibles, vectorizados y con tipos de datos correctos que evitan números erróneos silenciosos en cuadernos y trabajos de producción.

Cómo usar esta lista

• Repasa A-D antes de enviar un informe o trabajo programado.
• Revisa los elementos en la revisión de PR para cualquier cambio que afecte a la ingesta, uniones o agregados.
• Vuelve a visitar después de incidentes (KPI incorrecto, OOM, filas duplicadas) y añade reglas específicas del equipo.

A - Ingesta y Tipos

• Leer con dtypes explícitos. Pasa dtype, parse_dates y usecols a read_csv; la inferencia oculta columnas de objeto.
• Contar filas y nulos inmediatamente. len(df), df.isna().sum() y df.duplicated(subset=keys).sum() antes de las transformaciones.
• Almacenar marcas de tiempo en UTC. pd.to_datetime(..., utc=True) al cargar; convertir solo para visualización.
• Preferir cadenas Arrow y categóricas. string[pyarrow] y category reducen el uso de RAM en claves de texto en pandas 2.2+.
• Documentar la imputación de NA. Las medias/medianas son decisiones de modelado; regístralas en los metadatos del cuaderno o del trabajo.

B - Transformaciones y Vectorización

• Usar .loc para asignaciones. Nunca encadenes df[mask]["col"] = x; asigna en una sola llamada a .loc.
• Preferir agregaciones integradas sobre apply. groupby.agg y las expresiones de Polars superan a las UDF de Python por fila.
• Establecer observed=True en categóricas. Omitir niveles de categoría no utilizados en groupby/pivot de pandas 2.x.
• Normalizar claves de cadena antes de las uniones. str.strip() y un casing consistente evitan fusiones huérfanas.
• Limitar o marcar valores atípicos; no eliminarlos silenciosamente. Los límites del dominio requieren la aprobación de los interesados.

C - Uniones y Agregados

• Asegurar los recuentos de filas alrededor de las fusiones. Las explosiones de muchos a muchos son el principal error de KPI.
• Usar validate= en las fusiones. many_to_one y one_to_one detectan errores de cardinalidad de forma temprana.
• Añadir indicator=True en uniones izquierdas. Cuantificar las filas de dimensión no coincidentes antes de rellenar NA con cero.
• Ordenar el índice de tiempo antes de re-muestrear/rodar. Las marcas de tiempo desordenadas producen ventanas basura.
• Nombrar explícitamente las agregaciones. agg(total=("revenue", "sum")) con nombre supera a las columnas MultiIndex misteriosas.

D - Rendimiento y Reproducibilidad

• Medir la memoria con deep=True. memory_usage superficial miente sobre las columnas de objeto.
• Dividir o escanear archivos que exceden la RAM. chunksize, poda de columnas de Parquet o Polars scan_parquet.
• Escribir Parquet intermedio con esquema. Ejecuciones posteriores más rápidas que re-analizar CSV.
• Fijar dependencias con archivos lock de uv. El comportamiento de pandas 2.2+ y Polars 1.x no debería variar entre el portátil y CI.
• Sembrar el muestreo aleatorio. sample(random_state=42) y numpy.random.default_rng para auditabilidad.

Preguntas frecuentes

Relacionado

• Conceptos básicos de análisis de datos - recorrido introductorio
• Limpieza y transformación de datos - política de dtypes y NA
• Uniones y fusiones - comprobaciones de cardinalidad
• Rendimiento y memoria - división en fragmentos y Arrow
• Validación y calidad de datos - puertas de esquema

Versiones de la pila: Esta página se escribió para Python 3.14.0 (estable 3.14, mantenimiento 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+ y uv 0.6+.