Digest de la lista de desarrollo de Apache Iceberg del 25 al 29 de agosto de 2025, con las novedades clave del proyecto y una selección de recursos útiles. Si trabajas con lagos de datos, análisis a gran escala o arquitecturas Lakehouse, esta edición te ahorra tiempo y te pone al día.
Curso gratuito de Apache Iceberg
Copia gratuita de Apache Iceberg The Definitive Guide
Copia gratuita de Apache Polaris The Definitive Guide
Compra del libro Architecting an Apache Iceberg Lakehouse con 50 por ciento de descuento con el código MLMerced
Guía de arquitectura Apache Iceberg 2025
Lista de reproducción de ingeniería Iceberg Lakehouse
Directorio definitivo de recursos de Apache Iceberg
Enlace a la lista de desarrollo de Apache Iceberg
Planificación de lanzamientos e infraestructura
Problemas con la versión de Java para el lanzamiento 1.10.0. Durante la preparación, algunos desarrolladores usaron Java 21 y el build falló porque Gradle y los módulos de Spark estaban fijados a Java 11. Se acordó apuntar a JDK 17. Fokko Driesprong abrió un PR para subir a 17 y Steven Wu lo fusionó. Ryan Blue confirmó que también probaría el release con JDK 11 para garantizar compatibilidad hacia atrás.
Activación de una cola de fusión en los repositorios de Iceberg. Renjie Liu propuso usar la merge queue de GitHub para fusionar PRs de forma secuencial y ejecutar CI solo sobre el resultado final de los cambios en cola. Varios contribuidores apoyaron la idea y se señaló que puede deshabilitarse fácilmente si surgieran problemas. Renjie se ofreció a abrir ticket con Infra de ASF para habilitarla.
Propuestas y deprecaciones de API
API de FileFormat y deprecación de position delete con datos de fila. Péter Vár presentó avances en la propuesta de FileFormat. Sugirió eliminar el soporte para archivos de position delete que incluyan datos de fila, ya que no se usan en la base de código Java, y deprecar lectores y escritores nativos específicos de formato en favor de la nueva API InternalData. Propuso dos opciones para gestionar deletes en la nueva API: definir implícitamente los tipos de delete mediante FileContent o permitir que los motores conviertan objetos PositionDelete. La conclusión fue simplificar el API eliminando los position delete con datos de fila, alinear con la deprecación planeada para la 1.11.0, y mantener lectura de archivos heredados. Hilo
Deprecación de position deletes con datos de fila. Hubo consenso en deprecar archivos de position delete que transportan datos de fila. No existen productores de estos archivos y funciones v3 como delete vectors los vuelven obsoletos. Ryan Blue recomendó eliminar inmediatamente la escritura y mantener lectura opcional por compatibilidad. Péter Vár planea iniciar una votación para retirar la función en Iceberg 2.0 y documentar el cambio en las notas de la 1.11.0.
Ampliación de estadísticas estandarizadas. Gábor Kaszab propuso expandir estadísticas estandarizadas a nivel de tabla y archivo para mejorar decisiones de los motores de consulta. Jacky Lee indicó que su equipo extendió estadísticas de columnas internamente y logró más del 30 por ciento de mejora en rendimiento. Se alentó adoptar el formato v4 y colaborar en una propuesta pública de estadísticas más ricas.
Aclaración sobre promoción de tipos en evolución de esquemas. Nicolae Vartolomei preguntó qué significa promoción de tipos al evolucionar esquemas. Se explicó que los escritores deben usar siempre el esquema más reciente de la tabla. Los lectores pueden promover valores, por ejemplo leer un int como long, pero escribir int en una columna definida como long no es recomendable. Ryan Blue resumió que la promoción está bien definida y Micah Kornfield abrió un PR para documentarlo.
Funcionalidades y tooling
Biblioteca Analytics Accelerator para Amazon S3. Ingenieros de AWS introdujeron la Analytics Accelerator Library AAL y propusieron hacerla la corriente de entrada por defecto para S3FileIO de Iceberg. Se realizó una sincronización comunitaria el 27 de agosto. Michael Stubbs resumió acciones: crear un épico en JIRA, investigar lecturas vectorizadas, extender pruebas con clientes, decidir cuándo usar el cliente asíncrono, analizar uso de heap con y sin AAL, elaborar un benchmark público e invitar a proveedores de almacenamiento de terceros a probar la biblioteca. Hilo
Aumento del máximo de versión de formato de tabla a 3 en el spec REST. Amogh Jahagirdar propuso actualizar la especificación del catálogo REST para permitir la versión 3. Dado que v3 ya estaba ratificada y llegaría con Iceberg 1.10.0, recibió votos positivos sin objeciones.
Nuevo metadato columns_written. Manikandan R sugirió añadir un metadato en archivos que liste qué columnas se escribieron realmente. Saber qué campos aparecen en cada archivo puede ayudar a omitir archivos irrelevantes en el planificador de consultas. La idea no recibió respuestas esa semana, pero subraya el interés en metadatos enriquecidos.
Acción de GitHub para lint de Markdown. Manu Zhang propuso añadir una acción de GitHub para lint de Markdown. Eduard Tudenhöfner recomendó usar Spotless, ya presente en el proyecto y con soporte para Markdown. Se prefirió reutilizar herramientas existentes. Manu ajustó la configuración para incluir directorios de docs y site y siguió explorando alternativas para carpetas fuera del build.
PyIceberg y ecosistema
Sesión de ideas de PyIceberg 30 de septiembre. Kevin Liu anunció una sesión comunitaria para recabar ideas de mejora de la librería Python. Se señalaron focos potenciales: paridad de mantenimiento de tablas con Spark, mejoras de rendimiento con Iceberg rust para evitar lectores Cython y Avro personalizados, estabilizar el API pública para un lanzamiento 1.0, nuevas funciones soporte de formato v3, Avro, merge on read deletes, deletion vectors y mejor documentación. Se propuso un documento compartido y crear workstreams para coordinar esfuerzos.
Logística de comunidad
Seguimiento del acelerador de análisis y notas. Tras la sincronización del 27 de agosto sobre S3 AAL, Michael Stubbs publicó acciones y próximos pasos e invitó a colaborar en el épico y los benchmarks.
Recordatorio de informe de podling. El Incubator PMC recordó que el reporte trimestral vencía a inicios de septiembre, indicando contenidos esperados y recomendando no listar nombres de candidatos antes de su elección formal.
En conjunto, las conversaciones se centraron en preparación de release versiones de Java y merge queue, afinado de APIs propuestas de FileFormat, estadísticas y promoción de tipos, mejoras de tooling y planificación de futuras capacidades como la biblioteca AAL y las mejoras de PyIceberg.
Cómo puede ayudarte Q2BSTUDIO. En Q2BSTUDIO somos especialistas en software a medida y aplicaciones a medida, arquitecturas de datos en la nube y analítica avanzada. Si estás desplegando Lakehouse en S3, Azure Data Lake o entornos híbridos, nuestros servicios cloud AWS y Azure aseguran escalabilidad, seguridad y costes optimizados. Complementamos con inteligencia de negocio y power bi para acelerar el time to insight, además de ciberseguridad y pentesting para proteger cada capa.
También impulsamos ia para empresas con agentes IA, automatización de procesos y modelos personalizados. Descubre cómo aplicar inteligencia artificial en tu plataforma de datos con nuestra oferta de inteligencia artificial. Integramos servicios inteligencia de negocio, pipelines de datos y prácticas de ciberseguridad de extremo a extremo para maximizar valor en tu organización.