Resumen de la lista de desarrollo de Apache Iceberg 8–12 de septiembre de 2025: la comunidad siguió refinando la versión 1.10.0, abordando problemas de compatibilidad, diseño de APIs y propuestas de mejora para el ecosistema Iceberg.
Recursos y novedades: se anunciaron cursos y guías gratuitas sobre Apache Iceberg y Polaris, además de materiales de referencia como guías de arquitectura para 2025 y listas de reproducción con videos de ingeniería del lakehouse.
Compatibilidad V1 a V3: se detectó un caso no manejado al actualizar tablas v1 a tablas v3 en la implementación Rust. Algunos manifiestos v1 muy antiguos carecían de campos existing_rows_count y added_rows_count, lo que provocaba NullPointerException al agregarlos a snapshots en tablas v3. La propuesta consensuada fue que Iceberg valide y falle con un mensaje claro cuando falten conteos de filas, en lugar de lanzar excepciones sin contexto, y enfocar esfuerzos en la función RepairMetadata para reescribir manifiestos afectados.
Diseño del FileFormat API: la discusión sobre la nueva API para formatos de archivo exploró alternativas entre producir escritores específicos por formato o un API conversor para escrituras vectorizadas. Se concluyó que el conversor solo es necesario para position-delete en tablas v2 y que no hay planes para soportar escrituras vectorizadas en el corto plazo. Se propusieron cuatro métodos clave para un FormatModelRegistry: un constructor genérico y constructores específicos para datos, deletes por igualdad y deletes por posición, dejando a los motores decidir si exponen un builder más complejo o mantienen diferencias en código propio.
Control de acceso fino FGAC OpenAPI: hubo consenso en que las expresiones de Iceberg combinadas con funciones definidas por el usuario serán el mecanismo exclusivo para devolver instrucciones de protección. Esto separa la definición de políticas de su aplicación y evita especificar planes de consulta en las políticas. Los catálogos deben proporcionar instrucciones de protección específicas por usuario y por consulta mediante este mecanismo, y la propuesta OpenAPI se actualizará en esa línea.
Limpieza de issues en Iceberg Rust: se propuso adoptar la configuración de PyIceberg para marcar y cerrar automáticamente issues inactivos en el repositorio Rust. La propuesta recibió apoyo y se sugirió probar la configuración también en pull requests antes de habilitar el bot definitivamente.
Dependencias opcionales en PyIceberg: surgieron preocupaciones sobre dependencias opcionales como pandas, polars, duckdb o ray que pueden fijar versiones de PyArrow y generar conflictos con proyectos que usan diferentes versiones. Algunos desarrolladores defendieron mantener integraciones de conveniencia, mientras otros propusieron que bibliotecas externas implementen sus propias integraciones para evitar versionado forzado.
Deprecación de position deletes con row data: se llamó a votación la deprecación de archivos position-delete que contienen datos de filas, una característica v2 poco usada. La mayoría apoyó eliminar la escritura de estos deletes en Iceberg 2.0, manteniendo la lectura para compatibilidad hacia atrás.
Iceberg 1.10.0 RC5 y lanzamiento: la comunidad votó favorablemente RC5 y se publicó el lanzamiento oficial, destacando soporte para formato v3, mejoras en lecturas vectorizadas y nuevos endpoints REST para catálogos. La comunidad animó a los usuarios a actualizar.
Campo added_rows en snapshots: se reabrió el debate sobre reintroducir el campo added_rows en metadatos de snapshot. Aunque se eliminó para reducir el tamaño de manifiestos, algunos defendieron su utilidad para escaneos incrementales. La discusión sobre si derivar esa información de los manifiestos o mantenerla como campo superior continuó abierta.
Evolución del tipo DECIMAL y mejoras al REST spec: se propuso extender las reglas de promoción de tipos para soportar evolución DECIMAL al estilo SQL2011 sin reescribir archivos, y se discutió cómo garantizar compatibilidad hacia atrás. También se propuso añadir en loadTable una lista opcional referenced-by para que clientes identifiquen qué tablas referencian una tabla dada, útil para análisis de dependencias. Se sugirió publicar los modelos REST generados por OpenAPI como paquete Python reutilizable para evitar duplicación en clientes como PyIceberg.
S3 Analytics Accelerator y otros avances: se planificaron evaluaciones de vectored reads, benchmarks de uso de heap y coordinación con proveedores de almacenamiento para la integración del acelerador S3. Hubo PRs solicitando revisión para mejoras en la API de metadatos y anuncio de un encuentro comunitario en Dublín durante el Arrow and Iceberg Summit.
Conclusión y perspectiva: la segunda semana de septiembre de 2025 mostró cómo la comunidad equilibra nuevas capacidades y compatibilidad. Temas de gobernanza, gestión de dependencias, diseño de APIs y rendimiento siguen siendo prioritarios mientras el proyecto crece y se integra con servicios cloud y herramientas analíticas.
Sobre Q2BSTUDIO: en Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones corporativas, inteligencia artificial y ciberseguridad. Ofrecemos servicios de software a medida, desarrollo de aplicaciones a medida y consultoría en servicios cloud aws y azure, además de soluciones de inteligencia de negocio y Power BI para decisiones basadas en datos. Si su organización busca transformar procesos con IA para empresas o implementar agentes IA personalizados, en Q2BSTUDIO contamos con experiencia en integración y despliegue de modelos y pipelines de datos. Conozca nuestras soluciones de software a medida visitando desarrollo de aplicaciones y software multiplataforma y explore nuestras ofertas de inteligencia artificial en servicios de inteligencia artificial para empresas.
Palabras clave y servicios: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi. Para soporte en ciberseguridad y pruebas de penetración puede consultar nuestras opciones de hardening y pentesting. Para proyectos de inteligencia de negocio y visualización avanzada con Power BI trabajamos en pipelines de datos, modelos semánticos y dashboards accionables.
Si desea que Q2BSTUDIO le acompañe en la adopción de tecnologías de lakehouse como Apache Iceberg, optimización de consultas, diseño de APIs o gobernanza de datos, nuestro equipo puede ayudarle a definir la mejor estrategia técnica y de negocio para su organización.