Sincronización Automática de Usuarios y Grupos desde Microsoft Entra ID a Azure Databricks

Introducción

La Administración Automática de Identidades (Automatic Identity Management) es una funcionalidad avanzada (actualmente en versión preliminar pública) que permite la sincronización integral de usuarios, grupos y entidades de servicio desde Microsoft Entra ID (Azure Active Directory) hacia Azure Databricks. Esta integración elimina la necesidad de configurar conectores SCIM manuales, posicionando a Entra ID como la fuente única de la verdad para la gestión de identidades en la plataforma de datos.

Con esta característica habilitada, cualquier alta, baja o cambio de pertenencia en Entra ID se replica automáticamente en Databricks, simplificando la administración de acceso y garantizando la coherencia y seguridad en la gestión de identidades.

Referencia oficial:
Automatic Identity Management in Azure Databricks

Requisitos Previos: Unity Catalog e Identidad Federada

Para habilitar la sincronización automática, es imprescindible que el workspace de Azure Databricks tenga activada la federación de identidades, lo cual está directamente vinculado a la habilitación de Unity Catalog. La federación de identidades permite gestionar usuarios y grupos a nivel de cuenta, facilitando la asignación centralizada y la administración multi-workspace.

Guía paso a paso

1. Verifica la asociación al metastore desde el portal de administración:
2. Si el workspace no está asociado: Accede a la consola de cuenta y realiza una de las siguientes acciones:
   • Habilita Unity Catalog siguiendo la documentación oficial:
     Enable a workspace for Unity Catalog

Opción 1: Usar un metastore existente

• Haz clic en el metastore y verifica que el flag esté habilitado:
• Asigna el workspace: Selecciona el metastore deseado y asígnalo:
• Confirma que la federación esté habilitada y el metastore asignado:

Opción 2: Crear un metastore nuevo

Si necesitas crear un nuevo metastore, sigue la documentación oficial: Create a Unity Catalog metastore

Referencia adicional:
Unity Catalog Overview

Activación de la Sincronización Automática

Para activar la funcionalidad:

1. Accede a la consola de cuenta de Databricks y habilita la preview desde el menú Previews: Habilita el flag correspondiente:

   

2. Espera unos minutos a que se complete la sincronización:

3. Verifica el resultado en las pestañas “Users”, “Groups” y “Service Principals”:

Gestión de usuarios, grupos y service principals

Una vez completados los pasos previos, tendrás la configuración lista y los usuarios, grupos y service principals de Entra ID estarán disponibles en Databricks. A continuación, se detalla una guía paso a paso, ilustrada con imágenes, para cada escenario:

Usuarios

Añadir usuario Entra ID (External)

1. Accede al panel de usuarios desde User Management en Databricks y selecciona la opción para añadir usuario:
2. Los usuarios de Entra ID deberían aparecer listados:
3. Una vez agregados, puedes ajustar sus permisos en Databricks:

Add users to your account

Añadir usuario Databricks

1. Si necesitas crear un usuario específico para Databricks (no recomendado salvo casos excepcionales), selecciona "+Create new user:" y define el nombre:
2. El usuario aparecerá como activo y constará como usuario Databricks:

Service Principals

Añadir Service Principal Entra ID (External)

1. Accede al panel de Service Principals desde User Management y selecciona la opción para añadir:
2. Escribe el nombre del service principal de Entra ID (por ejemplo, 'pssql-backend') y selecciónalo:
3. Una vez agregado, estará operativo:

Add service principals to your account

Añadir Service Principal Databricks

1. Para crear un Service Principal específico de Databricks, selecciona "Create new service principal:":
2. El service principal aparecerá en la lista y en la columna "source" verás "Databricks":

Grupos

Añadir Grupo Entra ID (External)

1. Accede al panel de grupos desde User Management y selecciona la opción para añadir grupo:

2. Busca y selecciona el grupo de Entra ID (por ejemplo, "PurviewSecurity"):

3. El grupo aparecerá listado:

   

4. Podrás ver los componentes del grupo y su correspondencia con Entra ID:

5. Si eliminas un usuario del grupo en Entra ID, el cambio se refleja automáticamente en Databricks:

6. La sincronización es completa y puedes gestionar los roles de los usuarios Entra ID dentro del grupo:

Add groups to your account

Añadir Grupo Databricks

1. Para crear un grupo específico de Databricks, selecciona "Create new group:":
2. Estos grupos pueden incluir usuarios, service principals u otros grupos, tanto de Entra ID como de Databricks, permitiendo una gestión flexible:
3. En la vista de grupos, puedes identificar el origen (Entra ID o Databricks):

Eliminación de usuarios

Cuando un usuario es eliminado de Entra ID (por ejemplo, por baja en la compañía), Databricks lo marca como “Account” para evitar la pérdida inmediata de activos asociados. Se recomienda:

1. Crear el usuario y agregarlo al grupo correspondiente:

2. Añadirlo a la lista de usuarios en Databricks:

3. Comprobar que el usuario forma parte del grupo:

4. Tras eliminarlo de Entra ID, Databricks muestra el usuario como “Account”:

   Esto permite revisar y transferir los assets asociados antes de eliminarlo definitivamente.

5. Si decides borrar el usuario de Databricks, recibirás un aviso:

   

   Tras confirmar, el usuario desaparecerá de la lista de usuarios activos.

Buenas prácticas y consideraciones de seguridad

• Centraliza la gestión de identidades en Entra ID para garantizar el cumplimiento de políticas corporativas y auditoría.
• Utiliza Service Principals para automatizaciones y recursos compartidos, evitando el uso de cuentas personales.
• Revisa periódicamente los accesos y realiza auditorías de pertenencia a grupos y roles.
• Evita la creación de usuarios/grupos nativos salvo casos justificados.
• Implementa el principio de mínimo privilegio y revisa los permisos asignados a usuarios y grupos.
• Aprovecha las capacidades de logging y monitorización de Azure y Databricks para detectar accesos no autorizados o anómalos.
• Antes de eliminar un usuario, evalúa sus assets (notebooks, jobs, dashboards):
  • Si son válidos, transfiérelos a otro compañero.
  • Si no aportan valor, elimínalos.
• Revisa los jobs y dashboards que haya creado para evitar fallos por falta de propietario.

Referencias clave:

• Azure Identity Management and access control security best practices
• Databricks Security Best Practices

Recursos adicionales

• Sync users and groups automatically from Microsoft Entra ID
• Enable Unity Catalog
• Azure Active Directory documentation
• Azure Databricks documentation