Ética de la IA
IREX opera bajo una doctrina de Transparency by Design. La rendición de cuentas está integrada en la arquitectura, en los controles de acceso y en el registro de auditoría, en lugar de agregarse después como política. Esta página describe los seis pilares de esa doctrina y, para cada uno, el mecanismo de la plataforma que lo hace cumplir.
La distinción importa. Una política establece qué no deben hacer los operadores. Una restricción arquitectónica decide qué hará la plataforma, sin más. Cuando ambas están disponibles, IREX elige la restricción, porque una restricción sobrevive a la rotación de personal, a la presión de los plazos y a un cambio de administración.
Los seis pilares
Transparencia total
Toda acción queda registrada en un log detallado y no borrable: agregar una persona a una base de datos, ejecutar una búsqueda por fotografía, configurar una alerta, exportar video, cambiar un permiso. El log es plenamente consultable y auditable, lo que protege al organismo y al público a la vez. La vigilancia transparente es lo que construye la confianza entre las fuerzas del orden y la comunidad a la que sirven.
Ciberseguridad y protección de la privacidad
La plataforma está reforzada en seguridad para el despliegue público. Los controles incluyen TLS 1.3 en tránsito, un firewall de aplicaciones web multicapa, detección y prevención de intrusiones, filtrado de red, tokens de API firmados con claves rotadas, y autenticación multifactor. Las pruebas de penetración se ejecutan en cada versión mayor. Los datos del cliente son propiedad exclusiva del cliente.
Restricciones estrechas para las fuerzas del orden
La plataforma detecta únicamente a personas pre-identificadas: para prevenir un ataque, encontrar a un menor desaparecido o abordar otra amenaza de seguridad pública. La propia plataforma limita la cantidad de personas que pueden inscribirse para la identificación biométrica en tiempo real. No existe reconocimiento ni seguimiento de personas al azar, y las redes neuronales se entrenan únicamente con escenas y sujetos que inciden en la seguridad pública.
Interfaz de usuario basada en permisos
Las funciones de la plataforma, las bases de datos de personas, las alertas de coincidencia y los resultados de búsqueda son visibles solo para el personal autorizado. Un usuario que no se haya agregado a un grupo con permisos suficientes no ve los datos, y los cambios de configuración están limitados a roles de nivel superior. La compartimentación implica que ninguna cuenta individual tiene acceso sin control a todo el sistema.
Conciencia y mitigación de sesgos
Todo algoritmo de reconocimiento facial, y también el ojo humano, se desempeña de forma distinta entre grupos demográficos de género, edad y color de piel. La variación natural en los datos de entrenamiento hace que el efecto sea difícil de eliminar. Los científicos de datos de IREX trabajan de forma continua para reducirlo, equilibrando conjuntos de datos y ajustando algoritmos. IREX también participa en el NIST Face Recognition Vendor Test (FRVT), de modo que los efectos demográficos se miden de forma independiente. Cuando persiste un sesgo sistemático, la política de IREX es divulgar su existencia y su magnitud estimada al cliente, en lugar de dejarlo sin mencionar.
Buenas prácticas éticas y listas de comprobación
IREX trabaja con expertos en privacidad, libertades civiles y aplicación de la ley para producir el material de gobernanza que un organismo necesita: pautas de uso para cada capacidad, y procesos de auditoría para la supervisión interna y externa. Las listas de comprobación de cumplimiento cubren el manejo de datos, desde qué se crea hasta cómo, por quién y durante cuánto tiempo se accede a ellos, se almacenan y se comparten.
Qué hace cumplir cada pilar
Cada pilar corresponde a un mecanismo que un auditor puede inspeccionar y un administrador puede configurar. La columna de la derecha indica el capítulo que lo documenta.
| Pilar | Mecanismo de cumplimiento | Documentado en |
|---|---|---|
| Transparencia total | Case ID obligatorio en acciones sensibles para la privacidad; Bitácora de solo anexado; exportación firmada diaria a un archivo externo. | Case ID y rendición de cuentas, Ver la Bitácora |
| Ciberseguridad y privacidad | Cifrado en tránsito, defensa en profundidad, tokens de API firmados, autenticación multifactor, pruebas de penetración por versión. | Acceder al espacio de trabajo, Cumplimiento normativo |
| Restricciones estrechas | Reconocimiento limitado a listas de vigilancia; un tope, impuesto por la plataforma, sobre la base biométrica en tiempo real; modelos entrenados únicamente con sujetos de seguridad pública. | Listas de personas y vehículos, Administrar bases de datos |
| Interfaz basada en permisos | Control de acceso jerárquico basado en roles, hasta la cámara, la grabación, el elemento multimedia y el módulo individuales; la configuración limitada a roles de nivel superior. | Administrar usuarios y grupos de usuarios |
| Conciencia de sesgos | Un conjunto de entrenamiento de 40 millones de imágenes optimizado para CCTV, equilibrio continuo del conjunto de datos, participación en NIST FRVT y divulgación de sesgos conocidos. | FaceTrack Pro |
| Buenas prácticas éticas | Pautas de uso, procesos de auditoría y listas de comprobación de cumplimiento, más las herramientas de auditoría que hacen que la revisión sea práctica y no meramente teórica. | Cumplimiento normativo, Ver la Bitácora |
La ética bajo la IA agéntica
Los agentes de investigación autónomos plantean una pregunta obvia: si un software puede planificar y ejecutar una búsqueda de varios pasos, ¿quién responde por ella? La respuesta de la plataforma es que un agente nunca es un actor aparte.
- Toda acción de un agente queda registrada y atribuida al operador que la inició y al Case ID que la autoriza.
- Los agentes operan dentro del límite de permisos del operador que los inicia y no pueden ampliar su propio acceso.
- Las búsquedas, consultas a listas de vigilancia y configuraciones de alerta iniciadas por agentes son auditables a través de la misma Bitácora y la misma exportación diaria que las acciones manuales.
- Ningún agente toma por sí solo una decisión con consecuencias. El agente devuelve hallazgos; una persona decide.
Véase Ask IREX para conocer la capacidad y sus barreras de contención, y StreamVLM para ver cómo se aplican las mismas reglas a los detectores definidos con un texto.
Dónde recae la responsabilidad
La arquitectura de la plataforma respalda una operación legal y ética. No entrega, por sí sola, el cumplimiento normativo. La base legal para tratar datos biométricos, la política de retención, los criterios de inscripción en una lista de vigilancia y el proceso de supervisión son decisiones del organismo operador y su asesoría jurídica. Cada una descansa en la ley que le aplica. Lo que IREX garantiza es que esas decisiones sean exigibles en el sistema y verificables después. Véase Cumplimiento normativo.
Temas relacionados
- Case ID y rendición de cuentas: la validación obligatoria y la cadena de auditoría detrás de ella.
- Soberanía de datos y tecnología: quién es dueño de los datos y dónde se ejecutan.
- Cumplimiento normativo: CJIS, GDPR, la EU AI Act y el NIST AI Risk Management Framework.
- Ver la Bitácora: leer y consultar el registro de auditoría.