The Governor Gavin Newsom reunió a cuatro especialistas en tecnología, políticas públicas y gobernanza para desarrollar medidas de supervisión independiente sobre las empresas de inteligencia artificial y analizar la creación de un sistema de apagado de emergencia para modelos de vanguardia que puedan quedar fuera de control.
El grupo asesor estudiará la posibilidad de incorporar verificadores externos dentro de los laboratorios de IA, someter a revisión independiente las evaluaciones de seguridad y exigir que las compañías desarrollen un “interruptor de apagado” cuya eficacia sea comprobada continuamente.
Las recomendaciones forman parte de la orden ejecutiva emitida recientemente por Newsom para acelerar la aplicación de las leyes estatales sobre auditoría, transparencia y evaluación de riesgos, ante el rápido avance de sistemas de IA cada vez más potentes y autónomos.
El panel estará integrado por Jason Goldman, miembro de la junta directiva del Center for Shared AI Prosperity y primer director digital de la Casa Blanca; Gillian Hadfield, profesora de la Universidad Johns Hopkins; Alondra Nelson, profesora del Instituto de Estudios Avanzados y exdirectora interina de la Oficina de Política Científica y Tecnológica de la Casa Blanca, así como Rob Reich, profesor de la Universidad de Stanford y exasesor principal del Instituto de Seguridad de la IA de Estados Unidos.
“La orden ejecutiva del gobernador Newsom aborda las cuestiones más difíciles en la gobernanza de la seguridad de la IA, incluyendo quién verifica las afirmaciones de seguridad de un laboratorio de vanguardia y si un modelo puede desactivarse de manera confiable”, señaló Goldman.
Hadfield advirtió que existe una necesidad urgente de establecer una supervisión “eficaz, responsable e independiente” sobre sistemas que adquieren mayores capacidades y autonomía.
Por su parte, Nelson sostuvo que California debe concentrarse no en decidir si la inteligencia artificial necesita regulación, sino en la manera de ejercerla.
“La verificación independiente, la auditoría de la IA y la transparencia obligatoria son mecanismos institucionales sólidos que permiten gobernar el rápido cambio tecnológico y exigir responsabilidades a los actores poderosos, de modo que sus herramientas sirvan a la humanidad en lugar de ponerla en peligro”, afirmó.
La orden instruye a la Agencia de Operaciones Gubernamentales de California a trabajar con la Oficina de Servicios de Emergencia del Gobernador y especialistas nacionales para elaborar propuestas que fortalezcan la legislación estatal.
Entre ellas se encuentra exigir que las empresas de IA de vanguardia permitan la presencia de organizaciones independientes encargadas de realizar auditorías periódicas, verificar sus informes de transparencia y comprobar las evaluaciones de riesgo presentadas ante el estado.
También se analizará un mecanismo capaz de desactivar modelos avanzados durante una emergencia y la ampliación de la definición de incidentes críticos para incluir casos en los que los desarrolladores pierdan el control de sus sistemas.
Estas medidas se apoyan en la ley SB 813, que estableció un marco para organizaciones independientes dedicadas a evaluar la seguridad de los modelos de IA, y en la AB 1405, que creó un registro estatal de auditores junto con normas de independencia, transparencia e integridad.
“La innovación y la seguridad van de la mano en cualquier mercado responsable, y la IA no es la excepción”, declaró Reich, quien señaló que la confianza en esta tecnología dependerá de contar con evaluaciones científicas y mecanismos sólidos de supervisión.
Newsom contrastó las acciones de California con la respuesta del gobierno federal y sostuvo que Washington no ha establecido suficientes controles sobre el sector.
“Ninguna ley federal obliga a las empresas de IA a informar sobre incidentes peligrosos cuando ocurren”, señaló la oficina del gobernador, que también acusó al presidente Donald Trump de rechazar nuevas regulaciones dirigidas a reforzar la seguridad.
El gobernador pidió al Congreso y a la administración federal adoptar el marco regulatorio de California como una base mínima para proteger a la población, en lugar de impedir que los estados desarrollen reglas más estrictas.
California ya cuenta con leyes sobre modelos avanzados, auditorías independientes, chatbots utilizados por menores, contenido sintético, privacidad, fraude, ciberseguridad, protección laboral y uso gubernamental de inteligencia artificial.
El estado también exige a determinados desarrolladores divulgar sus marcos de seguridad, reportar incidentes críticos y proteger a trabajadores que denuncien riesgos graves, mientras el nuevo grupo de expertos deberá determinar si esos controles son suficientes para responder a sistemas capaces de actuar más allá de lo previsto por sus propios creadores.
You may be interested in: Supervisores exigen a Kaiser que limite el uso de la IA en los servicios de salud mental
WeEvolveIT