Por Khari Johnson. CalMatters. Península 360 Press.
California utiliza algoritmos para predecir si las personas encarceladas volverán a delinquir. Ha empleado tecnología predictiva para denegar el subsidio por desempleo a 600 mil personas. Sin embargo, los administradores estatales han concluido que ninguna agencia utiliza tecnologías de toma de decisiones automatizadas de alto riesgo.
Esto según un informe que el Departamento de Tecnología de California proporcionó a CalMatters tras encuestar a casi 200 entidades estatales. La legislación promulgada en 2023 exige que las agencias informen anualmente si utilizan sistemas automatizados de alto riesgo que puedan tomar decisiones sobre la vida de las personas.
“Alto riesgo” se refiere a cualquier sistema que pueda asistir o reemplazar a los responsables de la toma de decisiones en casos de contacto con el sistema de justicia penal o en el acceso de las personas a vivienda, educación, empleo, crédito y atención médica.
El Departamento de Tecnología de California desconoce qué algoritmos utilizan actualmente las agencias estatales y solo reporta lo que estas les indican, según declaró a CalMatters el director de tecnología estatal, Jonathan Porat. Al preguntársele si los algoritmos del departamento de empleo o del departamento de correccionales cumplen los requisitos, Porat respondió que la interpretación de la ley corresponde a las agencias.
“Solo sé lo que nos informan, porque incluso si tienen el contrato… no sabemos cómo ni si lo están usando, así que dependemos de que esos departamentos reporten esa información con precisión”, dijo.
Las agencias, que debían presentar sus respuestas antes de finales de agosto de 2024, informaron sobre los sistemas automatizados de alto riesgo utilizados durante el último año. De haber detectado sistemas de alto riesgo, debían informar sobre el tipo de datos personales que estos utilizan para tomar decisiones sobre las personas y las medidas que adoptan para reducir la probabilidad de que dicho uso resulte en discriminación, sesgo o resultados injustos.
Algunos sistemas automatizados utilizados por agencias estatales plantean dudas sobre cómo se define el riesgo. El Departamento de Correccionales y Rehabilitación de California, por ejemplo, asigna puntuaciones de reincidencia a la gran mayoría de los reclusos para determinar sus necesidades al ingresar y salir de prisión.
COMPAS, un algoritmo que utiliza, tiene un historial documentado de sesgo racial, pero el departamento de correccionales informó al Departamento de Tecnología que no utiliza automatización de alto riesgo.
El Departamento de Desarrollo del Empleo de California también reportó la falta de uso de sistemas automatizados de alto riesgo. Entre las fiestas de Navidad y Año Nuevo de 2020, el departamento suspendió las prestaciones por desempleo de 1.1 millones de personas después de que la agencia utilizara herramientas de inteligencia artificial de Thomson Reuters para calificar a los solicitantes de desempleo como fraudulentos.
Unas 600 mil de esas solicitudes fueron posteriormente confirmadas como legítimas, según un análisis estatal.
El Departamento de Empleo se niega a decir si ese algoritmo está en uso hoy en día, y proporciona una declaración escrita de que sus procesos de detección de fraude son confidenciales “para garantizar que no proporcionamos a los delincuentes información que pueda contribuir a la actividad delictiva”.
“Aquí están hablando con ambos lados de la boca”
El informe también parece estar desincronizado con un trío de análisis realizados el año pasado por el personal de la Legislatura de California, que indicaban que el estado tendría que gastar cientos de millones de dólares o más cada año para monitorear el uso de algoritmos de alto riesgo por parte del gobierno.
El año pasado, la asambleísta Rebecca Bauer-Kahan propuso un proyecto de ley que habría requerido que las agencias estatales realizaran evaluaciones de riesgos de algoritmos que pueden tomar una “decisión consecuente” sobre la vida de las personas, muy similares a los tipos de algoritmos del nuevo informe del Departamento de Tecnología.
Tres análisis legislativos diferentes de su concepto realizados por el personal del comité de asignaciones concluyeron que sería un esfuerzo costoso, que costaría cientos de millones de dólares al año, con costos constantes de miles de millones de dólares.
Si no hay sistemas automatizados de alto riesgo en el gobierno de California, ¿cómo puede costar millones o miles de millones de dólares evaluarlos?
Eso es lo que se preguntaba una fuente familiarizada con los análisis. Esta persona, que solicitó el anonimato por temor a posibles consecuencias profesionales, afirmó que no ven mucha diferencia entre la definición de sistema automatizado de alto riesgo en el informe del Departamento de Tecnología y la decisión consecuente en el proyecto de ley Bauer-Kahan. Creen que alguien miente.
“Es imposible que ambas cosas sean ciertas”, dijeron. “Están hablando por hablar”.
Los autores de los análisis legislativos no respondieron a múltiples solicitudes de comentarios. Porat, del departamento de tecnología, también se mostró desconcertado. “No puedo explicarlo del todo”, declaró a CalMatters. “Es posible que un departamento o agencia, en colaboración con algún grupo o incluso dentro del estado, esté considerando algo para el futuro que no se ajusta a la definición establecida en los requisitos del año pasado”.
La legislación que exigía los informes de automatización de alto riesgo menciona específicamente los sistemas que generan puntuaciones. Dada la omnipresencia de las herramientas que asignan puntuaciones de riesgo, el resultado del inventario del Departamento de Tecnología es sorprendente, afirmó Deirdre Mulligan, directora del Centro de Derecho y Tecnología de UC Berkeley, quien colaboró en el desarrollo de la política de IA para la administración Biden.
Mulligan afirmó que es fundamental que el gobierno establezca normas para garantizar que la automatización no prive a las personas de sus derechos. Coincide en que los análisis que predicen costos de pruebas potencialmente millonarios podrían indicar planes futuros para usar la automatización de alto riesgo por parte de las agencias estatales, lo que convierte este momento en el momento oportuno para garantizar la implementación de dichas protecciones.
Samantha Gordon, directora de programas del grupo de defensa TechEquity, que ha pedido más transparencia en torno a cómo California utiliza la IA, dijo que las agencias estatales deben ampliar su definición de sistemas de alto riesgo si no incluye algoritmos como el que utilizó el EDD en 2020, que puede negar a las personas los beneficios de desempleo y poner en peligro su capacidad de mantener un techo sobre sus cabezas, alimentar a su familia o pagar el cuidado infantil.
“Creo que si le preguntaras a un californiano común y corriente si perder su subsidio de desempleo en Navidad, cuando no tiene trabajo, supone un riesgo real para su sustento, apuesto a que diría que sí”, afirmó.
IA generativa de alto riesgo en el futuro del estado
El informe sobre la toma de decisiones automatizada de alto riesgo llega en un momento en que las agencias estatales están implementando diversas aplicaciones de IA potencialmente riesgosas. En las últimas semanas, el gobernador Gavin Newsom anunció que las agencias estatales están adoptando herramientas de IA para, por ejemplo, comunicarse con los californianos sobre los incendios forestales, gestionar la seguridad vial, acelerar el proceso de reconstrucción tras los incendios forestales en Los Ángeles e informar a los empleados estatales que ayudan a las empresas a presentar sus impuestos.
Los legisladores desean monitorear este tipo de sistemas, en parte, debido a la posibilidad de que cometan errores. Un informe estatal de 2023 sobre los riesgos y las oportunidades para la adopción gubernamental de la IA generativa advierte que esta puede producir resultados convincentes pero inexactos, ofrecer respuestas diferentes a la misma pregunta y sufrir un colapso del modelo cuando las predicciones difieren de los resultados precisos.
La IA generativa también conlleva el riesgo de sesgo de automatización, cuando las personas se vuelven excesivamente confiadas y dependientes de la toma de decisiones automatizada, según el informe.
A finales de 2023, Newsom ordenó al Departamento de Tecnología que elaborara un informe diferente: un inventario del uso de alto riesgo de la IA generativa por parte de las agencias estatales del poder ejecutivo. CalMatters solicitó una copia de dicho documento, pero el Departamento de Tecnología se negó a compartirlo; el director de Seguridad de la Información, Vitaliy Panych, lo calificó como un riesgo innecesario para la seguridad.
El hecho de que la IA merezca una etiqueta de alto riesgo es un debate continuo y forma parte del marco legal emergente en las naciones democráticas de todo el mundo. La tecnología que se merece esa etiqueta suele estar sujeta a más pruebas antes de su implementación y a un seguimiento continuo.
En la Unión Europea, por ejemplo, la Ley de IA clasifica como de alto riesgo los modelos utilizados en operaciones de infraestructura crítica, así como aquellos que deciden el acceso a la educación, el empleo y las prestaciones públicas. De igual manera, la Carta de Derechos de la IA, elaborada durante la administración Biden, definió como de alto riesgo la IA que puede tomar decisiones sobre el empleo, la atención médica y la vivienda.
La Legislatura de California está considerando decenas de proyectos de ley para regular la IA en los próximos meses, si el Congreso no impone una moratoria a la regulación estatal de la IA durante una década. Un informe encargado por el gobernador sobre cómo equilibrar la innovación y las barreras para la IA se publicará este verano.
La ley que exige el informe sobre sistemas automatizados de alto riesgo tiene algunas excepciones notables, como todo el sistema judicial estatal y organismos de licencias como el Colegio de Abogados de California, que desató la controversia el mes pasado tras utilizar IA para redactar las preguntas de su examen de alto riesgo.
La ley tampoco exige su cumplimiento a los gobiernos locales, que suelen utilizar la IA en entornos de justicia penal o policial, ni a los distritos escolares, donde los profesores utilizan la IA para calificar trabajos. El mercado de servicios de salud Covered California, que según The Markup comparte información personal de californianos con LinkedIn, también utiliza IA generativa, pero esta entidad no está obligada a informar al Departamento de Tecnología.
Te puede interesar: Apología de la violencia; el concepto mágico detrás del rechazo a los videojuegos
