Blog

Nov 02, 2023

Falsa alarma: cómo Wisconsin usa la raza y los ingresos para etiquetar a los estudiantes como de "alto riesgo"

Machine Learning The Markup encontró la década de antigüedad del estado

Aprendizaje automático

The Markup descubrió que los algoritmos de predicción de deserción escolar del estado, de una década de antigüedad, no funcionan y pueden estar influyendo negativamente en la forma en que los educadores perciben a los estudiantes de color Por Todd Feathers

Esta historia fue copublicada con Chalkbeat, una organización de noticias sin fines de lucro que cubre la educación pública. Regístrese aquí para recibir sus boletines.

El verano pasado, los administradores de Bradford High School en Kenosha, Wis., se reunieron como lo hacen todos los años para planificar la clase entrante de noveno grado. De una lista de cientos de estudiantes de secundaria, el subdirector Matt Brown y su personal hicieron una lista de 30 a 40 estudiantes que sospechaban que podrían tener más dificultades para graduarse.

En el transcurso de las vacaciones de verano, Brown y su equipo repasaron la lista y visitaron el hogar de cada niño. El personal trajo camisetas para los estudiantes, se presentó a los padres, dejó su información de contacto y, esperaban, una primera impresión positiva.

"Es como, 'Oye, queremos conectarte con algo de equipo de Bradford. Ahora vas a ser parte de una familia de Bradford'", dijo Brown. "Es como salir desde el punto de vista de, 'Oye, estamos aquí para apoyarte', no necesariamente, 'Oye, tu hijo realmente se equivocó el año pasado'... porque no queremos que los padres se sientan como tú". ya están etiquetando a su hijo como alguien que es un alborotador".

Pero en la mayoría de los casos, los estudiantes en la lista de Bradford para las visitas de verano aterrizan allí debido a una etiqueta, "alto riesgo", que les asignó un algoritmo racialmente inequitativo construido por el estado de Wisconsin, que con frecuencia genera falsas alarmas.

Desde 2012, los administradores escolares de Wisconsin como Brown han recibido su primera impresión de los nuevos estudiantes del Sistema de Alerta Temprana de Abandonos (DEWS, por sus siglas en inglés), un conjunto de algoritmos de aprendizaje automático que utilizan datos históricos, como los puntajes de las pruebas de los estudiantes, los registros disciplinarios, los ingresos gratuitos o reducidos. el estado del precio del almuerzo y la raza, para predecir la probabilidad de que cada estudiante de sexto a noveno grado en el estado se gradúe de la escuela secundaria a tiempo.

Dos veces al año, las escuelas reciben una lista de sus estudiantes matriculados con la predicción codificada por colores de DEWS junto a cada nombre: verde para bajo riesgo, amarillo para riesgo moderado o rojo para alto riesgo de abandono escolar.

Los funcionarios de educación una vez sostuvieron DEWS como una herramienta clave en su lucha contra la brecha de graduación del estado. Mientras que el 94 por ciento de los estudiantes blancos se graduaron a tiempo el año pasado, solo el 82 por ciento de los hispanos y el 71 por ciento de los estudiantes negros completaron la escuela secundaria en cuatro años. DEWS tenía la intención de poner predicciones personalizadas en manos de los educadores lo suficientemente temprano como para que pudieran intervenir antes de que un niño mostrara signos evidentes de desviarse del camino.

El desgloseAprendizaje automático

El Sistema de Alerta Temprana de Deserción Escolar (DEWS) de Wisconsin califica a cada estudiante de secundaria en función de los ingresos, la raza y más

Pero después de una década de uso y millones de predicciones, The Markup descubrió que DEWS puede estar influyendo incorrecta y negativamente en la forma en que los educadores perciben a los estudiantes, en particular a los estudiantes de color. Y un próximo estudio académico de investigadores con sede en la Universidad de California, Berkeley, que compartieron datos y hallazgos previos a la publicación con The Markup, concluyó que DEWS fracasó en su objetivo principal: mejorar las tasas de graduación para los estudiantes que califica como "de alto riesgo". "

Un análisis de equidad interno del Departamento de Instrucción Pública (DPI) realizado en 2021 encontró que DEWS generó falsas alarmas sobre estudiantes negros e hispanos que no se graduaron a tiempo a un ritmo significativamente mayor que el de sus compañeros blancos. La tasa de falsas alarmas del algoritmo (con qué frecuencia un estudiante que predijo que no se graduaría a tiempo en realidad se graduó a tiempo) fue 42 puntos porcentuales más alta para los estudiantes negros que para los estudiantes blancos, según una presentación del DPI que resume el análisis, que obtuvimos a través de un solicitud de registros públicos. La tasa de falsas alarmas fue 18 puntos porcentuales más alta para los estudiantes hispanos que para los estudiantes blancos. El DPI no les ha dicho a los funcionarios escolares que usan DEWS sobre los hallazgos ni parece haber alterado los algoritmos en los casi dos años desde que concluyó que DEWS era injusto.

La presentación del DPI que resume el análisis de equidad que revisamos no incluyó las tasas subyacentes de falsas alarmas para estudiantes negros, hispanos y blancos que el DPI usó para hacer sus cálculos. Tampoco incluyó resultados para alumnos de otras carreras. El departamento se negó a responder preguntas sobre el análisis y, en respuesta a una solicitud de registros públicos posterior, DPI dijo que no tenía documentación de los resultados del análisis de equidad más allá de la presentación. (Puedes ver un video de la presentación aquí).

Una prueba de validación de DPI separada de la precisión de DEWS en marzo de 2021 muestra que se equivocó casi tres cuartas partes del tiempo que predijo que un estudiante no se graduaría a tiempo.

Hace que los estudiantes de color se sientan separados... como si automáticamente tuvieran menos.

Los estudiantes que entrevistamos se sorprendieron al saber que DEWS existía y le dijeron a The Markup que les preocupaba que un algoritmo estuviera usando su raza para predecir su futuro y etiquetarlos como de alto riesgo. "Hace que los estudiantes de color se sientan separados... como si automáticamente tuvieran menos", dijo Christopher Lyons, un estudiante negro que se graduó de Bradford High School en 2022.

La portavoz del DPI de Wisconsin, Abigail Swetz, se negó a responder preguntas sobre DEWS, pero proporcionó una breve declaración por correo electrónico.

"¿Es DEWS racista?" Swetz escribió. "No, el análisis de datos no es racista. Son las matemáticas las que reflejan nuestros sistemas. La realidad es que vivimos en una sociedad de supremacía blanca y el sistema educativo es sistémicamente racista. Por eso, el DPI necesita herramientas como DEWS y por eso estamos comprometidos con la equidad educativa”.

En respuesta a nuestros hallazgos y otras preguntas, Swetz escribió: "Tiene un malentendido fundamental sobre cómo funciona este sistema. Mantenemos nuestra respuesta anterior". Ella no explicó cuál era ese malentendido fundamental.

Para reconstruir cómo DEWS ha afectado a los estudiantes que ha juzgado, The Markup examinó investigaciones inéditas del DPI, analizó 10 años de datos de DEWS a nivel de distrito, entrevistó a estudiantes y funcionarios escolares, y recopiló respuestas de encuestas de 80 de los más de 400 distritos del estado sobre su uso de las predicciones.

Nuestra investigación muestra que muchos distritos de Wisconsin usan DEWS (38 por ciento de los que respondieron a nuestra encuesta) y que las fallas técnicas de los algoritmos se han visto agravadas por la falta de capacitación de los educadores.

DEWS es un programa voluntario, y DPI alienta a los educadores a usar las predicciones en combinación con otros datos locales sobre los estudiantes para tomar decisiones. La agencia no rastrea si las escuelas usan las predicciones ni cómo lo hacen. Los directores, superintendentes y otros administradores le dijeron a The Markup que recibieron poca o ninguna explicación sobre cómo DEWS calcula sus predicciones o cómo traducir una etiqueta como "alto riesgo" en la intervención adecuada.

Porque resulta que moverse rápido y romper cosas rompió algunas cosas súper importantes.

En distritos como Kenosha, los estudiantes de color no necesitan datos para comprender las consecuencias de ser juzgados por sistemas sesgados. En 2020, la ciudad acaparó los titulares nacionales tras el tiroteo policial de Jacob Blake. Y a principios de este año, la familia de una estudiante negra de 12 años demandó al Distrito Escolar Unificado de Kenosha después de que un oficial de policía fuera de servicio que trabajaba en seguridad la asfixió en el comedor de su escuela.

En 2018, el año en que Lyons ingresó a Bradford High School, un maestro allí fue filmado repetidamente usando un insulto racial frente a los estudiantes. Ese año, DEWS calificó al 43 por ciento de los estudiantes negros de noveno grado en Kenosha como de alto riesgo, en comparación con el 11 por ciento de los estudiantes blancos de noveno grado.

En ese momento, Lyons dijo que ya había perdido la motivación académica. "Parecía que no se esperaba que hiciéramos mucho", dijo. "Parecía que sabían que estábamos destinados al fracaso".

Entonces sucedió algo inesperado en su segundo año: el golpe de la pandemia de COVID-19, las clases se volvieron virtuales y, como él dijo, sus calificaciones "se dispararon" de un GPA de 2.9 antes de la pandemia a un GPA de 3.8 después del cambio al aprendizaje remoto. Lo que para muchos estudiantes fue una interrupción desorientadora de su educación, para Lyons fue un respiro que le permitió concentrarse. “No tenía esa presión social de, como, los maestros a mi alrededor o la administración a mi alrededor”, dijo. "Era solo yo, la computadora, quien sea con quien estaba hablando".

El año pasado, Lyons comenzó su primer año en Carthage College en Kenosha con una beca completa. Su viaje ilustra las peculiaridades de la personalidad, el estilo de aprendizaje y el entorno que, según algunos expertos, hacen que sea contraproducente predecir el futuro de un estudiante individual en función de un análisis a nivel de población de estudiantes estadísticamente similares.

No obstante, los sistemas de alerta temprana que utilizan el aprendizaje automático para predecir los resultados de los estudiantes son comunes en la educación K-12 y superior. Al menos ocho agencias estatales de educación pública brindan sistemas algorítmicos de alerta temprana o los están construyendo actualmente para uso futuro, según una encuesta de Markup de los 50 estados. Cuatro estados no respondieron. Montana fue el único estado además de Wisconsin que dijo que había examinado cómo funcionaba su sistema de alerta temprana en diferentes grupos raciales. El portavoz de la Oficina de Instrucción Pública de Montana, Brian O'Leary, dijo que el estudio de equidad de su estado aún no había terminado.

Al comienzo y a la mitad de cada año, DEWS calcula la probabilidad de que cada estudiante que ingresa de sexto a noveno grado se gradúe de la escuela secundaria a tiempo en una escala de 0 a 100. Una puntuación de 90 indica que los estudiantes con calificaciones académicas, las características de comportamiento y demográficas se han graduado a tiempo el 90 por ciento del tiempo en el pasado. Cualquier estudiante cuyo puntaje DEWS (más el margen de error) esté por debajo de 78.5 está clasificado como de alto riesgo de no graduarse a tiempo.

Para facilitar a los educadores la comprensión de las predicciones, DPI traduce las puntuaciones DEWS a un formato simple codificado por colores. Junto al nombre de cada estudiante en la pestaña DEWS del sistema de información estatal hay una etiqueta que muestra su puntaje y una designación de riesgo verde "bajo", amarillo "moderado" o rojo "alto".

Durante el año académico 2020-21, más de 32 000 estudiantes, el 15 por ciento de los estudiantes de sexto a noveno grado del estado, fueron etiquetados como de "alto riesgo".

Los expertos dicen que el sistema está diseñado de manera que puede sesgar inadvertidamente las opiniones de los educadores sobre los estudiantes y desviar los escasos recursos escolares. De particular preocupación es cuán fuertemente DEWS se basa en factores como la raza, la discapacidad y la riqueza familiar, que probablemente codifiquen una discriminación sistémica y que ni la escuela ni el estudiante pueden cambiar. Otros puntos de datos ingresados ​​en DEWS, como las tasas de disciplina, tienen claras disparidades raciales: el DPI lo sabe y ha escrito al respecto en su sitio web.

"Me pregunto cómo estas categorías de riesgo empujan a las escuelas y los distritos a mirar a las personas en lugar de los problemas estructurales, diciendo que este niño necesita estas cosas, en lugar de que los problemas estructurales sean la razón por la que estamos viendo estos riesgos", dijo Tolani Britton. , profesor de educación en UC Berkeley, coautor del próximo estudio sobre DEWS. "No creo que sea malo que los estudiantes reciban recursos adicionales, pero al mismo tiempo, crear algoritmos que asocien su raza o etnia con su capacidad para completar la escuela secundaria parece un camino peligroso".

Cuando DEWS predice que un estudiante se graduará, generalmente es correcto: el 97 por ciento de las veces esos estudiantes se gradúan en los cuatro años estándar, según la prueba de validación de 2021, que muestra cómo se desempeñaron los algoritmos cuando se probaron en datos históricos. Pero cuando DEWS predijo que un estudiante no lo haría, por lo general se equivocó: el 74 por ciento de las veces esos estudiantes se gradúan a tiempo, según la misma prueba.

Esto es parcialmente por diseño. DPI calibra DEWS para lanzar una red amplia e identificar en exceso a los estudiantes que corren el riesgo de abandonar la escuela. En un artículo de 2015 que describe DEWS en el Journal of Educational Data Mining, el exanalista de investigación del DPI, Jared Knowles, escribió que el DPI estaba "declarando explícitamente que estamos dispuestos a aceptar" 25 falsas alarmas de que los estudiantes no se graduarán si eso significa identificar correctamente una deserción.

Pero en su análisis de equidad, DPI encontró que los algoritmos no generan igualmente falsas alarmas.

"EN TÉRMINOS LAICOS: el modelo sobreidentifica a los estudiantes blancos entre los graduados a tiempo, mientras que sobreidentifica a los estudiantes negros, hispanos y otros estudiantes de color entre los que no se gradúan a tiempo", escribió un analista de investigación del DPI en notas para el presentación. La presentación no especifica qué puntajes DEWS califican como graduación a tiempo, a los fines del análisis de equidad.

Las notas de la diapositiva, titulada "¿Es justo DEWS?" terminar con la conclusión "no..."

"Definitivamente han estado usando un modelo que tiene errores sistemáticos en términos de la raza de los estudiantes, y eso es algo que realmente se debe arreglar", dijo Ryan Baker, profesor de educación de la Universidad de Pensilvania que estudia los sistemas de alerta temprana. "Tenían factores demográficos como predictores y eso enfatizará demasiado el significado de esas variables y causará este tipo de efecto".

Recientemente, un equipo de investigadores que trabaja principalmente en UC Berkeley (el candidato a doctor Juan Perdomo, Britton y los expertos en equidad algorítmica Moritz Hardt y Rediet Abebe) examinó la eficacia de DEWS a través de una lente diferente.

Su investigación utilizando casi 10 años de datos DEWS, que DPI compartió voluntariamente, es el análisis más grande jamás realizado sobre cómo un sistema predictivo de alerta temprana afecta los resultados de los estudiantes. Si bien estudios anteriores han preguntado con qué precisión funcionan los sistemas de alerta temprana cuando se comparan con datos históricos, el estudio de UC Berkeley examina si DEWS condujo a mejores tasas de graduación para estudiantes reales etiquetados como de alto riesgo.

Los investigadores probaron si las tasas de graduación mejoraron para los estudiantes cuyas puntuaciones DEWS estaban justo por debajo del umbral de 78,5 para colocarlos en la categoría de alto riesgo en comparación con los estudiantes cuyas puntuaciones estaban justo por encima de ese umbral, ubicándolos en la categoría de riesgo moderado. Si el sistema funcionaba según lo previsto, los estudiantes en la categoría de alto riesgo verían mejores tasas de graduación porque recibieron recursos adicionales, pero el estudio encontró que estar en la categoría de alto riesgo no tuvo un efecto estadísticamente significativo sobre si los estudiantes se graduaron a tiempo.

"No hay evidencia de que las predicciones de DEWS hayan influido de alguna manera en la probabilidad de graduarse a tiempo", escribieron los autores.

Si el sistema funcionara según lo previsto y las escuelas dirigieran más recursos a los estudiantes etiquetados como de alto riesgo, sugiere el estudio de UC Berkeley, tendría un impacto diferente pero también inequitativo. "Si las escuelas seleccionan a los estudiantes para la intervención clasificando sus puntajes [DEWS] y seleccionando a aquellos con la menor probabilidad prevista de graduación, los estudiantes desatendidos serían sistemáticamente pasados ​​por alto y despriorizados", escribieron los autores.

Esto se debe a que las tasas de graduación previstas por DEWS no reflejan con precisión las tasas de graduación reales de los estudiantes. Los estudiantes blancos, en particular, se gradúan a tasas mucho más altas de lo que sugerirían sus puntajes DEWS, según los datos compartidos con The Markup por los investigadores de UC Berkeley.

Por ejemplo, los estudiantes de color que recibieron puntajes DEWS de 83 se graduaron a tiempo el 90 por ciento de las veces. Eso es lo mismo que la tasa de graduación promedio en todo el estado de Wisconsin el año pasado. Los estudiantes blancos que recibieron la misma puntuación DEWS de 83 se graduaron a tiempo el 93 por ciento de las veces, por encima del promedio estatal.

Pero lo más importante es que los estudiantes blancos que recibieron puntajes DEWS significativamente más bajos de 63 se graduaron a tiempo esencialmente al mismo ritmo que los estudiantes blancos con puntajes más altos: el 92 por ciento del tiempo. Pero los estudiantes de color que recibieron puntajes DEWS de 68 se graduaron a tiempo solo el 81 por ciento del tiempo, por debajo del promedio estatal.

Porque resulta que moverse rápido y romper cosas rompió algunas cosas súper importantes.

En otras palabras, si los educadores siguieron el consejo de DEWS y priorizaron a los estudiantes blancos con puntajes de 63 para recibir ayuda sobre los estudiantes de color con puntajes de 68, habrían priorizado a los estudiantes que finalmente se gradúan por encima del promedio sobre los estudiantes que finalmente se gradúan por debajo del promedio. tasas promedio.

Es probable que esa peculiaridad particular del algoritmo no haya exacerbado la desigualdad en Wisconsin, concluyó el estudio, porque DEWS no está mejorando los resultados para nadie etiquetado como de alto riesgo, independientemente de su raza.

Desde sus primeros días, DPI promovió DEWS como una herramienta rentable para combatir la brecha de graduación "inaceptable" del estado. Pero el sistema de alerta temprana no fue la solución de primera elección de la agencia.

Como parte de su propuesta de presupuesto semestral en 2011, el DPI de Wisconsin, que estaba bajo el liderazgo de Tony Evers, quien ahora es el gobernador del estado, solicitó $20 millones para un programa de subvenciones "Every Child a Graduate" que enviaría recursos directamente a los distritos en dificultades. . Ese año, el 91 por ciento de los estudiantes blancos del estado se graduaron de la escuela secundaria a tiempo, en comparación con el 64 por ciento de los estudiantes negros.

Pero el entonces gobernador Scott Walker tenía un plan diferente para la educación pública. Recortó casi $800 millones, alrededor del 7 por ciento, en fondos estatales para escuelas públicas del presupuesto de dos años. Eso incluyó los $20 millones para "Every Child a Graduate", de los cuales la administración de Walker redirigió $15 millones para construir un sistema de información estudiantil en todo el estado para albergar todos los datos de los alumnos en un solo lugar.

Al negarle su programa de subvenciones, pero en posesión de una gran cantidad de datos nuevos, DPI buscó una solución de alta tecnología para su brecha de graduación. En 2012, comenzó a probar DEWS.

En el momento de su creación, DEWS era uno de los sistemas predictivos de alerta temprana más avanzados del país. Su precisión estaba "a la par con algunos de los sistemas mejor considerados actualmente en uso, pero se realiza a mayor escala, en un conjunto más diverso de entornos escolares, [y] en grados anteriores", Knowles, exanalista de investigación del DPI. que construyó el sistema, escribió en el artículo del Journal of Educational Data Mining de 2015.

DPI rápidamente decidió expandir su uso de análisis predictivo y en 2016 lanzó un algoritmo hermano, llamado College and Career Readiness Early Warning System (CCREWS), que predice si los estudiantes están "listos" o "no listos" para el ACT y la universidad. En la encuesta de The Markup de los distritos escolares de Wisconsin, siete de los 80 encuestados dijeron que usan CCREWS de alguna manera, en comparación con 30 distritos que informaron usar DEWS.

En 2019, DPI puso a prueba otro modelo algorítmico basado en DEWS que pretendía predecir qué estudiantes tendrían éxito en los cursos AP. Escuelas en 11 distritos se inscribieron en el programa piloto, pero el proyecto se abandonó después del inicio de la pandemia de COVID-19, según documentos obtenidos a través de una solicitud de registros públicos.

Número de puntos porcentuales que la brecha de graduación entre estudiantes negros y blancos en Wisconsin se ha reducido desde 2011, el año anterior a la prueba piloto de DEWS.

Durante la última década de experimentación del estado con algoritmos predictivos, la desigualdad educativa de Wisconsin apenas ha mejorado.

La brecha de graduación entre estudiantes negros y blancos se ha reducido solo cuatro puntos desde 2011, del 27 al 23 por ciento. Mientras tanto, la brecha entre los puntajes de lectura de los estudiantes negros y blancos de octavo grado en Wisconsin ha sido la peor de cualquier estado de la nación en cada Evaluación Nacional del Progreso Educativo (NAEP) desde 2011. También ha tenido la brecha más amplia de cualquier estado. entre los puntajes de matemáticas de los estudiantes negros y blancos de octavo grado en cada NAEP desde 2009.

"La pregunta que siempre hago cuando salen esos datos no es solo qué tan mal les está yendo a los niños negros, [sino] ¿cómo es que a los niños blancos les está yendo tan bien?" dijo Gloria Ladson-Billings, experta nacional en desigualdad educativa y profesora jubilada de la Universidad de Wisconsin-Madison. "No es que no sepamos cómo sacar adelante a estos niños. El problema es que tienen que verse como atletas de la División I para que nos importe lo suficiente".

Los estudiantes negros e hispanos en Wisconsin le dijeron a The Markup que a menudo se sienten parte de un sistema escolar de segunda clase.

Kennise Perry, una estudiante de 21 años de la UW-Parkside, asistió a las Escuelas Públicas de Milwaukee, en las que hay un 49 % de negros, antes de mudarse al suburbio de Waukesha, donde las escuelas son solo un 6 % de negros. Dijo que su infancia fue difícil, que su vida hogareña a veces era inestable y que sus escuelas probablemente la consideraban una estudiante de "alto riesgo".

“Era la única niña negra en todas mis clases. No había otra representación de alguien que se pareciera a mí, y mis compañeros eran extremadamente racistas”, dijo. "Fue realmente traumático... Estaba tan enojado y no sabía cómo ubicar mi enojo. Me sentía miserable. Entonces, por supuesto, comenzaron las etiquetas y esas cosas. Pero siento que la diferencia entre las personas que hacen y las personas que no son las personas que tienes a tu alrededor, como que tenía personas que se preocupaban por mí y me dieron una segunda oportunidad y esas cosas. [DEWS] al enumerar a estos niños de alto riesgo y sus estadísticas, ni siquiera estás dando darles una oportunidad, ya los estás etiquetando".

El distrito escolar de Waukesha no respondió a la encuesta de The Markup ni a la solicitud de comentarios. Sin embargo, los documentos obtenidos a través de solicitudes de registros públicos muestran que la escuela secundaria Waukesha North, a la que asistió Perry, se inscribió para participar en el algoritmo piloto del DPI diseñado para predecir qué estudiantes tendrían éxito en las clases AP.

Las Escuelas Públicas de Milwaukee, el distrito más grande del estado, no utilizan DEWS ni ningún tipo de aprendizaje automático para su sistema de alerta temprana, escribió el portavoz Stephen Davis en un correo electrónico a The Markup. Al igual que muchos distritos y estados, utiliza un enfoque de baja tecnología que identifica a los estudiantes como encaminados o desviados en función de si han alcanzado ciertos puntos de referencia, como estar ausente durante una cantidad predefinida de días.

El año pasado, los estudiantes de Cudahy High School crearon su primer Black Student Union en respuesta a los incidentes racistas que sintieron que la administración de la escuela no estaba abordando adecuadamente.

"Sabes que [los estudiantes blancos] ya tienen una ventaja", dijo Mia Townsend, estudiante de tercer año y vicepresidenta de la Unión de Estudiantes Negros de Cudahy. "Ya sientes esa separación... Tienen más oportunidades y tienen más libertad de acción cuando se trata de ciertas cosas".

Los estudiantes de la BSU han brindado orgánicamente el mismo tipo de intervenciones de apoyo mutuo que el estado esperaba lograr a través de sus algoritmos predictivos.

Durante el año escolar 2020–21, el 18 % de los estudiantes blancos en Wisconsin tomaron los exámenes AP en comparación con el 5 % de los estudiantes negros. Townsend, una estudiante del cuadro de honor, dijo que estaba en camino de evitar los cursos AP hasta que su compañero de tercer año, Maurice Newton, presidente de BSU, la instó a aceptar el desafío. Pidió unirse a una clase de inglés AP el próximo año.

"Hacen que parezca que es más desafiante y, sinceramente, es lo mismo", dijo Newton. "Puedes pasar la clase con una buena calificación".

En respuesta a las preguntas de The Markup sobre DEWS, la superintendente del distrito de Cudahy, Tina Owen-Moore, compartió un hilo de correo electrónico en el que los miembros del personal expresaron que no sabían y que actualmente no usaban las predicciones, pero que los consejeros estaban "emocionados con este recurso". " Sin embargo, después de revisar nuestros hallazgos, Owen-Moore escribió: "¡¡Eso ciertamente cambia mi perspectiva!!"

Muchos distritos que respondieron a la encuesta de The Markup dijeron que usan las predicciones DEWS de manera similar a como lo hacen Brown y el personal de Bradford High School en Kenosha, para identificar qué nuevos estudiantes en sus edificios pueden requerir atención adicional.

En el distrito escolar de la ciudad de Appleton, los administradores de casos de las escuelas secundarias utilizan DEWS y otros datos para identificar a los estudiantes de primer año que ingresan que necesitan apoyo y para determinar el número de casos de educación especial, por ejemplo. Confiando "en gran medida" en los datos DEWS, el distrito escolar de Winneconne envía cartas a los padres informándoles que su hijo puede estar en riesgo, aunque esas cartas no hacen referencia al algoritmo.

Pero algunas escuelas han encontrado otros usos no aprobados para los datos. Por ejemplo, Sara Croney, la superintendente del distrito escolar de Maple, le dijo a The Markup que su personal ha utilizado los "datos imparciales percibidos" de DEWS para solicitar con éxito una subvención de desarrollo del personal enfocada en llegar a estudiantes no comprometidos. En la ciudad de Racine, las escuelas intermedias alguna vez usaron DEWS para seleccionar qué estudiantes serían colocados en un programa especial de "Zona Libre de Violencia", que incluía enviar a los estudiantes disruptivos a un salón de clases separado.

El Distrito Escolar de Racine "actualmente no utiliza DEWS o CCREWS", escribió la portavoz Stacy Tapp en un correo electrónico.

Muchos administradores entrevistados por The Markup dijeron que habían recibido poca o ninguna capacitación sobre cómo DEWS calcula sus predicciones o cómo interpretarlas.

"Simplemente nos entregaron los datos y dijeron: 'Averígüenlo'", dijo Croney. “Entonces nuestros directores lo analizarán y decidirán quiénes son los niños en el área de riesgo”.

El DPI proporciona documentación sobre cómo funciona DEWS y sus usos previstos en su sitio web, pero gran parte del material de cara al público omite un hecho clave sobre el sistema: que sus predicciones se basan en parte en la raza, el género, la riqueza familiar y la otros factores sobre los que las escuelas no tienen control.

Por ejemplo, la Guía de acción DEWS del departamento no menciona que la raza, el género o el estado del almuerzo gratis o de precio reducido del estudiante son variables de entrada clave para los algoritmos.

La página web del DPI que describe los datos utilizados para generar predicciones DEWS enumera cuatro categorías distintas de información: asistencia, registro disciplinario, número de distritos a los que asistió el año anterior (movilidad) y puntajes de exámenes estatales. Indica que "se utilizan atributos demográficos", pero no cuáles ni cómo influyen en las predicciones.

De manera similar, cuando los educadores ven las predicciones DEWS de los estudiantes en el sistema de información estatal, pueden examinar cómo la asistencia de los estudiantes, el registro disciplinario, la movilidad y los puntajes de las pruebas afectan la etiqueta de riesgo general, pero no se les muestra cómo las características demográficas de los estudiantes afectan la predicción. .

Lo que hago está directamente relacionado con DEWS y la información que hay allí, y eso me asusta.

Shari Johnson, directora de currículo e instrucción del Distrito Escolar de Richland, dijo que sus escuelas estaban comenzando a crear planes de acción y asignar mentores del personal a los estudiantes de "alto riesgo" con el objetivo de sacarlos de esa categoría, especialmente a aquellos con "mayor riesgo". " porque dijo que no sería posible ser mentor de todos.

Sin embargo, cuando habló con The Markup, no sabía que características como una discapacidad o una desventaja económica afectaban el puntaje de un estudiante.

"¿De quién es la responsabilidad de que sepamos estas cosas? Esa es mi preocupación en este puesto, que solo me haya enterado por casualidad", dijo Johnson. "Lo que hago está directamente relacionado con DEWS y la información que hay allí, y eso me asusta".

La desconexión entre cómo funciona DEWS y cómo los educadores entienden que funciona no es nueva para DPI.

En 2016, los investigadores del Laboratorio de Educación Regional del Medio Oeste escribieron un informe para DPI que nunca se publicó, basado en una encuesta de las experiencias de los directores de escuelas intermedias con DEWS. El informe, que obtuvimos a través de solicitudes de registros públicos, concluyó que los encuestados "deseaban más capacitación y apoyo sobre cómo identificar y monitorear las intervenciones" y que "el tiempo, el dinero y la capacitación sobre DEWS" eran los principales impedimentos para usar el sistema.

El director de Bradford High School, Brian Geiger, dijo que recuerda haber oído hablar de DEWS en el momento de su lanzamiento, cuando era subdirector en otra escuela de Kenosha, y desde entonces lo ha utilizado para varios propósitos, incluidas las visitas domiciliarias de verano. Ahora Brown, su subdirector en Bradford, se ha hecho cargo de la práctica. Incluso sabiendo que DEWS tiene fallas, Brown dijo que las predicciones son los mejores datos que tiene para los estudiantes que ingresan.

"No es un predictor del 100 por ciento. Mi percepción sobre esto es que lo usamos como una guía", dijo, y agregó: "Ojalá pudiéramos ir a visitar cada casa de los 1,400 niños [matriculados en Bradford High School] No tenemos un presupuesto de escuela de verano para hacer eso".

Una versión anterior del mapa de este artículo incluía incorrectamente Hawái, Nevada, Nueva Jersey, Carolina del Norte y Michigan. Esos estados usan sistemas de alerta temprana, pero no usan algoritmos o aprendizaje automático para predecir los resultados de los estudiantes.

Los corredores de datos gastaron $ 143 millones en cabildeo entre 2020 y 2022, pero les hicimos rendir cuentas por solo $ 6 millones por año. Podríamos hacer aún más con su ayuda. Dona hoy.

Falsa alarma: cómo Wisconsin usa la raza y los ingresos para etiquetar a los estudiantes como de "alto riesgo"

De la serie — Aprendizaje automático e investigaciones

Todd Feathers Reportero empresarial