Blog

Nov 02, 2023

Puntuación de alertas a escala de máquina con un toque humano

La protección contra riesgos digitales es un componente clave de cualquier organización preocupada por la seguridad.

La protección contra riesgos digitales es un componente clave de la pila de inteligencia moderna de cualquier organización preocupada por la seguridad. El módulo de monitoreo de amenazas digitales (DTM) de Mandiant Advantage brinda a los clientes la capacidad de obtener visibilidad de las amenazas que apuntan a sus activos en las redes sociales, la web profunda y oscura, los sitios de pegado y otros canales en línea. DTM se compone de canalizaciones avanzadas de procesamiento de lenguaje natural que utilizan el aprendizaje automático para mostrar alertas de alta fidelidad basadas en la detección de entidades significativas y temas relacionados con la seguridad. Pero incluso después de filtrar el vasto embudo de colecciones de Mandiant de millones de documentos ingeridos por día a solo un pequeño subconjunto de las alertas más relevantes, es posible que los clientes dediquen un tiempo precioso a decidir qué alertas resultantes son las más pertinentes.

Reflejos

La experiencia de los principales investigadores de amenazas, ingenieros inversos, analistas de inteligencia y socorristas de incidentes de Mandiant no tiene paralelo, ya que han defendido a organizaciones de todos los tamaños en la primera línea del conflicto cibernético desde 2004. Los analistas expertos comprenden las complejidades semánticas de las alertas, identifican conceptos abstractos que no son directamente observables. en los datos y determinar rápidamente si una alerta debe investigarse al día siguiente o dentro de la próxima hora. Pero dado que la revisión humana no se adapta a los volúmenes de datos de DTM, hemos desarrollado una nueva función de puntuación de alertas para DTM que combina los beneficios de la interacción práctica con analistas con una capa complementaria de automatización basada en el aprendizaje automático.

Una sola puntuación no puede contar toda la historia sobre una amenaza, y cada cliente tiene preferencias y requisitos únicos en lo que respecta a la priorización de alertas. Es por eso que desarrollamos el marco de calificación de Mandiant, presentado en la Conferencia mWISE de este año, para entretejer cuidadosamente las competencias humanas y mecánicas. Nos permite escalar la experiencia de Mandiant a millones de alertas DTM por día, estandarizar el proceso para todos los clientes, liberar tiempo del analista para otras tareas y adaptarnos a nuevas fuentes con el tiempo.

Se lanzó la calificación de alertas DTM y, en general, está disponible para los clientes en la actualidad; actualmente se rige por dos componentes: Confianza y Severidad.

La puntuación de confianza de una alerta DTM captura la certeza en la calidad del contenido malicioso de la alerta dada la evidencia existente. La confianza de las alertas DTM se modela utilizando una forma de aprendizaje semisupervisado llamada supervisión débil, que refleja de cerca cómo un analista puede hacer preguntas para recopilar y sopesar información de alerta relevante antes de aplicar su juicio final (Figura 1).

Nos dimos cuenta de que los analistas que evalúan las alertas no toman simplemente la respuesta de una sola pregunta para determinar la malicia general de cada una. En su lugar, utilizan respuestas recopiladas de un conjunto de preguntas de sondeo, cada una con su propia expectativa y fracción de certeza, para llegar a una conclusión. Podemos modelar cada pregunta programáticamente como una función de etiquetado y cada respuesta como su resultado asociado para una alerta dada. Los analistas pueden tener un conocimiento previo adicional sobre cuán influyente podría ser la respuesta a una de sus preguntas para determinar el impacto del veredicto de confianza general, y podemos modelar esta expectativa usando una probabilidad previa.

Usando una combinación de estos datos previos iniciales junto con estadísticas obtenidas de la ejecución de nuestro conjunto de funciones de etiquetado sobre millones de alertas acumuladas, podemos entrenar un modelo supervisado débilmente que ajusta sus pesos de acuerdo con (1) la frecuencia con la que las funciones de etiquetado devuelven un resultado malicioso o benigno y (2) con qué frecuencia están de acuerdo o en desacuerdo entre sí. El modelo aprendido se puede usar para devolver un voto ponderado, o un valor escalado entre 0 y 100, en cada alerta DTM recién generada. Las puntuaciones de confianza pueden establecerse como umbral y calibrarse utilizando los siguientes criterios: menos de 40 indica benigno, entre 40 y 60 es indeterminado, entre 60 y 80 es sospechoso y más de 80 indica malicioso.

Uno de los aspectos más atractivos del aprendizaje débil es que combina naturalmente este análisis basado en datos con aportes directos de los analistas. Pueden definir de manera flexible funciones de etiquetado interpretables y esencialmente "programar" un modelo de aprendizaje automático, sin ningún conocimiento técnico. Por el lado de la salida, los analistas pueden interactuar más para validar puntajes, identificar debilidades en las funciones de etiquetado ruidosas y refinarlas con una nueva lógica de detección. En algunos casos, es posible que los datos no confirmen las expectativas previas de los analistas, lo que crea posibilidades de iteración adicionales y brinda una oportunidad para que los expertos actualicen sus propias nociones preconcebidas de alerta maliciosa.

La puntuación de gravedad de una alerta DTM clasifica el impacto de las actividades maliciosas posibles para las alertas de alta confianza. La severidad se evalúa utilizando contexto adicional, enriquecimientos y juicio experto aguas abajo de Confianza. En la división del trabajo del marco de puntuación, la puntuación de Confianza ayuda inicialmente a eliminar cualquier ruido obvio, y luego el modelo de puntuación de Severidad utiliza cualquier contexto disponible para dividir aún más las alertas en categorías altas, medias o bajas (Figura 2).

Al igual que el modelo de Confianza, el modelo de Severidad se basa en los aportes de analistas expertos, que poseen una comprensión profunda y actualizada del impacto de los diferentes tipos de amenazas. Los analistas crean expresiones y reglas para calcular la gravedad de una alerta y luego las envían a un motor interno que, a su vez, construye un árbol de decisiones. El motor de reglas evalúa este árbol de decisiones para calcular estadísticas de gravedad sobre grandes volúmenes de datos de alerta, lo que permite a los analistas consultar las estadísticas posteriormente, ampliar alertas específicas e iterar para ajustar las reglas. De esta manera, los beneficios de humanos y máquinas se combinan tal como lo hacen en la puntuación de confianza: los analistas pueden realizar análisis longitudinales de tendencias de amenazas en observaciones y telemetría a gran escala, todo sin necesidad de conocer los detalles técnicos ocultos.

En esta publicación de blog, presentamos un marco de puntuación de alertas que aprovecha las capacidades tanto humanas como de las máquinas para escalar la inteligencia y personalizar su aplicación. La puntuación de alertas demuestra la importancia de usar estos enfoques complementarios y entrelaza humanos y máquinas para generar mejores resultados que cualquiera de los dos por separado. Está disponible en el módulo DTM de Mandiant Advantage, donde los usuarios ahora pueden clasificar las alertas en su panel de Lista de alertas y hacer que cada modo de alerta muestre una puntuación de gravedad (Figura 3 y Figura 4).

Desde que implementamos nuestros modelos de calificación de alertas en producción, en promedio observamos un 35,4 % de alertas categorizadas como de Confianza baja y las alertas restantes de Confianza más alta se clasifican en 62,3 % de gravedad baja, 32,8 % media y 4,9 % de gravedad alta. Cuando todo está dicho y hecho, solo el 3,1 % de todas las alertas y <0,1 % de todos los documentos incorporados se clasifican en la categoría de gravedad alta. Esto da como resultado un enorme ahorro de tiempo y costos que los clientes ahora pueden lograr al priorizar su clasificación.

Para obtener más información sobre estas capacidades de calificación de alertas DTM lanzadas recientemente, los clientes existentes pueden consultar la documentación para comprender cómo trabajar con alertas en la plataforma y los clientes potenciales pueden probar Mandiant Advantage de forma gratuita o ponerse en contacto con el departamento de ventas.

Enlace a fuente RSS

Los expertos de Mandiant están listos para responder a sus preguntas.