Mitigating Temporal Drift in Social Media Sentiment Classification: A Comparative Study

Abstract

Los modelos de análisis de sentimientos en redes sociales pueden perder precisión con el tiempo debido a los cambios en el lenguaje, un fenómeno conocido como temporal drift. La competencia LongEval 2023 mostró que distintas estrategias para mitigar este problema obtenían resultados diferentes según el período evaluado, sin que ninguna fuera consistentemente superior.

Esta tesis compara seis estrategias de mitigación y un modelo de referencia utilizando el conjunto de datos LongEval 2023, con publicaciones de Twitter de tres períodos diferentes. El estudio analiza cómo varía el temporal drift, si estos cambios permiten identificar qué estrategia funcionará mejor y qué explica las diferencias de rendimiento entre los métodos.

Los resultados muestran que una mayor distancia temporal no implica necesariamente una mayor pérdida de precisión y que las medidas de temporal drift no permiten predecir de manera confiable cuál será la estrategia más efectiva. El análisis de las predicciones individuales revela que algunas mejoras se deben principalmente a cambios en el umbral de clasificación, mientras que otras reflejan correcciones en las publicaciones clasificadas.

A partir de estos hallazgos, se propone PretrainedTEA, un método que combina continued pretraining con recency-weighted temporal expert averaging. El método obtiene resultados competitivos en los tres períodos y alcanza el primer puesto en un indicador compuesto de cuatro medidas de rendimiento y robustez, aunque sin una mejora estadísticamente significativa en la métrica principal frente a TEA.

La investigación destaca la importancia de evaluar no solo la precisión de los modelos, sino también su consistencia y las causas de sus mejoras cuando se aplican a datos de períodos futuros.