Título : | Active Learning of Regular Languages as an Approach to Neural Language Models Verification |
Autor(es) : | Franz Mayr |
Fecha de publicación : | 3-jun-2024 |
Tipo de publicación: | Tesis de doctorado |
Versión: | Aceptado |
Supervisor(es) : | Sergio Yovine |
Publicado por: | Facultad de Ingeniería, UdelaR PEDECIBA |
Areas del conocimiento : | Ciencias Naturales y Exactas Ciencias de la Computación e Información |
Otros descriptores : | Inteligencia artificial Inferencia regular Verificación Aprendizaje automático Inferencia gramatical |
Resumen : | El presente trabajo aborda el problema general de la verificación del comportamiento de redes neuronales que procesan secuencias, en concreto los aceptores neuronales y los modelos neuronales de lenguaje. La tesis desarrolla un marco teórico-práctico para la extracción de abstracciones formales y la verificación de las redes neuronales bajo análisis. Este proceso se basa en dos ideas centrales: 1) tratar la red neuronal como una caja negra, y 2) utilizar un marco probabilístico para analizar en qué medida el modelo extraído se aproxima al original. Para ello, se proponen, desarrollan y analizan una serie de algoritmos y técnicas de aprendizaje activo. Para el caso de los aceptores neuronales se presenta un procedimiento de verificación de propiedades de redes neuronales. Este enfoque es capaz de verificar propiedades sin construir explícitamente representaciones de la red. Se demuestra que este enfoque ofrece mejores garantías y es más eficiente que la verificación posterior al aprendizaje, en la que la propiedad se verifica únicamente sobre el modelo aprendido de la red. Además, no requiere recurrir a un procedimiento de decisión externo para la verificación ni fijar un formalismo específico de especificación de requisitos. Para el caso de los modelos neuronales de lenguaje se presenta un algoritmo de aprendizaje basado en una congruencia sobre secuencias que se parametriza mediante una relación de equivalencia sobre distribuciones de probabilidad. El algoritmo de aprendizaje se implementa utilizando una estructura de datos en árbol y se muestra que es empíricamente más eficiente que las técnicas de referencia. |
URI / Handle: | https://hdl.handle.net/20.500.12381/3622 |
Financiadores: | Agencia Nacional de Investigación e Innovación Universidad ORT Uruguay |
Identificador ANII: | FSDA_1_2018_1_154419 FMV_1_2019_1_155913 IA_1_2022_1_173516 FMV_1_2023_1_175864 |
Nivel de Acceso: | Acceso abierto |
Licencia CC: | Reconocimiento 4.0 Internacional. (CC BY) |
Aparece en las colecciones: | Publicaciones de ANII |
Archivos en este ítem:
archivo | Descripción | Tamaño | Formato | |
---|---|---|---|---|
PhD_Thesis___Franz_Mayr.pdf | 1.63 MB | Adobe PDF | Descargar |
Las obras en REDI están protegidas por licencias Creative Commons.
Por más información sobre los términos de esta publicación, visita:
Reconocimiento 4.0 Internacional. (CC BY)