Sound Morphing between instruments with DDSP models

Abstract

El morphing sonoro entre instrumentos en síntesis neuronal suele requerir reentrenar el modelo cada vez que se añade un nuevo instrumento a un sistema de morphing. Exploramos dos alternativas que evitan el reentrenamiento: interpolar los parámetros de síntesis predichos por dos modelos DDSP de tipo armónico más ruido entrenados de forma independiente, e interpolar los pesos de dos modelos ajustados (fine-tuned) a partir de un modelo preentrenado común. Utilizando el conjunto de datos URMP, evaluamos morphs entre instrumentos tanto con métricas objetivas como con una prueba de escucha. Los resultados muestran que la interpolación de pesos solo produce morphs significativos cuando ambos modelos se ajustan a partir del mismo modelo preentrenado, mientras que la interpolación de parámetros también funciona con modelos entrenados de forma independiente. Los resultados de la prueba de escucha confirman que ambos métodos producen timbres perceptualmente intermedios en la mayoría de los casos, aunque el morphing presenta una progresión tímbrica no monótona en una minoría considerable. Se observa cierto grado de degradación del audio durante el morphing, aunque la calidad del audio se sitúa aún entre «buena» (4) y «aceptable» (3) (la puntuación MOS es de 3,89 para la interpolación de parámetros de modelos entrenados de forma independiente y de 3,79 para la interpolación de pesos de modelos ajustados). Estos resultados demuestran la viabilidad del morphing sonoro con los enfoques propuestos para modelos DDSP, y sugerimos trabajo futuro para validarlos con mayor profundidad.