La creencia popular en el Teso es de un convento de frailes mercenarios, al que pertenecía la ermita. El convento desapareció pero quedaron la Virgen, la ermita y la copfradía, junto con la tradición.
Existe una leyenda de la niña perdida. El milagro de la Armuña
Corría la primavera de 1780. Aquella tarde unas niñas, salieron a recoger flores al campo...pero de repente el cielo se oculto tras grandres nubes negras y, un diluvio cayó. Agua, granizo y fuego. Las niñas llegarón despavoridas a sus casas. Pero faltaba una, Isabel...La fe hizo invocar la intercesión de la Virgen del Viso, pero la niña no se hallaba.
A la mañana siguiente el guarda de Monterrubio, encontró a la niña cogiendo flores. Confuso miraba a la criatura seca, sin barros, mientras ella contaba que una señora muy bella la había cobijado con su manto toda la noche y que le dió de cenar un plato de lentejas y una pera...
Los padres de Isabel, corrienrón a postrarse ante la Virgen del Viso porque oyó sus súplicas. Y así repitieron cada año su peregrinación, para hacer una ofrenda en recuerdo de la niña perdida.
Hoy se mantiene esta tradición y el 14 de agosto víspera de fiesta, se reunen los cofrades en la ermita, celebrando una Eucaristía, para más tarde repartir el simbolo tradicional de lasperas.Tres a cada uno de ellos y una a cuantos niños se acerquen, recordando así el milagro de la niña perdida.