Es una cueva porque los 25 grados de temperatura en el exterior contrastan con los 12 del interior cualquier día de verano. Tras diez minutos de esforzada cuesta desde el pueblo de Faido se llega al conjunto declarado monumento de Euskadi. El esfuerzo vale la pena. Es asombroso ver el conjunto de cuevas y muros, las ventanas góticas, y el retablo esculpido en la roca del que probablemente es el lugar de culto más antiguo del País Vasco. La ermita de la Virgen de la Peña es monumento de Euskadi, un edificio del siglo XIII levantado sobre cuevas eremíticas del siglo VI, construidas artificialmente.
En los últimos quince siglos algún vecino de Faido o de su entorno ha rezado una oración junto a la pila bautismal visigótica o contempla do el formidable valle de Santiago y las cuevas de San Julián. Aquí la religión le ha puesto nombre a la hermosa naturaleza, aunque a la senda la denominan Micaela Portilla, porque la insigne hitoriadora siempre estuvo enmorada de este lugar maravilloso, donde el paisaje estremece. Ramón Martínez de Bujanda, vecino de Faido que tiene las llaves durante un año, enseña con orgullo la iglesia y cuenta con emoción la relación tan estrecha del pueblo con este templo «que necesita alguna ayuda para evitar goteras en la parte de la ermita. Hay 50 cofrades y celebramos misa 5 veces al año. Pero ahora quien viene es el turista», sentencia.
La ermita de la Virgen de la Peña de Faido está considerada como una de las iglesias cristianas más antiguas que se conservan actualmente en Euskadi.
Adentrándonos en la roca, entraremos en el templo que se construyó aprovechando una iglesia prerrománica. El retablo es de piedra blanca (esculpido sobre roca en el siglo XVIII). Allí se guarda una imagen de la Virgen de la Peña, fechada entre los siglos XIII-XIV. Las diferentes cuevas dan sun sabor muy especial a este lugar, pero es el campanario sin campanas, el castaño en la entrada, ese valle que conduce a uno de los hayedos más formidables de la provincia, ese paisaje de silencio lo que impresiona. Aita Barandiarán estudió estas cuevas donde se conserva esa religiosidad primitiva y auténtica de nuestros antepasados.