La Bastida es, con Armentia, Estíbaliz, La Guardia y Salvatierra, lugar propicio a la investigación del arqueólogo y a las evocaciones del poeta, y uno de los florones artísticos de Álava.
RUINAS DEL CONVENTO Y DEL ACUEDUCTO.
Como a un kilómetro hacia el Sur de la villa, en parajes tan solitarios como melancólicos, están las ruinas del antiguo convento de San Francisco, llamado de San Andrés de Murga por haberse construído en el mismo lugar donde se alzaba la ermita de este nombre, cedida en 1477 por el obispo de Calahorra D. Pedro de Castro.
En pie no quedan más que los lienzos del claustro y el esqueleto de su arquería; alguna torre que sonríe por sus ventanas derruídas, como una calavera por su desdentada boca; tal cual machón robusto, afianzado a la eternidad como el brazo de un titán al suelo; aquí un muro, donde las claraboyas desoladas producen el dolor de pupilas ciegas; allá un ara de altar por donde, como en la oda de Rodrigo Caro a Itálica, crece y se extiende el jaramago...
Las crónicas nos hablan de que el convento fué uno de los más grandes que tenían los franciscanos en la provincia de Cantabria; de que llegó a reunir 50 religiosos y a ser famosa escuela de Teología y Artes; de que el edificio tenía un templo muy capaz, y, en fin, de la riqueza artística de este monumento fenecido.
Hasta bien entrado el siglo XIX, por los años de 1835, el convento de San Andrés de Murga estuvo regido por franciscanos; después, cuando la primera matanza de frailes, los del convento de San Andrés huyeron y quedó abandonada la hermosa fábrica al furor y a la tea de las guerras civiles, que dejaron en pie las ruinas que hoy visita melancólica y desoladamente todo viajero evocador...
Del acueducto restan, como dijimos, uno solo de los diez puentes que lo componían y varios pilares de sillería, que denotan la consistencia y solidez de construcción tan interesante, por ser tal vez la única de este género en toda la provincia de Álava.
ERMITA DEL CRISTO.
En lo alto de un cerrete que domina la población, está la interesante ermita del Cristo, que fué durante mucho tiempo la iglesia parroquial.