El Colegio se ubica en un bello edificio de principios del siglo XVI, un antiguo convento franciscano levantado en el mismo emplazamiento que uno de los campamentos usados en la reconquista de la ciudad por las tropas de los Reyes Católicos. Tiene una iglesia de la que se conserva en perfecto estado la puerta principal, de estilo Isabelino, única en Andalucía.