La historia de la basílica se remonta al siglo IX, aunque allí había una pequeña iglesia mozárabe, aunque en realidad la devoción en el lugar es mucho anterior, tanto que la Virgen María todavía vivía. Alrededor del año 40, según cuenta la tradición, la madre de Dios se personó ante Santiago sobre un pilar de jaspe, que todavía hoy se venera en el interior del templo.