La peculiar situación geográfica en la que se encuentra Tarifa, sin duda, ha marcado su historia, ya que por ella han pasado diferentes civilizaciones y cada uno de ellas ha dejado su impronta en el municipio. El núcleo histórico de la ciudad se encontraba delimitado por antiguas murallas medievales, declaradas Bien de Interés Cultural en 2003. En sus orígenes, este recinto amurallado estaba formado por tres puertas, la Puerta del Retiro, situada al este, la Puerta del Mar, al oeste y la Puerta de Jerez, al norte, siendo esta última la única que se conserva hoy día.