El Obispo de Cádiz, Lorenzo Armengual de la Mota, funda esta Cofradía en 1726, cuyo misterio representaría la cuarta estación del Vía Crucis (el encuentro de Jesús con María en la calle de la Amargura) del cual era gran devoto el citado Obispo. La establece en la entonces llamada Iglesia de la ayuda del Pilar (todavía estando ésta en construcción), hoy llamada de San Lorenzo en honor a su piadoso fundador.

En 1761 le son aprobadas nuevas reglas; realizando dos años más tarde, 1763, su primera salida procesional, entonces en Domingo de Ramos; no será hasta 1937 cuando realice su estación de penitencia en Jueves Santo