Fue fundada por Cayetano del Toro Quartillers, que fuera alcalde de Cádiz, el 1 de diciembre de 1894. Tras unos momentos de decadencia fue reorganizada en 1921, debido a que tras su fundación la Cofradía fue languideciendo hasta quedar sólo veintiocho hermanos. Entre las personas reorganizadoras destacaron César y José María Pemán, en esta etapa se dotó a la salida procesional de una gran austeridad y recogimiento, características que hoy perduran