La Archicofradía del Pilar se funda en 1730 y la Cofradía de Jesús de las Penas el 23 de noviembre de 1955 por decreto del entonces obispo Tomás Gutiérrez Díaz, en el año anterior se había constituido la Junta Pro-Cultos de la penitencial, estando formada por el personal, entonces asalariado, que ejercía las labores litúrgicas de la Parroquia de San Lorenzo. Ambas corporaciones pasan a fusionarse ambas en una sola Archicofradía en el mes de marzo de 1977 por decreto del entonces Vicario don Félix González del Moral, siendo Obispo de Cádiz don Antonio Dorado Soto.

En el año 1955 salió en piadoso y devoto Vía-Crucis. Realiza su primera salida procesional el Lunes Santo de 1956, puesto que el Domingo de Ramos llovía copiosamente. En 1957 se inauguró el gran mosaico con la imagen del Señor en la fachada principal de la Parroquia de San Lorenzo Mártir, realizado gracias a una suscripción popular en el barrio.

Desde el año 1964 acompaña al Señor de las Penas su Madre de la Caridad en su Estación de Penitencia cada Domingo de Ramos.