La documentación existente fecha a la Cofradía en 1912; sin embargo, se le reconoce como existente en el siglo XVIII. Debido a la vecindad que existía con la antigua Fábrica de Tabacos, edificio que alberga hoy al Palacio de Congresos y Exposiciones, su personal se integró en la nómina de hermanos de la Cofradía, siendo conocida como las Cigarreras; estos lazos perduran hoy día pese al traslado de la Fábrica.