Esta hermandad se fundó en el año 1796 en la iglesia del hospicio de religiosos franciscanos que servía de parroquia castrense del Departamento, en torno a una efigie de Cristo crucificado que se veneraba en ella. Esta sagrada imagen había sido tallada por el artista guipuzcoano José Tomás de Cirartegui Saralegui, escultor del arsenal de la Carraca. Recibía culto en dicho templo desde el año 1788, presidiendo el sermón de las Tres Horas de cada Viernes Santo y dedicándosele una solemne novena a partir del año 1792, hasta que sus fieles devotos decidieron formarle una cofradía. En dicho año de 1796 obtuvieron los permisos necesarios del Provincial de los franciscanos de Andalucía y del obispo de Cádiz, el cual les aprobó sus primitivas constituciones.

Ya desde sus inicios, la hermandad exponía a la veneración pública un calvario formado por la talla del Señor, una Dolorosa, San Juan Evangelista y la Magdalena. Ignoramos si estas otras imágenes también salieron de las manos de los escultores del arsenal; la imagen de María Stma. de la Esperanza, entonces de los Dolores, es anterior a la del Cristo, la del apóstol fue donada por Manuel de Caviedes, hacendado de origen montañés y miembro de la junta. Los cultos anuales de la cofradía consistían principalmente en una novena por Cuaresma con sermón y canto del Miserere, el Sermón de las Tres Horas o de las Siete Palabras del Viernes Santo, una función en mayo en la fiesta de la Invención de la Santa Cruz y el ejercicio del Vía Crucis cada cuarto domingo de mes. La salida procesional se consideraba algo secundario.

Desde su fundación la hermandad estuvo integrada por personal de la Real Armada, formando parte de sus juntas de gobierno renombrados prestigiosos generales y jefes de los distintos cuerpos. Su primer prioste fue D. Pedro de Cárdenas y Blancardi, caballero sanjuanista y Jefe de Escuadra (empleo equivalente al actual de Vicealmirante) de la Armada. Desde el año 1799, la hermandad tuvo la posibilidad de lucrar las generosas indulgencias que le concedió el Papa Pío VI.

Las principales dificultades que hubo de afrontar la hermandad durante la centuria decimonónica fueron, como todas las cofradías, las de índole económico y, particularmente, las derivadas de la exclaustración de los religiosos franciscanos. La corporación quedó en suspenso durante varios años y encontró serias dificultades para su reorganización, principalmente por la oposición del clero castrense que había sustituido a los frailes. A pesar de las dificultades del siglo XIX, la hermandad fue de las más regulares en su estación de penitencia.

Continuó así durante las primeras décadas del siglo XX, siempre procesionando el Jueves Santo. El rey Alfonso XIII le concedió el título de Real. Como otras cofradías, conoció años de renovación y auge en la década de los años 20, coincidiendo con la dictadura primorriverista, pero esta situación favorable se cortó al proclamarse la segunda república.

Tras una etapa de letargo que se prolongó durante la república y la guerra civil, fue renovada radicalmente en los años cuarenta del siglo XX, derogando las primitivas y más que centenarias reglas que estaban todavía vigentes, suprimiendo el calvario, modificando la advocación de la Dolorosa y estrenando un paso de palio (1948), cambiando los hábitos de los penitentes y adquiriendo el sobrenombre del "Silencio" por comenzar a procesionar con el alumbrado público apagado, siguiendo el modelo de una sobria cofradía gaditana.

Así, alternando etapas de esplendor y de languidez (en las que hubo años que no salió o se vio obligada a llevar el paso con ruedas) ha llegado hasta nuestros días. La Corporación cuenta con la designación de la primera mujer como Hermana Mayor, tanto en la diócesis de Cádiz y Ceuta, como en toda Andalucía. En 1996 conmemoró su bicentenario fundacional, tratando de diseñar un programa renovador de vuelta a sus orígenes y a sus vínculos con la Armada. (Fuente: Archivo de la Hermandad y Fernando Mosig Pérez)