Accidente del sistema - System accident

Un accidente del sistema (o accidente normal ) es una "interacción no anticipada de múltiples fallas" en un sistema complejo . Esta complejidad puede ser tecnológica o de organizaciones humanas y, con frecuencia, es ambas cosas. Un accidente del sistema puede ser fácil de ver en retrospectiva, pero extremadamente difícil en la previsión porque simplemente hay demasiadas vías de acción para considerar todas ellas seriamente. Charles Perrow desarrolló estas ideas por primera vez a mediados de la década de 1980. William Langewiesche, a fines de la década de 1990, escribió que "el control y la operación de algunas de las tecnologías más riesgosas requieren organizaciones tan complejas que prácticamente se garantiza que se produzcan fallas graves".

Los propios sistemas de seguridad son a veces la complejidad añadida que conduce a este tipo de accidente.

Una vez que una empresa pasa de cierto tamaño, con muchos empleados, especialización, sistemas de respaldo, doble verificación, manuales detallados y comunicación formal, los empleados pueden recurrir con demasiada facilidad al protocolo, el hábito y "tener la razón". Al igual que intentar ver una película complicada en un idioma con el que uno no está familiarizado, el hilo narrativo de lo que está sucediendo puede perderse. Y dado que los accidentes del mundo real casi siempre tienen múltiples causas, otros fenómenos como el pensamiento de grupo también pueden estar ocurriendo al mismo tiempo. En particular, es una señal de una organización disfuncional simplemente culpar a la última persona que tocó algo.

En 2012, Charles Perrow escribió: "Un accidente normal [accidente del sistema] es donde todos se esfuerzan mucho por jugar de manera segura, pero la interacción inesperada de dos o más fallas (debido a la complejidad interactiva) provoca una cascada de fallas (debido al acoplamiento estrecho) . " Charles Perrow usa el término accidente normal para enfatizar que, dado el nivel actual de tecnología, estos accidentes son muy probables durante varios años o décadas.

James T. Reason amplió este enfoque con la confiabilidad humana y el modelo del queso suizo , ahora ampliamente aceptado en la seguridad y la salud de la aviación .

Hay un aspecto de un animal que se devora la propia cola, en el que más formalidad y esfuerzo para hacerlo exactamente bien puede empeorar la situación. Por ejemplo, cuanto más riga-ma-rol organizacional esté involucrado en la adaptación a las condiciones cambiantes, es probable que más empleados demoren en informar tales cambios, "problemas" y condiciones inesperadas.

Estos accidentes a menudo se parecen a los dispositivos de Rube Goldberg en la forma en que pequeños errores de juicio, fallas en la tecnología y daños insignificantes se combinan para formar un desastre emergente .

William Langewiesche escribe sobre "toda una realidad fingida que incluye cadenas de mando que no funcionan, programas de formación que no se pueden aprender, manuales que no se pueden leer y la ficción de regulaciones, comprobaciones y controles".

Una idea opuesta es la de la organización de alta fiabilidad .

Scott Sagan

Scott Sagan tiene múltiples publicaciones que discuten la confiabilidad de sistemas complejos, especialmente en lo que respecta a las armas nucleares. The Limits of Safety (1993) proporcionó una revisión extensa de situaciones cercanas durante la Guerra Fría que podrían haber resultado en una guerra nuclear por accidente.

Posibles accidentes del sistema

Vuelo espacial Apolo 13 , 1970

Más información: Apollo 13

Junta de revisión del Apolo 13:


"[Introducción] ... Se encontró que el accidente no fue el resultado de un mal funcionamiento casual en un sentido estadístico, sino que resultó de una combinación inusual de errores, junto con un diseño algo deficiente e implacable [Énfasis agregado]. .

" g. Al revisar estos procedimientos antes del vuelo, los funcionarios de la NASA, ER y Beech no reconocieron la posibilidad de daño debido al sobrecalentamiento. Muchos de estos funcionarios no estaban al tanto del funcionamiento prolongado del calentador. En cualquier caso, interruptores termostáticos adecuados podría haberse esperado que protegiera el tanque ".

Isla de las Tres Millas , 1979

Más información: accidente de Three Mile Island

Charles Perrow:

"Se parecía a otros accidentes en plantas nucleares y en otros sistemas operador-máquina de alto riesgo, complejos y altamente interdependientes; ninguno de los accidentes fue causado por la ineptitud de la gerencia o del operador o por una regulación gubernamental deficiente, aunque estas características existían y deberían haberse esperado. Sostuve que el accidente fue normal, porque en sistemas complejos es probable que haya múltiples fallas que no se pueden evitar con la planificación y que los operadores no pueden comprender de inmediato ".

ValuJet (AirTran) 592 , Everglades, 1996

Más información: Vuelo 592 de ValuJet

William Langewiesche:

Señala que en "el enorme manual de mantenimiento del MD-80 ... Al buscar diligentemente sus opciones, el mecánico podría haber encontrado el camino a una parte diferente del manual y haber aprendido que ... [los generadores de oxígeno] deben desecharse de acuerdo con las normativas locales y utilizando procedimientos autorizados ".

Es decir, la mayoría de los procedimientos de seguridad tal como están escritos son "correctos" en cierto sentido, pero no son útiles ni informativos.

Brian Stimpson:

Paso 2. Las cajas de cartón sin marcar, almacenadas durante semanas en un estante de piezas, se llevaron al departamento de envío y recepción de SabreTech y se dejaron en el piso en un área asignada a la propiedad de ValuJet.

Paso 3. Continental Airlines, un cliente potencial de SabreTech, estaba planeando una inspección de la instalación, por lo que se le pidió a un empleado de envío de SabreTech que limpiara el lugar de trabajo. Decidió enviar los generadores de oxígeno a la sede de ValuJet en Atlanta y etiquetó las cajas como "partes de aviones". Había enviado material de ValuJet a Atlanta antes sin una aprobación formal. Además, entendió mal las etiquetas verdes para indicar "inservible" o "fuera de servicio" y llegó a la conclusión de que los generadores estaban vacíos.

Paso 4. El empleado de envío preparó una carga para la bodega de carga delantera de las cinco cajas más dos neumáticos principales grandes y un neumático de nariz más pequeño. Le pidió a un compañero de trabajo que preparara un boleto de envío que indicara "botes de oxígeno - vacíos". El compañero de trabajo escribió, "Oxy Canisters" seguido de "Empty" entre comillas. También se enumeraron los neumáticos.

Paso 5. Uno o dos días después, las cajas fueron entregadas al agente de rampa de ValuJet para su aceptación en el vuelo 592. El boleto de envío con la lista de llantas y botes de oxígeno debería haberle llamado la atención, pero no lo hizo. Luego, los botes se cargaron contra las regulaciones federales, ya que ValuJet no estaba registrado para transportar materiales peligrosos. Es posible que, en la mente del agente de rampa, la posibilidad de que los trabajadores de SabreTech le envíen carga peligrosa fuera inconcebible.

2008 institución financiera cercana al colapso

En una monografía de 2014, el economista Alan Blinder afirmó que los instrumentos financieros complicados dificultaban a los inversores potenciales juzgar si el precio era razonable. En una sección titulada "Lección n. ° 6: la complejidad excesiva no solo es anticompetitiva, es peligrosa" , afirmó además, "pero el mayor peligro puede provenir de la opacidad. Cuando los inversores no comprenden los riesgos inherentes a los valores que comprar (ejemplos: el tramo mezzanine de un CDO-Squared  ; un CDS en un CDO sintético , ...), se pueden cometer grandes errores, especialmente si las agencias de calificación le dicen que son triple-A, es decir, lo suficientemente seguros para abuela. Cuando llegue el colapso, las pérdidas pueden ser mucho mayores de lo que los inversores imaginaban. Los mercados pueden secarse porque nadie sabe lo que realmente valen estos valores. Puede surgir el pánico. Por lo tanto, la complejidad per se es una fuente de riesgo ".

Hundimiento de MV Sewol

Posibles aplicaciones futuras del concepto

Se ha multiplicado por cinco la seguridad de los aviones desde la década de 1980, pero los sistemas de vuelo a veces cambian a "modos" inesperados por sí mismos.

En un artículo titulado "El factor humano", William Langewiesche habla del accidente en 2009 del vuelo 447 de Air France sobre el Atlántico medio. Señala que, desde la década de 1980, cuando comenzó la transición a los sistemas de cabina automatizados, la seguridad se ha quintuplicado. Langwiesche escribe: "En la privacidad de la cabina del piloto y más allá de la vista del público, los pilotos han sido relegados a roles mundanos como administradores de sistemas". Cita al ingeniero Earl Wiener, quien toma la divertida declaración atribuida a la duquesa de Windsor de que uno nunca puede ser demasiado rico o demasiado delgado, y agrega "o demasiado cuidadoso con lo que pones en un sistema de guía de vuelo digital". Wiener dice que el efecto de la automatización es típicamente reducir la carga de trabajo cuando es liviana, pero aumentarla cuando es pesada.

El ingeniero de Boeing, Delmar Fadden, dijo que una vez que se agregan capacidades a los sistemas de gestión de vuelo, su eliminación se vuelve imposiblemente costosa debido a los requisitos de certificación. Pero si no se usa, en cierto sentido puede acechar en las profundidades invisibles.

Langewiesche cita a la ingeniera industrial Nadine Sarter que escribe sobre "sorpresas de automatización", a menudo relacionadas con modos del sistema que el piloto no comprende completamente o que el sistema cambia por sí solo. De hecho, una de las preguntas más comunes que se hacen en las cabinas de hoy es: "¿Qué está haciendo ahora?" En respuesta a esto, Langewiesche nuevamente señala el aumento de cinco veces en la seguridad y escribe: "Nadie puede abogar racionalmente por un regreso al glamour del pasado".

¿Interacción más sana entre teoría y práctica en la que a veces se cambian las reglas de seguridad?

Del artículo "Un nuevo modelo de accidentes para la ingeniería de sistemas más seguros", de Nancy Leveson, en Safety Science , abril de 2004:
"Sin embargo, las instrucciones y los procedimientos escritos casi nunca se siguen exactamente, ya que los operadores se esfuerzan por ser más eficientes y productivos y hacer frente a presiones de tiempo ... incluso en entornos tan restringidos y de alto riesgo como las plantas de energía nuclear, la modificación de las instrucciones se encuentra repetidamente y la violación de las reglas parece ser bastante racional, dada la carga de trabajo real y las limitaciones de tiempo bajo las cuales los operadores deben hacer su trabajo. En estas situaciones, existe un conflicto básico entre el error visto como una desviación del procedimiento normativo y el error visto como una desviación del procedimiento eficaz racional y normalmente usado (Rasmussen y Pejtersen, 1994) ".

Ver también

Referencias

Notas

Otras lecturas