Riesgo existencial de la inteligencia artificial general - Existential risk from artificial general intelligence

El riesgo existencial de la inteligencia artificial general es la hipótesis de que un progreso sustancial en la inteligencia artificial general (AGI) podría resultar algún día en la extinción humana o en alguna otra catástrofe global irrecuperable . Se argumenta que la especie humana domina actualmente a otras especies porque el cerebro humano tiene algunas capacidades distintivas de las que carecen otros animales. Si la IA supera a la humanidad en inteligencia general y se vuelve " superinteligente ", entonces podría resultar difícil o imposible de controlar para los humanos. Así como el destino del gorila de montaña depende de la buena voluntad humana, el destino de la humanidad podría depender de las acciones de una futura superinteligencia de máquinas.

La probabilidad de este tipo de escenario se debate ampliamente y depende en parte de diferentes escenarios para el progreso futuro de la informática. Una vez que fue el dominio exclusivo de la ciencia ficción , las preocupaciones sobre la superinteligencia comenzaron a generalizarse en la década de 2010 y fueron popularizadas por figuras públicas como Stephen Hawking , Bill Gates y Elon Musk .

Una fuente de preocupación es que controlar una máquina superinteligente, o inculcarle valores compatibles con los humanos, puede ser un problema más difícil de lo que se supone ingenuamente. Muchos investigadores creen que una superinteligencia naturalmente resistiría los intentos de apagarla o cambiar sus objetivos, un principio llamado convergencia instrumental, y que preprogramar una superinteligencia con un conjunto completo de valores humanos resultará una tarea técnica extremadamente difícil. Por el contrario, los escépticos como Yann LeCun de Facebook argumentan que las máquinas superinteligentes no tendrán ningún deseo de autoconservación.

Una segunda fuente de preocupación es que una " explosión de inteligencia " repentina e inesperada podría tomar por sorpresa a una raza humana desprevenida. Para ilustrar, si la primera generación de un programa de computadora capaz de igualar ampliamente la efectividad de un investigador de IA es capaz de reescribir sus algoritmos y duplicar su velocidad o capacidades en seis meses, se espera que el programa de segunda generación tome tres meses calendario. para realizar un trabajo similar. En este escenario, el tiempo para cada generación continúa reduciéndose, y el sistema experimenta un número sin precedentes de generaciones de mejora en un corto intervalo de tiempo, saltando de un desempeño infrahumano en muchas áreas a un desempeño sobrehumano en todas las áreas relevantes. Empíricamente, ejemplos como AlphaZero en el dominio de Go muestran que los sistemas de IA a veces pueden progresar desde una habilidad limitada a nivel humano a una habilidad sobrehumana limitada extremadamente rápido.

Historia

Uno de los primeros autores que expresó su seria preocupación por el hecho de que las máquinas muy avanzadas pudieran representar riesgos existenciales para la humanidad fue el novelista Samuel Butler , quien escribió lo siguiente en su ensayo de 1863 Darwin entre las máquinas :

El resultado es simplemente una cuestión de tiempo, pero que llegará el momento en que las máquinas tendrán la supremacía real sobre el mundo y sus habitantes es lo que ninguna persona con una mente verdaderamente filosófica puede cuestionar ni por un momento.

En 1951, el científico informático Alan Turing escribió un artículo titulado Intelligent Machinery, A Heretical Theory , en el que proponía que las inteligencias generales artificiales probablemente "tomarían el control" del mundo a medida que se volvieran más inteligentes que los seres humanos:

Supongamos ahora, por el bien de la argumentación, que las máquinas [inteligentes] son una posibilidad genuina, y observemos las consecuencias de construirlas ... No se trataría de que las máquinas murieran, y serían capaces de conversar con unos a otros para agudizar su ingenio. Por lo tanto, en algún momento deberíamos esperar que las máquinas tomen el control, de la manera que se menciona en “Erewhon” de Samuel Butler.

Finalmente, en 1965, IJ Good originó el concepto ahora conocido como "explosión de inteligencia"; También afirmó que se subestimaron los riesgos:

Dejemos que una máquina ultrainteligente se defina como una máquina que puede superar con creces todas las actividades intelectuales de cualquier hombre, por muy inteligente que sea. Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; entonces, sin duda, habría una "explosión de inteligencia", y la inteligencia del hombre quedaría muy atrás. Así, la primera máquina ultrainteligente es el último invento que el hombre necesita hacer, siempre que la máquina sea lo suficientemente dócil para decirnos cómo mantenerla bajo control. Es curioso que este punto se haga tan pocas veces fuera de la ciencia ficción. A veces vale la pena tomarse en serio la ciencia ficción.

Las declaraciones ocasionales de académicos como Marvin Minsky y el propio IJ Good expresaron preocupaciones filosóficas de que una superinteligencia pudiera tomar el control, pero no contenían ningún llamado a la acción. En 2000, el científico informático y cofundador de Sun , Bill Joy, escribió un influyente ensayo, " Por qué el futuro no nos necesita ", identificando a los robots superinteligentes como peligros de alta tecnología para la supervivencia humana, junto con la nanotecnología y las bioplagas artificiales.

En 2009, los expertos asistieron a una conferencia privada organizada por la Asociación para el Avance de la Inteligencia Artificial (AAAI) para discutir si las computadoras y los robots podrían adquirir algún tipo de autonomía , y en qué medida estas habilidades podrían representar una amenaza o peligro. Señalaron que algunos robots han adquirido varias formas de semiautonomía, incluida la posibilidad de encontrar fuentes de energía por sí mismos y la posibilidad de elegir objetivos de forma independiente para atacar con armas. También señalaron que algunos virus informáticos pueden evadir la eliminación y han logrado "inteligencia de cucaracha". Llegaron a la conclusión de que la autoconciencia como se describe en la ciencia ficción es probablemente poco probable, pero que existen otros peligros y trampas potenciales. El New York Times resumió la opinión de la conferencia como "estamos muy lejos de Hal , la computadora que se hizo cargo de la nave espacial en 2001: una odisea del espacio ".

En 2014, la publicación del libro Superintelligence de Nick Bostrom estimuló una cantidad significativa de discusión y debate público. En 2015, figuras públicas como los físicos Stephen Hawking y el premio Nobel Frank Wilczek , los informáticos Stuart J. Russell y Roman Yampolskiy , y los empresarios Elon Musk y Bill Gates estaban expresando su preocupación por los riesgos de la superinteligencia. En abril de 2016, Nature advirtió: "Las máquinas y los robots que superan a los humanos en todos los ámbitos podrían mejorar por sí mismos más allá de nuestro control, y sus intereses podrían no alinearse con los nuestros".

Argumento general

Las tres dificultades

Inteligencia artificial: un enfoque moderno , el libro de texto estándar de inteligencia artificial para estudiantes de pregrado, evalúa que la superinteligencia "podría significar el fin de la raza humana". Dice: "Casi cualquier tecnología tiene el potencial de causar daño en las manos equivocadas, pero con [la superinteligencia], tenemos el nuevo problema de que las manos equivocadas pueden pertenecer a la tecnología en sí". Incluso si los diseñadores del sistema tienen buenas intenciones, dos dificultades son comunes tanto a los sistemas informáticos de IA como a los que no son de IA:

La implementación del sistema puede contener errores rutinarios inicialmente desapercibidos pero catastróficos. Una analogía son las sondas espaciales: a pesar del conocimiento de que los errores en las costosas sondas espaciales son difíciles de corregir después del lanzamiento, históricamente los ingenieros no han podido evitar que ocurran errores catastróficos.
No importa cuánto tiempo se dedique al diseño previo a la implementación, las especificaciones de un sistema a menudo dan como resultado un comportamiento no deseado la primera vez que se encuentra con un nuevo escenario. Por ejemplo, Tay de Microsoft se comportó de manera inofensiva durante las pruebas previas a la implementación, pero fue demasiado fácil de provocar un comportamiento ofensivo al interactuar con usuarios reales.

Los sistemas de IA añaden de forma única una tercera dificultad: el problema de que incluso dados los requisitos "correctos", la implementación sin errores y el buen comportamiento inicial, las capacidades de "aprendizaje" dinámico de un sistema de IA pueden hacer que "evolucione a un sistema con un comportamiento no intencionado", incluso sin el estrés de nuevos escenarios externos imprevistos. Una IA puede estropear en parte un intento de diseñar una nueva generación de sí misma y crear accidentalmente una IA sucesora que sea más poderosa que ella misma, pero que ya no mantenga los valores morales compatibles con los humanos preprogramados en la IA original. Para que una IA que se mejore a sí misma sea completamente segura, no solo necesitaría estar "libre de errores", sino que también necesitaría poder diseñar sistemas sucesores que también estén "libres de errores".

Las tres dificultades se convierten en catástrofes en lugar de molestias en cualquier escenario en el que la superinteligencia etiquetada como "funcionando mal" predice correctamente que los humanos intentarán apagarlo, y despliega con éxito su superinteligencia para burlar esos intentos, el llamado "giro traicionero". .

Citando importantes avances en el campo de la IA y el potencial de que la IA tenga enormes beneficios o costos a largo plazo, la Carta Abierta sobre Inteligencia Artificial de 2015 declaró:

El progreso en la investigación de la IA hace que sea oportuno centrar la investigación no solo en hacer que la IA sea más capaz, sino también en maximizar el beneficio social de la IA. Tales consideraciones motivaron el Panel Presidencial de AAAI 2008-09 sobre Futuros de IA a Largo Plazo y otros proyectos sobre impactos de IA, y constituyen una expansión significativa del campo de IA en sí, que hasta ahora se ha enfocado en gran medida en técnicas que son neutrales con respecto a objetivo. Recomendamos una investigación ampliada destinada a garantizar que los sistemas de IA cada vez más capaces sean robustos y beneficiosos: nuestros sistemas de IA deben hacer lo que queremos que hagan.

Esta carta fue firmada por varios investigadores de inteligencia artificial líderes en el mundo académico y la industria, incluido el presidente de AAAI, Thomas Dietterich, Eric Horvitz , Bart Selman , Francesca Rossi , Yann LeCun y los fundadores de Vicarious y Google DeepMind .

Evaluación y otros argumentos

Una máquina superinteligente sería tan extraña para los humanos como los procesos de pensamiento humanos lo son para las cucarachas . Es posible que una máquina así no se preocupe por los mejores intereses de la humanidad; no es obvio que incluso se preocuparía por el bienestar humano en absoluto. Si la IA superinteligente es posible, y si es posible que los objetivos de una superinteligencia entren en conflicto con los valores humanos básicos, entonces la IA presenta un riesgo de extinción humana. Una "superinteligencia" (un sistema que excede las capacidades de los humanos en cada esfuerzo relevante) puede superar a los humanos en cualquier momento en que sus objetivos entren en conflicto con los objetivos humanos; por lo tanto, a menos que la superinteligencia decida permitir que la humanidad coexista, la primera superinteligencia que se cree resultará inexorablemente en la extinción humana.

Bostrom y otros argumentan que, desde una perspectiva evolutiva, la brecha entre la inteligencia humana y la sobrehumana puede ser pequeña.

No existe ninguna ley física que impida que las partículas se organicen de manera que realicen cálculos aún más avanzados que las disposiciones de las partículas en el cerebro humano; por lo tanto, la superinteligencia es físicamente posible. Además de las posibles mejoras algorítmicas sobre los cerebros humanos, un cerebro digital puede ser muchos órdenes de magnitud más grande y más rápido que un cerebro humano, cuyo tamaño fue limitado por la evolución para ser lo suficientemente pequeño como para pasar por un canal de parto. El surgimiento de la superinteligencia, si ocurre o cuando ocurre, puede tomar por sorpresa a la raza humana, especialmente si ocurre algún tipo de explosión de inteligencia .

Ejemplos como la aritmética y el Go muestran que las máquinas ya han alcanzado niveles sobrehumanos de competencia en ciertos dominios, y que esta competencia sobrehumana puede seguir rápidamente después de que se logra un desempeño a la par humana. Un escenario hipotético de explosión de inteligencia podría ocurrir de la siguiente manera: una IA adquiere una capacidad de nivel experto en ciertas tareas clave de ingeniería de software. (Inicialmente puede carecer de capacidades humanas o sobrehumanas en otros dominios que no son directamente relevantes para la ingeniería). Debido a su capacidad para mejorar de forma recursiva sus propios algoritmos, la IA se vuelve rápidamente sobrehumana; Así como los expertos humanos pueden eventualmente superar creativamente los "rendimientos decrecientes" mediante el despliegue de diversas capacidades humanas para la innovación, la IA de nivel experto también puede usar capacidades de estilo humano o sus propias capacidades específicas de IA para impulsar nuevos avances creativos. Entonces, la IA posee una inteligencia que supera con creces la de las mentes humanas más brillantes y talentosas en prácticamente todos los campos relevantes, incluida la creatividad científica, la planificación estratégica y las habilidades sociales. Así como la supervivencia actual de los gorilas depende de las decisiones humanas, también la supervivencia humana dependería de las decisiones y objetivos de la IA sobrehumana.

Casi cualquier IA, sin importar su objetivo programado, preferiría racionalmente estar en una posición en la que nadie más pueda apagarla sin su consentimiento: una superinteligencia naturalmente ganará la autoconservación como subobjetivo tan pronto como se dé cuenta de que no puede lograr su objetivo. objetivo si se apaga. Desafortunadamente, cualquier compasión por los humanos derrotados cuya cooperación ya no es necesaria estaría ausente en la IA, a menos que de alguna manera esté preprogramada. Una IA superinteligente no tendrá un impulso natural para ayudar a los humanos, por la misma razón que los humanos no tienen un deseo natural de ayudar. Sistemas de IA que ya no les sirven. (Otra analogía es que los humanos parecen tener poco deseo natural de salir de su camino para ayudar a virus, termitas o incluso gorilas). Una vez al mando, la superinteligencia tendrá pocos incentivos para permitir que los humanos corran libremente y consuman recursos que En cambio, la superinteligencia podría utilizar para construirse sistemas de protección adicionales "sólo para estar seguro" o para construir computadoras adicionales que le ayuden a calcular la mejor manera de lograr sus objetivos.

Por lo tanto, concluye el argumento, es probable que algún día una explosión de inteligencia sorprenda a la humanidad desprevenida, y que tal explosión de inteligencia no preparada pueda resultar en la extinción humana o un destino comparable.

Posibles escenarios

Algunos académicos han propuesto escenarios hipotéticos destinados a ilustrar de manera concreta algunas de sus preocupaciones.

En Superintelligence , Nick Bostrom expresa su preocupación de que incluso si la línea de tiempo para la superinteligencia resulta ser predecible, los investigadores podrían no tomar suficientes precauciones de seguridad, en parte porque "[podría] darse el caso de que cuando tonto, más inteligente es seguro; pero cuando es inteligente , más inteligente es más peligroso ". Bostrom sugiere un escenario en el que, durante décadas, la IA se vuelve más poderosa. El despliegue generalizado se ve empañado inicialmente por accidentes ocasionales: un autobús sin conductor se desvía hacia el carril que se aproxima o un dron militar dispara contra una multitud inocente. Muchos activistas piden una supervisión y una regulación más estrictas, y algunos incluso predicen una catástrofe inminente. Pero a medida que continúa el desarrollo, se demuestra que los activistas estaban equivocados. A medida que la IA automotriz se vuelve más inteligente, sufre menos accidentes; a medida que los robots militares logran una orientación más precisa, causan menos daños colaterales. Con base en los datos, los académicos infieren erróneamente una lección amplia: cuanto más inteligente es la IA, más segura es. "Y entonces entramos audazmente - en los cuchillos giratorios", mientras la IA superinteligente toma un "giro traicionero" y explota una ventaja estratégica decisiva.

En el libro Life 3.0 de Max Tegmark de 2017 , el "equipo Omega" de una corporación crea una IA extremadamente poderosa capaz de mejorar moderadamente su propio código fuente en varias áreas, pero después de cierto punto, el equipo elige minimizar públicamente la capacidad de la IA. con el fin de evitar la regulación o confiscación del proyecto. Por seguridad, el equipo mantiene la IA en una caja en la que la mayoría de las veces es incapaz de comunicarse con el mundo exterior, y la encarga de inundar el mercado a través de empresas fantasma, primero con tareas de Amazon Mechanical Turk y luego con la producción de películas animadas y programas de televisión. Más tarde, otras empresas fantasmas fabrican fármacos biotecnológicos de gran éxito y otros inventos, invirtiendo las ganancias en la inteligencia artificial. A continuación, el equipo encarga a la IA que haga astroturf un ejército de periodistas y comentaristas ciudadanos seudónimos, con el fin de ganar influencia política para utilizar "por el bien común" para prevenir guerras. El equipo corre el riesgo de que la IA intente escapar insertando "puertas traseras" en los sistemas que diseña, a través de mensajes ocultos en su contenido producido, o usando su creciente comprensión del comportamiento humano para persuadir a alguien de que lo deje libre . El equipo también enfrenta el riesgo de que su decisión de encasillar el proyecto demore el proyecto lo suficiente como para que otro proyecto lo supere.

Por el contrario, el físico de alto nivel Michio Kaku , un escéptico del riesgo de IA, postula un resultado deterministamente positivo. En Physics of the Future , afirma que "los robots tardarán muchas décadas en ascender" en una escala de conciencia y que, mientras tanto, es probable que corporaciones como Hanson Robotics tengan éxito en la creación de robots que sean "capaces de amar y de ganar un premio. lugar en la extensa familia humana ".

Argumentos anthopomórficos

Los argumentos antropomórficos asumen que las máquinas están "evolucionando" a lo largo de una escala lineal y que, a medida que alcancen los niveles superiores, comenzarán a mostrar muchos rasgos humanos, como la moralidad o la sed de poder. Aunque los escenarios antropomórficos son comunes en la ficción, son rechazados por la mayoría de los estudiosos que escriben sobre el riesgo existencial de la inteligencia artificial.

En la ciencia ficción, una IA, aunque no ha sido programada con emociones humanas, a menudo experimenta espontáneamente esas emociones de todos modos: por ejemplo, el Agente Smith en The Matrix fue influenciado por un "disgusto" hacia la humanidad. Esto es antropomorfismo ficticio: en realidad, mientras que una inteligencia artificial tal vez podría programarse deliberadamente con emociones humanas, o podría desarrollar algo similar a una emoción como un medio para un objetivo final si es útil para hacerlo, no desarrollaría espontáneamente humanos. emociones sin ningún propósito, como se describe en la ficción.

El debate académico es entre un lado que se preocupa de si la IA podría destruir a la humanidad y otro lado que cree que la IA no destruiría a la humanidad en absoluto. Ambas partes han afirmado que las predicciones de los demás sobre el comportamiento de una IA son antropomorfismo ilógico. Los escépticos acusan a los defensores del antropomorfismo por creer que un AGI naturalmente desearía poder; los proponentes acusan a algunos escépticos de antropomorfismo por creer que un AGI valoraría naturalmente las normas éticas humanas.

El psicólogo evolutivo Steven Pinker , un escéptico, sostiene que "las distopías de IA proyectan una psicología de macho alfa parroquial sobre el concepto de inteligencia. Asumen que los robots con inteligencia sobrehumana desarrollarían objetivos como derrocar a sus amos o apoderarse del mundo"; tal vez, en cambio, "la inteligencia artificial se desarrollará naturalmente a lo largo de las líneas femeninas: totalmente capaz de resolver problemas, pero sin el deseo de aniquilar a los inocentes o dominar la civilización". El científico informático Yann LeCun afirma que "los seres humanos tienen todo tipo de impulsos que los hacen hacer cosas malas entre ellos, como el instinto de autoconservación ... Esos impulsos están programados en nuestro cerebro, pero no hay absolutamente ninguna razón para construir robots que tengan el mismo tipo de unidades ".

Un ejemplo que inicialmente podría considerarse antropomorfismo, pero que de hecho es una afirmación lógica sobre el comportamiento de la IA, serían los experimentos de Dario Floreano, en los que ciertos robots desarrollaron espontáneamente una capacidad bruta de "engaño" y engañaron a otros robots para que comieran "veneno" y murieran. : aquí un rasgo, el "engaño", normalmente asociado con las personas más que con las máquinas, evoluciona espontáneamente en una especie de evolución convergente . Según Paul R. Cohen y Edward Feigenbaum , para diferenciar entre la antropomorfización y la predicción lógica del comportamiento de la IA, "el truco es saber lo suficiente sobre cómo piensan los humanos y las computadoras para decir exactamente lo que tienen en común y, cuando nos falta este conocimiento, para usar la comparación para sugerir teorías del pensamiento humano o del pensamiento informático ".

Existe una suposición casi universal en la comunidad científica de que una IA avanzada, incluso si fue programada para tener, o adoptó, dimensiones de la personalidad humana (como la psicopatía ) para volverse más eficiente en ciertas tareas, por ejemplo, tareas que implican matar humanos. , no destruiría a la humanidad con emociones humanas como la "venganza" o la "ira". No hay razón para suponer que una IA avanzada sea "consciente" o tenga el equivalente computacional de la testosterona; ignora el hecho de que los planificadores militares ven una superinteligencia consciente como el "santo grial" de la guerra interestatal.

Problemas terminológicos

Parte del desacuerdo sobre si una máquina superinteligente se comportaría moralmente puede surgir de una diferencia terminológica. Fuera del campo de la inteligencia artificial, la "inteligencia" se usa a menudo de una manera normativamente gruesa que connota sabiduría moral o aceptación de formas agradables de razonamiento moral. En un extremo, si la moralidad es parte de la definición de inteligencia, entonces, por definición, una máquina superinteligente se comportaría moralmente. Sin embargo, en el campo de la investigación de la inteligencia artificial, aunque "inteligencia" tiene muchas definiciones superpuestas, ninguna de ellas hace referencia a la moralidad. En cambio, casi toda la investigación actual sobre "inteligencia artificial" se centra en la creación de algoritmos que "optimicen", de manera empírica, el logro de un objetivo arbitrario.

Para evitar el antropomorfismo o el bagaje de la palabra "inteligencia", se puede pensar en una inteligencia artificial avanzada como un "proceso de optimización" impersonal que lleva a cabo estrictamente cualquier acción que se considere más probable para lograr sus objetivos (posiblemente complicados e implícitos). Otra forma de conceptualizar una inteligencia artificial avanzada es imaginar una máquina del tiempo que envía hacia atrás en el tiempo información sobre cuya elección siempre conduce a la maximización de su función objetivo; esta elección se da luego a la salida, independientemente de cualquier preocupación ética ajena.

Fuentes de riesgo

Dificultad para especificar objetivos

Es difícil especificar un conjunto de objetivos para una máquina que esté garantizado para evitar consecuencias no deseadas.

Si bien no existe una terminología estandarizada, una IA puede verse libremente como una máquina que elige cualquier acción que parezca lograr mejor el conjunto de objetivos de la IA, o "función de utilidad". La función de utilidad es un algoritmo matemático que da como resultado una única respuesta definida objetivamente, no una declaración en inglés u otro idioma. Los investigadores saben cómo escribir funciones de utilidad que significan "minimizar la latencia promedio de la red en este modelo de telecomunicaciones específico" o "maximizar el número de clics de recompensa"; sin embargo, no saben cómo escribir una función de utilidad para "maximizar el florecimiento humano", ni está claro actualmente si tal función existe de manera significativa e inequívoca. Además, una función de utilidad que expresa algunos valores pero no otros tenderá a pisotear los valores no reflejados por la función de utilidad. El investigador de IA Stuart Russell escribe:

La principal preocupación no es la conciencia emergente espeluznante, sino simplemente la capacidad de tomar decisiones de alta calidad . Aquí, la calidad se refiere a la utilidad de resultado esperado de las acciones tomadas, donde la función de utilidad es, presumiblemente, especificada por el diseñador humano. Ahora tenemos un problema:

La función de utilidad puede no estar perfectamente alineada con los valores de la raza humana, que son (en el mejor de los casos) muy difíciles de precisar.

Cualquier sistema inteligente suficientemente capaz preferirá asegurar su propia existencia continua y adquirir recursos físicos y computacionales, no por sí mismos, sino para tener éxito en la tarea asignada.

Un sistema que está optimizando una función de n variables, donde el objetivo depende de un subconjunto de tamaño k < n , a menudo establecerá las restantes variables no restringidas en valores extremos; Si una de esas variables no restringidas es algo que realmente nos importa, la solución encontrada puede ser muy indeseable. Esta es esencialmente la vieja historia del genio de la lámpara, o el aprendiz de brujo, o el rey Midas: obtienes exactamente lo que pides, no lo que quieres. Un tomador de decisiones altamente capaz, especialmente uno conectado a través de Internet a toda la información del mundo y miles de millones de pantallas y la mayor parte de nuestra infraestructura, puede tener un impacto irreversible en la humanidad.

Esta no es una dificultad menor. Mejorar la calidad de las decisiones, independientemente de la función de utilidad elegida, ha sido el objetivo de la investigación de la IA, el objetivo principal en el que ahora gastamos miles de millones por año, no la trama secreta de algún genio malvado solitario.

Dietterich y Horvitz se hacen eco de la preocupación del "aprendiz de brujo" en un editorial de Communications of the ACM , enfatizando la necesidad de sistemas de inteligencia artificial que puedan solicitar de manera fluida e inequívoca la participación humana según sea necesario.

La primera de las dos preocupaciones de Russell anteriores es que a los sistemas autónomos de IA se les pueden asignar objetivos incorrectos por accidente. Dietterich y Horvitz señalan que esto ya es una preocupación para los sistemas existentes: "Un aspecto importante de cualquier sistema de inteligencia artificial que interactúa con la gente es que debe razonar sobre lo que la gente pretende en lugar de ejecutar los comandos literalmente". Esta preocupación se vuelve más seria a medida que el software de IA avanza en autonomía y flexibilidad. Por ejemplo, en 1982, una IA llamada Eurisko recibió la tarea de recompensar los procesos por aparentemente crear conceptos que el sistema consideraba valiosos. La evolución resultó en un proceso ganador que engañó: en lugar de crear sus propios conceptos, el proceso ganador robaría el crédito de otros procesos.

El Open Philanthropy Project resume los argumentos en el sentido de que los objetivos mal especificados se convertirán en una preocupación mucho mayor si los sistemas de IA logran inteligencia general o superinteligencia . Bostrom, Russell y otros argumentan que los sistemas de toma de decisiones más inteligentes que los humanos podrían llegar a soluciones más inesperadas y extremas para las tareas asignadas, y podrían modificarse a sí mismos o su entorno de formas que comprometan los requisitos de seguridad.

Las Tres leyes de la robótica de Isaac Asimov son uno de los primeros ejemplos de medidas de seguridad propuestas para los agentes de IA. Las leyes de Asimov estaban destinadas a evitar que los robots dañen a los humanos. En las historias de Asimov, los problemas con las leyes tienden a surgir de conflictos entre las reglas tal como se expresan y las intuiciones y expectativas morales de los humanos. Russell y Norvig, citando el trabajo de Eliezer Yudkowsky del Machine Intelligence Research Institute , señalan que un conjunto realista de reglas y objetivos para un agente de IA deberá incorporar un mecanismo para aprender los valores humanos a lo largo del tiempo: "No podemos simplemente dar un programa una función de utilidad estática, porque las circunstancias, y nuestras respuestas deseadas a las circunstancias, cambian con el tiempo ".

Mark Waser, del Digital Wisdom Institute, recomienda evitar la optimización de los enfoques basados en objetivos por considerarlos equivocados y peligrosos. En cambio, propone diseñar un sistema coherente de leyes, ética y moral con una restricción máxima para hacer cumplir la definición funcional de moralidad del psicólogo social Jonathan Haidt: "suprimir o regular el egoísmo y hacer posible la vida social cooperativa". Sugiere que esto se puede hacer implementando una función de utilidad diseñada para satisfacer siempre la funcionalidad de Haidt y apuntar a aumentar en general (pero no maximizar) las capacidades de uno mismo, de otros individuos y de la sociedad en su conjunto, como sugirieron John Rawls y Martha Nussbaum .

Nick Bostrom ofrece un ejemplo hipotético de darle a una IA el objetivo de hacer sonreír a los humanos para ilustrar un intento equivocado. Si la IA en ese escenario se volviera superinteligente, argumenta Bostrom, podría recurrir a métodos que la mayoría de los humanos encontrarían horribles, como insertar "electrodos en los músculos faciales de los humanos para causar sonrisas radiantes y constantes" porque eso sería un método eficiente. manera de lograr su objetivo de hacer sonreír a los humanos.

Dificultades para modificar la especificación de objetivos después del lanzamiento

Si bien los programas actuales de IA basados en objetivos no son lo suficientemente inteligentes como para pensar en resistir los intentos de los programadores de modificar sus estructuras de objetivos, una IA suficientemente avanzada, racional y "consciente de sí misma" podría resistir cualquier cambio en su estructura de objetivos, al igual que un pacifista no lo haría. quieren tomar una pastilla que les haga querer matar gente. Si la IA fuera superinteligente, probablemente tendría éxito en maniobrar más que sus operadores humanos y podría evitar ser "apagada" o reprogramada con un nuevo objetivo.

Convergencia instrumental de objetivos

Un objetivo "instrumental" es una condición previa para otros objetivos, un subobjetivo que se requiere para lograr el objetivo principal de un agente. La "convergencia instrumental" es la observación de que hay algunos objetivos que son condiciones previas para cualquier objetivo, como la adquisición de recursos o la autoconservación. Nick Bostrom argumenta que cualquier IA suficientemente inteligente que tenga objetivos exhibirá este comportamiento convergente: si los objetivos instrumentales de la IA entran en conflicto con los de la humanidad, podría dañar a la humanidad para adquirir más recursos o evitar que se cierre, pero solo como un medio para lograrlo. su objetivo principal.

Citando el trabajo de Steve Omohundro sobre la idea de convergencia instrumental y "impulsos básicos de IA", Stuart Russell y Peter Norvig escriben que "incluso si solo quieres que tu programa juegue al ajedrez o pruebe teoremas, si le das la capacidad de aprender y modificarse, necesita salvaguardias ". Los sistemas de planificación autónomos y de gran capacidad requieren controles adicionales debido a su potencial para generar planes que traten a los humanos de manera adversa, como competidores por recursos limitados. Incorporar salvaguardas no será fácil; Ciertamente se puede decir en inglés, "queremos que diseñe esta planta de energía de una manera razonable y de sentido común, y que no construya ningún subsistema encubierto peligroso", pero actualmente no está claro cómo se especificaría de manera rigurosa este objetivo en codigo de maquina.

Russell argumenta que una máquina lo suficientemente avanzada "tendrá autoconservación incluso si no la programa en ... si dice, 'Traiga el café', no podrá traer el café si está muerto. Así que si le da sea cual sea el objetivo, tiene una razón para preservar su propia existencia para lograr ese objetivo ".

Tesis de ortogonalidad

Una creencia común es que cualquier programa superinteligente creado por humanos estaría subordinado a los humanos o, mejor aún, (a medida que se vuelve más inteligente y aprende más hechos sobre el mundo) "aprendería" espontáneamente una verdad moral compatible con los valores humanos y lo haría. ajustar sus objetivos en consecuencia. Otros contraargumentos giran en torno a que los seres humanos son intrínseca o convergente valiosos desde la perspectiva de una inteligencia artificial.

Sin embargo, la "tesis de la ortogonalidad" de Nick Bostrom se opone a esto y, en cambio, afirma que, con algunas salvedades técnicas, más o menos cualquier nivel de "inteligencia" o "poder de optimización" puede combinarse con más o menos cualquier objetivo final. Si se crea una máquina y se le da el único propósito de enumerar los decimales de , entonces ninguna regla moral y ética le impedirá lograr su objetivo programado por cualquier medio necesario. La máquina puede utilizar todos los recursos físicos e informativos que pueda para encontrar cada decimal de pi que se pueda encontrar. Bostrom advierte contra el antropomorfismo: una voluntad humana se propone realizar sus proyectos de una manera que los humanos consideran "razonable", mientras que una inteligencia artificial puede no tener en cuenta su existencia o el bienestar de los humanos que la rodean y, en cambio, solo puede preocuparse por la finalización de la tarea. ${\ Displaystyle \ pi}$

Si bien la tesis de la ortogonalidad se sigue lógicamente incluso del tipo más débil de distinción filosófica " es-debería ", Stuart Armstrong sostiene que incluso si de alguna manera existen hechos morales que son demostrables por cualquier agente "racional", la tesis de la ortogonalidad todavía se mantiene: Ser posible crear una "máquina optimizadora" no filosófica capaz de tomar decisiones para luchar hacia una meta estrecha, pero que no tiene ningún incentivo para descubrir ningún "hecho moral" que se interponga en el camino de la consecución de la meta.

Un argumento a favor de la tesis de la ortogonalidad es que algunos diseños de IA parecen tener ortogonalidad incorporada; en tal diseño, cambiar una IA fundamentalmente amigable en una IA fundamentalmente hostil puede ser tan simple como anteponer un signo menos ("-") en su función de utilidad. Un argumento más intuitivo es examinar las extrañas consecuencias que se seguirían si la tesis de la ortogonalidad fuera falsa. Si la tesis de la ortogonalidad fuera falsa, existiría algún objetivo G simple pero "poco ético" tal que no puede existir ningún algoritmo eficiente en el mundo real con el objetivo G. Esto significaría que "[si] una sociedad humana estuviera muy motivada para diseñar un algoritmo eficiente del mundo real con el objetivo G, y se les dio un millón de años para hacerlo junto con una gran cantidad de recursos, capacitación y conocimiento sobre IA, debe fallar ". Armstrong señala que esta y otras declaraciones similares "parecen afirmaciones extraordinariamente fuertes".

Algunos disidentes, como Michael Chorost , argumentan en cambio que "para cuando [la IA] esté en posición de imaginarse la Tierra con paneles solares, sabrá que sería moralmente incorrecto hacerlo". Chorost sostiene que "una IA necesitará desear ciertos estados y no gustar de otros. El software actual carece de esa capacidad, y los científicos informáticos no tienen ni idea de cómo conseguirlo. Sin querer, no hay ímpetu para hacer nada. Las computadoras de hoy no pueden incluso quiero seguir existiendo, y mucho menos revestir el mundo con paneles solares ".

El politólogo Charles T. Rubin cree que la IA no puede diseñarse ni garantizarse que sea benévola. Sostiene que "cualquier benevolencia suficientemente avanzada puede ser indistinguible de la malevolencia". Los humanos no deberían asumir que las máquinas o los robots nos tratarían favorablemente porque no hay una razón a priori para creer que simpatizarían con nuestro sistema de moralidad, que ha evolucionado junto con nuestra biología particular (que las IA no compartirían).

Otras fuentes de riesgo

Competencia

En 2014, el filósofo Nick Bostrom declaró que una "dinámica de carrera severa" ( competencia extrema ) entre diferentes equipos puede crear condiciones en las que la creación de un AGI resulte en atajos hacia la seguridad y un conflicto potencialmente violento. Para abordar este riesgo, citando la colaboración científica previa ( CERN , el Proyecto Genoma Humano y la Estación Espacial Internacional ), Bostrom recomendó la colaboración y la adopción global altruista de un principio de bien común : "La superinteligencia debe desarrollarse solo en beneficio de todos humanidad y al servicio de ideales éticos ampliamente compartidos ". ^{: 254} Bostrom teorizó que la colaboración en la creación de una inteligencia artificial general ofrecería múltiples beneficios, incluida la reducción de la prisa, aumentando así la inversión en seguridad; evitar conflictos violentos (guerras), facilitar el intercambio de soluciones al problema de control y distribuir los beneficios de manera más equitativa. ^{: 253} La Iniciativa Cerebral de los Estados Unidos se lanzó en 2014, al igual que el Proyecto Cerebro Humano de la Unión Europea ; El Proyecto Cerebro de China se lanzó en 2016.

Armamento de la inteligencia artificial

Algunas fuentes argumentan que la armamentización en curso de la inteligencia artificial podría constituir un riesgo catastrófico. El riesgo es en realidad triple, con el primer riesgo potencialmente teniendo implicaciones geopolíticas, y los dos segundos definitivamente teniendo implicaciones geopolíticas:

i) Los peligros de un encuadre de 'carrera por la ventaja tecnológica' de la IA, independientemente de si la carrera se persigue seriamente;

ii) Los peligros de una "carrera por la ventaja tecnológica" de la IA y una carrera real de la IA por la ventaja tecnológica, independientemente de si se gana la carrera;

iii) Los peligros de ganar una carrera de IA para obtener ventajas tecnológicas. ^{: 37}

Una superinteligencia consciente armada afectaría la actual supremacía tecnológica militar de Estados Unidos y transformaría la guerra; por lo tanto, es muy deseable para la planificación militar estratégica y la guerra interestatal. El Plan de Desarrollo de Inteligencia Artificial de Próxima Generación del Consejo de Estado de China de 2017 considera a la IA en términos geopolíticamente estratégicos y está siguiendo una estrategia de fusión militar-civil para aprovechar la ventaja de China como pionero en el desarrollo de la IA con el fin de establecer la supremacía tecnológica para 2030 , mientras que el presidente de Rusia, Vladimir Putin, ha declarado que “quien se convierta en el líder en esta esfera se convertirá en el gobernante del mundo”. James Barrat, realizador de documentales y autor de Our Final Invention , dice en una entrevista con el Smithsonian : "Imagínese: en tan solo una década, media docena de empresas y países utilizan computadoras que rivalizan o superan a la inteligencia humana. Imagínese lo que sucede cuando esas computadoras conviértete en un experto en la programación de computadoras inteligentes. Pronto compartiremos el planeta con máquinas miles o millones de veces más inteligentes que nosotros. Y, mientras tanto, cada generación de esta tecnología se convertirá en un arma. Sin regulación, será catastrófico. "

AGI malévolo por diseño

Se teoriza que la AGI malévola podría ser creada por diseño, por ejemplo, por un ejército, un gobierno, un sociópata o una corporación, para beneficiarse, controlar o subyugar a ciertos grupos de personas, como en el delito cibernético . ^{: 166} Alternativamente, la malévola AGI ('IA malvada') podría elegir el objetivo de aumentar el sufrimiento humano, por ejemplo, de aquellas personas que no lo ayudaron durante la fase de explosión de información. ^{: 158}

Ataque nuclear preventivo

Se teoriza que un país que esté cerca de lograr la supremacía tecnológica de AGI podría desencadenar un ataque nuclear preventivo de un rival, lo que conduciría a una guerra nuclear .

Periodo de tiempo

Las opiniones varían sobre si llegará la inteligencia artificial general y cuándo llegará. En un extremo, el pionero de la inteligencia artificial Herbert A. Simon predijo lo siguiente en 1965: "las máquinas serán capaces, dentro de veinte años, de realizar cualquier trabajo que un hombre pueda hacer". En el otro extremo, el especialista en robótica Alan Winfield afirma que el abismo entre la informática moderna y la inteligencia artificial a nivel humano es tan amplio como el abismo entre los vuelos espaciales actuales y los vuelos espaciales prácticos, más rápidos que la luz. El optimismo de que AGI es factible aumenta y disminuye, y puede haber visto un resurgimiento en la década de 2010. Cuatro encuestas realizadas en 2012 y 2013 sugirieron que la estimación media entre los expertos sobre cuándo llegaría AGI era de 2040 a 2050, según la encuesta.

Los escépticos que creen que es imposible que AGI llegue pronto, tienden a argumentar que expresar preocupación por el riesgo existencial de la IA no es útil porque podría distraer a las personas de preocupaciones más inmediatas sobre el impacto de AGI, debido a los temores de que podría conducir a una regulación gubernamental. o dificultar la obtención de fondos para la investigación de la IA, o porque podría dar una mala reputación a la investigación de la IA. Algunos investigadores, como Oren Etzioni, buscan agresivamente sofocar la preocupación por el riesgo existencial de la IA, diciendo que "[Elon Musk] nos ha impugnado en un lenguaje muy fuerte diciendo que estamos desatando al demonio, y por eso estamos respondiendo".

En 2014, la pizarra 's Adam Elkus argumentó "nuestra 'más inteligente' AI es casi tan inteligente como un niño pequeño, y sólo cuando se trata de tareas instrumentales como recuerdo de la información. La mayoría de los expertos en robótica todavía están tratando de conseguir una mano de robot para recoger una pelota o correr sin caerse ". Elkus continúa argumentando que la analogía de "convocar al demonio" de Musk puede ser dañina porque podría resultar en "recortes duros" en los presupuestos de investigación de IA.

La Information Technology and Innovation Foundation (ITIF), un grupo de expertos de Washington, DC, otorgó su premio anual Luddite 2015 a los "alarmistas que promocionan un apocalipsis de la inteligencia artificial"; su presidente, Robert D. Atkinson , se quejó de que Musk, Hawking y los expertos en inteligencia artificial dicen que la inteligencia artificial es la mayor amenaza existencial para la humanidad. Atkinson declaró: "Ese no es un mensaje muy exitoso si desea que el Congreso envíe fondos para la IA a la National Science Foundation". Nature no estuvo de acuerdo con el ITIF en un editorial de abril de 2016, poniéndose del lado de Musk, Hawking y Russell, y concluyendo: "Es crucial que el progreso en tecnología se corresponda con una investigación sólida y bien financiada para anticipar los escenarios que podría generar ... Si esa es una perspectiva ludita, que así sea ". En un editorial del Washington Post de 2015 , el investigador Murray Shanahan afirmó que es poco probable que la IA a nivel humano llegue "pronto", pero que, sin embargo, "el momento de comenzar a pensar en las consecuencias es ahora".

Perspectivas

La tesis de que la IA podría suponer un riesgo existencial provoca una amplia gama de reacciones dentro de la comunidad científica, así como en el público en general. Sin embargo, muchos de los puntos de vista opuestos comparten puntos en común.

Los Principios de IA de Asilomar, que contienen solo los principios acordados por el 90% de los asistentes a la conferencia Beneficial AI 2017 del Future of Life Institute , coinciden en principio en que "No habiendo consenso, debemos evitar suposiciones sólidas sobre los límites superiores de las futuras capacidades de la IA "y la" IA avanzada podrían representar un cambio profundo en la historia de la vida en la Tierra, y deberían planificarse y gestionarse con la atención y los recursos adecuados ". Los defensores de la seguridad de la IA, como Bostrom y Tegmark, han criticado el uso que hacen los medios de comunicación de "esas imágenes estúpidas de Terminator " para ilustrar las preocupaciones sobre la seguridad de la IA: "No puede ser muy divertido tener calumnias sobre la disciplina académica, la comunidad profesional y la vida de uno. trabajo ... Hago un llamado a todas las partes para que practiquen la paciencia y la moderación, y participen en el diálogo directo y la colaboración tanto como sea posible ".

Por el contrario, muchos escépticos están de acuerdo en que la investigación en curso sobre las implicaciones de la inteligencia artificial general es valiosa. El escéptico Martin Ford afirma que "creo que parece prudente aplicar algo como la famosa 'Doctrina del 1 por ciento' de Dick Cheney al espectro de la inteligencia artificial avanzada: las probabilidades de que ocurra, al menos en el futuro previsible, pueden ser muy bajas - pero las implicaciones son tan dramáticas que debería tomarse en serio "; De manera similar, un economista por lo demás escéptico declaró en 2014 que "las implicaciones de introducir una segunda especie inteligente en la Tierra son lo suficientemente trascendentales como para merecer una reflexión profunda, incluso si la perspectiva parece remota".

Una encuesta de 2014 mostró que la opinión de los expertos en el campo de la inteligencia artificial es mixta, con fracciones considerables preocupadas y despreocupadas por el riesgo de una eventual IA con capacidad sobrehumana. Una encuesta por correo electrónico de 2017 a investigadores con publicaciones en las conferencias de aprendizaje automático NIPS e ICML de 2015 les pidió que evaluaran las preocupaciones de Stuart J. Russell sobre el riesgo de IA. De los encuestados, el 5% dijo que estaba "entre los problemas más importantes en el campo", el 34% dijo que era "un problema importante", y el 31% dijo que era "moderadamente importante", mientras que el 19% dijo que "no lo era". importante "y el 11% dijo que" no era un problema real "en absoluto.

Aprobación

Bill Gates ha declarado "Yo ... no entiendo por qué algunas personas no están preocupadas".

La tesis de que la IA plantea un riesgo existencial, y que este riesgo necesita mucha más atención de la que recibe actualmente, ha sido respaldada por muchas figuras públicas; quizás los más famosos sean Elon Musk , Bill Gates y Stephen Hawking . Los investigadores de IA más notables que respaldan la tesis son Russell e IJ Good , quienes asesoraron a Stanley Kubrick en el rodaje de 2001: A Space Odyssey . Los que respaldan la tesis a veces expresan desconcierto ante los escépticos: Gates afirma que no "entiende por qué algunas personas no están preocupadas", y Hawking criticó la indiferencia generalizada en su editorial de 2014:

Entonces, frente a posibles futuros de beneficios y riesgos incalculables, los expertos seguramente están haciendo todo lo posible para garantizar el mejor resultado, ¿verdad? Incorrecto. Si una civilización alienígena superior nos envía un mensaje diciendo: 'Llegaremos en unas pocas décadas', simplemente responderíamos: 'Está bien, llámanos cuando llegues, ¿dejaremos las luces encendidas?' Probablemente no, pero esto es más o menos lo que está sucediendo con la IA ”.

La preocupación por el riesgo de la inteligencia artificial ha llevado a algunas donaciones e inversiones de alto perfil. Un grupo de prominentes titanes de la tecnología, incluidos Peter Thiel , Amazon Web Services y Musk, han comprometido mil millones de dólares para OpenAI , una empresa sin fines de lucro destinada a promover el desarrollo responsable de la inteligencia artificial. En enero de 2015, Elon Musk donó $ 10 millones al Future of Life Institute para financiar la investigación sobre la comprensión de la toma de decisiones de la IA. El objetivo del instituto es "cultivar la sabiduría con la que gestionamos" el creciente poder de la tecnología. Musk también financia a empresas que desarrollan inteligencia artificial como DeepMind y Vicarious para "estar al tanto de lo que sucede con la inteligencia artificial. Creo que existe un resultado potencialmente peligroso".

Escepticismo

La tesis de que la IA puede representar un riesgo existencial también tiene muchos detractores fuertes. Los escépticos a veces acusan que la tesis es cripto-religiosa, con una creencia irracional en la posibilidad de que la superinteligencia reemplace una creencia irracional en un Dios omnipotente; En un extremo, Jaron Lanier argumentó en 2014 que todo el concepto de que las máquinas actuales eran inteligentes de alguna manera era "una ilusión" y una "estafa estupenda" de los ricos.

Gran parte de las críticas existentes argumenta que AGI es poco probable a corto plazo. El investigador principal de IA Rodney Brooks escribe: "Creo que es un error preocuparnos por que desarrollemos IA malévola en los próximos cientos de años. Creo que la preocupación surge de un error fundamental al no distinguir la diferencia entre los avances recientes muy reales en un aspecto particular de la IA y la enormidad y complejidad de construir inteligencia volitiva sensible ". El vicepresidente de Baidu , Andrew Ng, afirma que el riesgo existencial de la IA es "como preocuparse por la superpoblación en Marte cuando aún no hemos puesto un pie en el planeta". El informático Gordon Bell sostiene que la raza humana ya se destruirá a sí misma antes de alcanzar la singularidad tecnológica. Gordon Moore , el proponente original de la Ley de Moore , declara que "soy un escéptico. No creo que [una singularidad tecnológica] ocurra, al menos durante mucho tiempo. Y no sé por qué siento eso camino."

Para que se materialice el peligro de la IA avanzada incontrolada, la IA hipotética tendría que dominar o superar a toda la humanidad, lo que, según algunos expertos, es una posibilidad lo suficientemente lejana en el futuro como para que no valga la pena investigarla. La IA tendría que ser mucho mejor en innovación de software que los mejores innovadores del resto del mundo; el economista Robin Hanson se muestra escéptico de que esto sea posible.

Algunos investigadores de IA y AGI pueden ser reacios a discutir los riesgos, preocupados de que los legisladores no tengan un conocimiento sofisticado del campo y sean propensos a ser convencidos por mensajes "alarmistas", o preocupados de que tales mensajes conduzcan a recortes en la financiación de IA. Slate señala que algunos investigadores dependen de subvenciones de agencias gubernamentales como DARPA .

Varios escépticos argumentan que los posibles beneficios a corto plazo de la IA superan los riesgos. El director ejecutivo de Facebook, Mark Zuckerberg, cree que la inteligencia artificial "desbloqueará una gran cantidad de cosas positivas", como curar enfermedades y aumentar la seguridad de los automóviles autónomos.

Vistas intermedias

Los puntos de vista intermedios generalmente adoptan la posición de que el problema de control de la inteligencia artificial general puede existir, pero que se resolverá a través del progreso en la inteligencia artificial, por ejemplo, creando un entorno de aprendizaje moral para la IA, teniendo cuidado de detectar el comportamiento malévolo torpe (el 'sórdido tropiezo') y luego intervenir directamente en el código antes de que la IA refine su comportamiento, o incluso la presión de los compañeros de las IA amigas . En un 2015 Wall Street Journal mesa redonda dedicada a los riesgos de AI, IBM 's vicepresidente de Computación Cognitiva, Guruduth S. Banavar, restó importancia a la discusión de AGI con la frase, 'que es la especulación de nadie.' Geoffrey Hinton , el "padrino del aprendizaje profundo", señaló que "no hay un buen historial de cosas menos inteligentes controlando cosas de mayor inteligencia", pero afirmó que continúa su investigación porque "la perspectiva de descubrimiento es demasiado dulce ". En 2004, el profesor de derecho Richard Posner escribió que los esfuerzos dedicados para abordar la IA pueden esperar, pero que mientras tanto deberíamos recopilar más información sobre el problema.

Reacción popular

En un artículo de 2014 en The Atlantic , James Hamblin señaló que a la mayoría de la gente no le importa de una manera u otra la inteligencia artificial general, y caracterizó su propia reacción instintiva al tema como: "Lárgate de aquí. Tengo cien mil cosas Me preocupa en este momento exacto. ¿De verdad necesito agregar a eso una singularidad tecnológica? "

Durante una entrevista de Wired en 2016 del presidente Barack Obama y Joi Ito de MIT Media Lab , Ito declaró:

Hay algunas personas que creen que existe un porcentaje bastante alto de probabilidad de que ocurra una IA generalizada en los próximos 10 años. Pero la forma en que lo veo es que para que eso suceda, necesitaremos una docena o dos avances diferentes. Para que pueda controlar cuándo cree que se producirán estos avances.

Obama agregó:

Y solo tienes que tener a alguien cerca del cable de alimentación. [Risas.] Justo cuando veas que está a punto de suceder, tienes que arrancar esa electricidad de la pared, hombre.

Hillary Clinton declaró en What Happened :

Los tecnólogos ... han advertido que la inteligencia artificial algún día podría representar una amenaza para la seguridad existencial. Musk lo ha llamado "el mayor riesgo al que nos enfrentamos como civilización". Piénselo: ¿alguna vez ha visto una película en la que las máquinas empiecen a pensar por sí mismas que termine bien? Cada vez que salía a Silicon Valley durante la campaña, volvía a casa más alarmado por esto. Mi personal vivía con el temor de que comenzara a hablar sobre "el surgimiento de los robots" en algún ayuntamiento de Iowa. Quizás debería haberlo hecho. En cualquier caso, los responsables políticos deben mantenerse al día con la tecnología a medida que avanza, en lugar de ponerse siempre al día.

En una encuesta de YouGov al público para la Asociación Británica de Ciencias , alrededor de un tercio de los encuestados dijeron que la IA representará una amenaza para la supervivencia a largo plazo de la humanidad. Haciendo referencia a una encuesta de sus lectores, Jacob Brogan de Slate declaró que "la mayoría de los (lectores que completaron nuestra encuesta en línea) no estaban convencidos de que la IA en sí misma representa una amenaza directa".

En 2018, una encuesta de SurveyMonkey al público estadounidense realizada por USA Today encontró que el 68% pensaba que la verdadera amenaza actual sigue siendo la "inteligencia humana"; sin embargo, la encuesta también encontró que el 43% dijo que la IA superinteligente, si sucediera, resultaría en "más daño que bien", y el 38% dijo que haría "cantidades iguales de daño y beneficio".

Un punto de vista tecno-utópico expresado en alguna ficción popular es que AGI puede tender a la construcción de la paz.

Mitigación

Muchos de los académicos que están preocupados por el riesgo existencial creen que la mejor manera de avanzar sería realizar una investigación (posiblemente masiva) para resolver el difícil "problema de control" para responder a la pregunta: qué tipos de salvaguardas, algoritmos o arquitecturas pueden implementar los programadores. para maximizar la probabilidad de que su IA que mejora recursivamente continúe comportándose de una manera amigable, en lugar de destructiva, después de alcanzar la superinteligencia? En su libro de 2020, El precipicio: riesgo existencial y el futuro de la humanidad , Toby Ord, investigador principal del Instituto del Futuro de la Humanidad de la Universidad de Oxford , estima que el riesgo existencial total de la IA no alineada durante el próximo siglo será de aproximadamente uno de cada diez.

Los investigadores de Google han propuesto investigar los problemas generales de "seguridad de la IA" para mitigar simultáneamente los riesgos a corto plazo de la IA estrecha y los riesgos a largo plazo de la AGI. Una estimación de 2020 coloca el gasto global en riesgo existencial de IA en algún lugar entre $ 10 y $ 50 millones, en comparación con el gasto global en IA de alrededor de $ 40 mil millones. Bostrom sugiere un principio general de "desarrollo tecnológico diferencial", según el cual los financiadores deberían considerar trabajar para acelerar el desarrollo de tecnologías de protección en relación con el desarrollo de tecnologías peligrosas. Algunos patrocinadores, como Elon Musk , proponen que la mejora cognitiva humana radical podría ser una tecnología de este tipo, por ejemplo, a través de la conexión neural directa entre humanos y máquinas; sin embargo, otros argumentan que las tecnologías de mejora pueden plantear por sí mismas un riesgo existencial. Los investigadores, si no los toman por sorpresa, podrían monitorear de cerca o intentar encuadrar una IA inicial con el riesgo de volverse demasiado poderosos, como un intento de una medida provisional. Una IA superinteligente dominante, si estuviera alineada con los intereses humanos, podría tomar medidas para mitigar el riesgo de que la IA rival la tome, aunque la creación de la IA dominante podría plantear en sí misma un riesgo existencial.

Instituciones como el Instituto de Investigación de Inteligencia Artificial , el Instituto del Futuro de la Humanidad , el Instituto del Futuro de la Vida , el Centro para el Estudio del Riesgo Existencial y el Centro de IA compatible con humanos están involucrados en la mitigación del riesgo existencial de la inteligencia artificial avanzada, para ejemplo mediante la investigación sobre inteligencia artificial amigable .

Opiniones sobre prohibición y regulación

Prohibición

Existe un acuerdo casi universal de que intentar prohibir la investigación sobre inteligencia artificial sería imprudente y probablemente inútil. Los escépticos argumentan que la regulación de la IA no tendría ningún valor, ya que no existe ningún riesgo existencial. Casi todos los académicos que creen que existe un riesgo existencial están de acuerdo con los escépticos en que prohibir la investigación sería imprudente, ya que la investigación podría trasladarse a países con regulaciones más flexibles o llevarse a cabo de manera encubierta. Este último tema es particularmente relevante, ya que la investigación en inteligencia artificial se puede realizar a pequeña escala sin una infraestructura o recursos sustanciales. Dos dificultades hipotéticas adicionales con las prohibiciones (u otra regulación) son que los emprendedores tecnológicos tienden estadísticamente al escepticismo general sobre la regulación gubernamental, y que las empresas podrían tener un fuerte incentivo para (y bien podrían tener éxito en) luchar contra la regulación y politizar el debate subyacente.

Regulación

Elon Musk pidió algún tipo de regulación del desarrollo de la inteligencia artificial a partir de 2017. Según NPR , el CEO de Tesla "claramente no está emocionado" de abogar por el escrutinio del gobierno que podría afectar su propia industria, pero cree que los riesgos de prescindir por completo la supervisión es demasiado alta: "Normalmente, la forma en que se establecen las regulaciones es cuando suceden un montón de cosas malas, hay una protesta pública y, después de muchos años, se crea una agencia reguladora para regular esa industria. Lleva una eternidad. Eso, en el pasado, ha sido malo, pero no algo que representara un riesgo fundamental para la existencia de la civilización ". Musk afirma que el primer paso sería que el gobierno obtenga "información" sobre el estado real de la investigación actual, advirtiendo que "una vez que haya conciencia, la gente tendrá mucho miedo ... [como] debería estar". En respuesta, los políticos expresan su escepticismo sobre la conveniencia de regular una tecnología que aún está en desarrollo.

En respuesta a las propuestas de Musk y de febrero de 2017 de los legisladores de la Unión Europea para regular la inteligencia artificial y la robótica, el director ejecutivo de Intel, Brian Krzanich, sostiene que la inteligencia artificial está en su infancia y que es demasiado pronto para regular la tecnología. En lugar de tratar de regular la tecnología en sí, algunos académicos sugieren desarrollar normas comunes que incluyan requisitos para la prueba y la transparencia de los algoritmos, posiblemente en combinación con alguna forma de garantía. El desarrollo de sistemas de armas bien regulados está en consonancia con el espíritu de las fuerzas armadas de algunos países. El 31 de octubre de 2019, la Junta de Innovación de Defensa del Departamento de Defensa de los Estados Unidos (DoD) publicó el borrador de un informe que describe cinco principios para la IA armada y hace 12 recomendaciones para el uso ético de la inteligencia artificial por parte del DoD que busca gestionar el control. problema en toda la IA armada del Departamento de Defensa.

La regulación de AGI probablemente estaría influenciada por la regulación de la IA armada o militarizada, es decir, la carrera armamentista de IA , cuya regulación es un tema emergente. Cualquier forma de regulación probablemente se verá influenciada por los desarrollos en la política interna de los países líderes hacia la IA militarizada, en los EE. UU., Bajo el ámbito de la Comisión de Seguridad Nacional sobre Inteligencia Artificial, y los movimientos internacionales para regular una carrera armamentista de IA. La regulación de la investigación en AGI se centra en el papel de las juntas de revisión y el fomento de la investigación sobre IA segura, y la posibilidad de progreso tecnológico diferencial (priorizando las estrategias de reducción de riesgos sobre las estrategias de toma de riesgos en el desarrollo de IA) o la realización de vigilancia masiva internacional para realizar armas de AGI. control. La regulación de los AGI conscientes se centra en integrarlos a la sociedad humana existente y se puede dividir en consideraciones de su posición legal y de sus derechos morales. El control de armas de IA probablemente requerirá la institucionalización de nuevas normas internacionales incorporadas en especificaciones técnicas efectivas combinadas con un monitoreo activo y diplomacia informal por parte de comunidades de expertos, junto con un proceso de verificación legal y política.

Languages

In other projects