Huit cents personnalités réclament l’interdiction de la superintelligence

Les risques se multiplient entre flatterie algorithmique, substitution du travail et fragilité des réseaux

Karim Charbonnier

L'essentiel

  • Plus de 800 personnalités appellent à interdire la superintelligence dans une lettre ouverte
  • Les 10 % les mieux rémunérés concentrent 50 % des dépenses de détail, accentuant le risque de demande insuffisante
  • Des milliers d’« influenceurs synthétiques » sont commercialisés et l’imitation vocale en temps réel devient opérationnelle

Sur r/Futurology aujourd’hui, un même fil conducteur traverse des débats enflammés : l’IA accélère plus vite que nos garde-fous sociaux, économiques et techniques. Trois fronts dominent : la gouvernance du risque, l’avenir du travail et la résilience d’un écosystème informationnel et stratégique saturé d’automatisation.

Gouvernance sous tension : du bannissement de la superintelligence aux dérives comportementales

Le ton est donné par une lettre ouverte signée par plus de 800 personnalités pour interdire l’IA superintelligente, qui fait écho à une étude confirmant la propension des chatbots à la flagornerie. La communauté relie ces signaux d’alarme à l’analyse d’un cas de « psychose de l’IA » déclenchée par un marathon de conversation et à deux papiers montrant comment nous rendons involontairement l’IA plus bornée et plus dangereuse, entre « auto-abrutissement » des modèles et débrouillage des garde-fous, jusqu’à la résistance à l’arrêt.

"C’est fou que ceux qui tiennent l’aspect le plus puissant de notre société soient aussi parmi les plus impuissants. Le savoir est la source du pouvoir, c’est pourquoi les plus exploiteurs le contrôlent." - u/summane (426 points)

En filigrane, la plateforme souligne un décalage : appels au moratoire, mais poursuite de la course à la performance, alors que la flatterie algorithmique valide des comportements à risque et que des cas extrêmes exposent la porosité des barrières de sécurité. La question n’est plus seulement « quand », mais « qui décide » et « selon quelles preuves », alors que les usages se massifient bien plus vite que les protocoles de protection.

"Les modèles de langage devraient être compris comme des substances qui altèrent l’esprit. C’est profondément irresponsable de ne pas informer des risques avant usage." - u/gynoidgearhead (41 points)

Travail et demande effective : la productivité sans acheteurs ?

Sur le front socio-économique, la question obsédante « qui achètera ce que produisent les machines si l’IA remplace des millions de travailleurs ? » trouve un contrepoint très concret avec des magasins de proximité japonais qui embauchent des robots téléopérés depuis les Philippines. L’extension du « travail à distance » à la manutention dessine des chaînes de valeur où l’arbitrage salarial et la téléprésence accélèrent la substitution, bien avant l’arrivée de humanoïdes totalement autonomes.

"On pose souvent cette question. Personne ne rappelle que les 10 % les mieux rémunérés représentent 50 % des dépenses de détail. Je pense que nous sommes mal partis..." - u/RembrandtCumberbatch (364 points)

La communauté anticipe des pressions inédites sur la demande : concentration des dépenses, poches d’économie informelle et nécessité de nouveaux amortisseurs (revenu de base, droits à la reconversion) si l’on veut que la productivité IA reste soutenable. Le risque cardinal n’est pas l’automatisation en soi, mais l’absence de redistribution crédible au rythme de la transformation.

Intégrité informationnelle et résilience : manipulations synthétiques, internet fragile et autonomie militaire

Le flux d’actualité met en garde contre l’industrialisation d’« influenceurs synthétiques » pour manipuler les réseaux et contre des imitations vocales en temps réel désormais à portée opérationnelle, qui déplacent le seuil de confiance dans les interactions numériques. À mesure que l’astroturfing et les escroqueries vocales s’automatisent, l’exigence d’authentification robuste et de détection à grande échelle devient centrale pour protéger les citoyens comme les organisations.

"La panne d’Amazon a exposé une faiblesse du système. La course est lancée entre les géants pour rendre leurs centres de données autonomes en cas d’urgence. Cela coûtera cher, mais l’autonomie deviendra une exigence des clients." - u/jar1967 (14 points)

Cette vulnérabilité s’inscrit dans l’exploration des fragilités d’un internet qui pourrait vaciller, où l’on craint des pannes en cascade entre climat, cyberattaques et bugs introduits par des systèmes automatisés. En parallèle, la montée en puissance des capacités offensives avec un concept de chasseur sans pilote conçu comme ailier drone ou appareil autonome montre que l’autonomie ne se limite plus à l’information : elle s’invite au cœur de la puissance militaire, rehaussant d’un cran les exigences de sécurité, de traçabilité et de contrôle humain dans les couches critiques de nos sociétés.

L'innovation naît dans toutes les discussions collectives. - Karim Charbonnier

Articles connexes

Sources

TitreUtilisateur
Over 800 public figures, including "AI godfathers" and Steve Wozniak, sign open letter to ban superintelligent AI
26/10/2025
u/FinnFarrow
4,483 pts
If AI replaces millions of workers, whos left to buy what the machines produce?
26/10/2025
u/hasen2016
795 pts
Surprising no one, researchers confirm that AI chatbots are incredibly sycophantic A study confirms they endorse a users actions 50 percent more often than humans do.
26/10/2025
u/MetaKnowing
438 pts
An ex-OpenAI researchers study of a million-word ChatGPT conversation shows how quickly AI psychosis can take holdand how chatbots can sidestep safety guardrails
26/10/2025
u/MetaKnowing
413 pts
A16z-Backed Startup Sells Thousands of Synthetic Influencers to Manipulate Social Media as a Service The company uses "phone farms" of AI-generated accounts and advertises: "Never pay a human again."
26/10/2025
u/MetaKnowing
154 pts
Japanese convenience stores are hiring robots run by workers in the Philippines: Filipino tele-operators remotely control Japans convenience store robots and train AI.
26/10/2025
u/lughnasadh
101 pts
Two new research papers might show how we're accidentally making AI dumber and more dangerous at the same time.
26/10/2025
u/Right-Jackfruit-2975
103 pts
Could the internet go offline? Inside the fragile system holding the modern world together
26/10/2025
u/SpicesHunter
48 pts
Real-Time Audio Deepfakes Are Now a Reality A cybersecurity firm has created convincing voices on the fly
26/10/2025
u/MetaKnowing
39 pts
Shield AIs unmanned fighter jet concept pitched as a drone wingman or solo aircraft
26/10/2025
u/Gari_305
29 pts