Que sait-on du récent incident dans ChatGPT ?

Panne de ChatGPT : Chronologie et résolution du bug linguistique de février 2024

ChatGPT qui perd pied, il n’y a rien de nouveau. Mais constater qu’il mélange les langues et remet en cause sa réputation avec un bug de longue durée, peut s’avérer effrayant. Du mardi 20 au 21 février 2024, les utilisateurs ont oscillé entre fous-rires et sueurs froides.

Dans cet article, vous apprendrez la chronologie des événements, ainsi que le mode opératoire de OpenAI pour sortir son chatbot du pétrin.  

Comment ChatGPT répondait-il pendant son bug ?

ChatGPT fournissait des réponses incohérentes ou incompréhensibles. Quelques exemples :

• Pour une requête ordinaire :

T sessions. V. Conversations. 0. Memories. Av vide. Big cat’s moment. First out. Harsh Day. Celebration.

• Pour une question de maths :

It’s a fold, it’s a draw, it’s a pass, it’s a win. It’s the mix, it’s the match, it’s the meter, it’s the method.

• Et en français, cette fois-ci :

Perspectives garnies des surdétachements convaincus intègrent la speculation palliative entrée-première: insertion structuroipe de la technodanse référentielle, balance s’addressative point-par-rappruante sortiellée sus et bandeaux alternatifs revictuants, souligent classisme en portal vendalusible certaige.

L’argent pour le bit et la liste est l’un des étrangers et l’internet où la monnaie et la personne du coût est l’un des amis et la monnaie. La prochaine fois que vous regarderez le système, l’échange et le fait, n’oubliez pas de donner.

Face à ce désordre, les internautes n’y sont pas allés du dos de la cuillère pour les plaintes.

Comment les internautes ont-ils réagi ?

L’effet de surprise

Les internautes ont été pris de court par le bug. Certains en rigolent, d’autres se renseignent auprès du chatbot :

Est-ce que tu fais une attaque ? Ce que tu dis n’a pas de sens, et ce ne sont parfois pas de vrais mots.

Es-tu devenu fou ? C’est la première fois que tu perds complètement la tête… Relis la dernière partie de ta réponse et explique-moi ce qu’il s’est passé !

D’autres utilisateurs s’irritent. Sous le pseudo scott.eskridge, un développeur s’est plaint, ayant constaté un “grand n’importe quoi depuis trois heures.” (AFP). 

L’alerte

Les utilisateurs se sont servis des forums et autres plateformes d’échange¹ pour alerter et éventuellement obtenir de l’aide. Dans un mouvement synchronisé, plusieurs internautes ont compilé les tics de ChatGPT sur X et dans le subreddit dédié à ChatGPT². Le site totalbug.com³ a également signalé l’anomalie :  

(…) Plusieurs pannes ont touché ChatGPT tout au long de la journée, aussi bien la version gratuite que la version payante du service.

Comment OpenAI a-t-il résolu le problème ?

Les explications

ChatGPT lui-même a répondu à un internaute au sujet de son état, qu’il était victime d’un problème technique :

Il semble qu’il y ait eu un hoquet technique (technical hiccup) dans mon précédent message, ce qui a causé ce passage insensé.

ChatGPT

Les hallucinations du chatbot ont perduré quelques heures.

La réplique

• Des investigations (en milieu d’après-midi à l’ouest des États-Unis et peu après minuit en France)
• L’identification et la résolution du problème
• La mise à jour de la page d’information⁴ sur le statut de ses services, retranscrite ci-après :

Le 20 février 2024, une optimisation de l’expérience utilisateur a introduit un bug dans la façon dont le modèle traite le langage.

Les LLM génèrent des réponses en échantillonnant des mots de manière aléatoire en fonction en partie de probabilités. Leur « langage » est constitué de nombres qui correspondent à des jetons.

Dans ce cas, le bug résidait dans l’étape où le modèle choisit ces numéros. Semblable à une perte de traduction, le modèle a choisi des nombres légèrement erronés, ce qui a produit des séquences de mots qui n’avaient aucun sens. Plus techniquement, les noyaux d’inférence produisaient des résultats incorrects lorsqu’ils étaient utilisés dans certaines configurations GPU.

Après avoir identifié la cause de cet incident, nous avons déployé un correctif et confirmé que l’incident a été résolu.”

OpenAI

• OpenAI a continué de “surveiller la situation”⁵

ChatGPT a déraillé. Et après ?

Jusqu’à présent, ChatGPT tient la route. De nombreux ajouts de fonctionnalités ont sensiblement amélioré le bot. Cependant, il reste sujet à caution d’une part pour les fakes qu’il engendre et son impact sur l’emploi, et d’autre part pour sa fiabilité. 

Ces systèmes n’ont jamais été stables. Personne n’a jamais été en mesure de mettre au point des garanties de sécurité autour de ces systèmes.

[Il faut] des technologies totalement différentes, moins opaques, plus interprétables, plus faciles à entretenir et à déboguer, et donc plus faciles à mettre en œuvre.”⁶

Gary Marcus, spécialiste de l’IA

Après sa conception, l’enjeu le plus important pour l’IA est de pouvoir la contrôler sur tous les plans (qualité et éthique)⁷.

Une inquiétude qui dure

L’incident récent dans ChatGPT est résolu mais l’inquiétude perdure. 

• ChatGPT s’est mis brusquement à répondre de façon incohérente pendant quelques heures
• Les internautes se sont plaints massivement sur la toile
• OpenAI a résolu le problème et fourni une explication
• La confiance envers ChatGPT est entamée

A ce propos, nous rejoindrons Victor Cherbulliez lorsqu’il affirme que “la confiance est une plante très délicate, elle ne repousse pas à volonté.” Comment OpenAI pourra-t-elle compenser la baisse d’enthousiasme qui pointe son nez chez les internautes?

---

Références :

1. Weird chatgpt bug, typing words without any sense, OpenAI Documentation. Publié le 20 février 2024. Consulté le 26 février 2024. ↩︎
2. r/ChatGPT, Reddit. Consulté le 26 février 2024. ↩︎
3. Problèmes Chat GPT, Totalbug. Consulté le 26 février 2024. ↩︎
4. ChatGPT goes temporarily « insane » with unexpected outputs, spooking users, Ars Technica. Publié le 21 février 2024. Consulté le 26 février 2024. ↩︎
5. Quand ChatGPT déraille : découvrez les étranges réponses du chatbot, Blog du Modérateur. Publié le 21 février 2024. Consulté le 26 février 2024. ↩︎
6. ChatGPT a complètement craqué cette semaine, et on sait enfin pourquoi, Clubic. Publié le 23 février 2024. Consulté le 26 février 2024. ↩︎
7. Intelligence artificielle : retour à la normale pour ChatGPT, après plusieurs heures de bug, La Tribune. Publié le 22 février 2024. Consulté le 26 février 2024. ↩︎