Aux limites de l'IA
Une fois la poussière du buzz retombée, on commence à mieux cerner le potentiel et les limites actuels des IA génératives. Décryptage #296
👨🚀 Tous les mardis, Stéphane Schultz décrypte l’impact des technologies sur l’économie et la société... En savoir plus sur cette lettre : À propos
Vous avez été plus de 9000 à ouvrir notre dernière édition. Vous avez découvert cette lettre par un autre canal ?
🧭 De quoi allons-nous parler
J’ai eu le plaisir très récemment de participer à une table ronde devant de grands acteurs de l’évènementiel en compagnie du designer Étienne Mineur et de la journaliste Nastasia Hadjadji. Le thème portait - vous l’aurez deviné - sur les IA génératives, sujet qui soulève autant de questions que d’intérêt pour des métiers au croisement de la création, de la logistique et de la communication.
Sans nous être répartis au préalable les rôles avec Étienne, je me suis retrouvé à jouer celui du “prudent” qui alertait sur les limites actuelles de ces technologies. Je vous propose d’en étudier deux principales ici :
Quels sont les cas d’usage les plus pertinents pour les modèles génératifs actuels et ceux à éviter ?
Pourquoi sera-t-il (très) difficile de bénéficier d’une IA “personnalisée” ?
N’hésitez pas à réagir, et évidemment à faire appel à moi si vous avez besoin de travailler ou communiquer sur ces sujets au sein de votre organisation.
🎯 Cette semaine
À chaque lettre un nouveau sujet décrypté : les limites de l’IA
Pourquoi il ne faut pas utiliser l’IA partout et tout le temps
Sur les aspects les plus généraux des IA et ce que l’on peut en faire, je vous renvoie vers mes articles précédents, par exemple 4 questions pour une stratégie IA, dans lequel je tentais déjà de détourer le champ d’action des outils grand public.
Rappel : Les résultats produits par les modèles génératifs sont basés sur la probabilité que des fragments de mots (tokens) s’assemblent pour répondre correctement à la question posée, probabilité calculée à partir de l’étude de centaines de milliards de combinaisons moissonnées dans des ressources immenses (livres, medias, conversations,…). Les résultats sont ensuite contrôlés par des humains et réinjectés dans le modèle pour une amélioration en continu. Malgré la qualité apparente des résultats, les modèles ne savent pas ce qui est vrai, ni ne comprennent le sens de ce qu’ils produisent.
La conclusion à l’époque (il y a 18 mois) était que l’espace de pertinence des outils usuels se situait principalement autour des deux bulles de gauche ci-dessous. Les tâches complexes étaient limitées notamment par l’absence de données contextuelles. Nous allons y revenir un peu plus loin justement.
Mais avant tout, demandons-nous quand est-il pertinent - et sûr - des les utiliser ? En particulier si vous êtes une entreprise.
J’ai coutume de rappeler pour paraphraser Benedict Evans que les réponses des IA sont tout à fait pertinentes dans deux cas précis :
Il n’y a pas de mauvaise réponse à la question que vous avez posée.
Vous connaissez déjà la bonne réponse à la question que vous avez posée.
Ce raccourci nous permet de nous déplacer dans un espace en deux dimensions, un quadrant - les consultants adorent les quadrants - qui distingue d’une part le niveau d’expertise de l’utilisateur et d’autre part, les risques de “mauvaise réponse”.
Devant votre armoire à pharmacie vous demandez à ChatGPT si le médicament dont vous connaissez vaguement le nom peut soigner votre rhume : il y a de mauvaises réponses, et vous n’êtes pas expert·e (je pars de l’hypothèse que peu de médecins lisent cette lettre). Vous êtes donc en danger en utilisant l’IA dans ce cadre. Autre exemple : l’usage de l’IA dans la justice ou la reconnaissance faciale.
Si vous êtes expert·e dans une domaine en particulier, les IA peuvent en revanche vous être utiles pour effectuer des tâches simples, répétitives, et dont a priori vous saurez détecter les erreurs facilement. Assister à votre place à un webinaire, synthétiser un texte ou trier des images : le risque d’erreur est limité. “Imaginez que vous avez une dizaine de stagiaires infatigables et enthousiastes, que leur confieriez-vous comme tâches ?” ai-je résumé durant la table ronde. Étienne Mineur ajouta “des stagiaires sous LSD” pour rappeler que parfois, le résultat est surprenant. L’arbitrage sera à ce moment-là non pas sur le danger mais sur le temps passé à vérifier le résultat vs le temps gagné. Vous ne mettez pas les stagiaires devant vos clients sans les accompagner.
Lorsque le résultat ne peut pas être une mauvaise réponse (ou en tout cas dont la réponse ne présentera pas de danger), on trouve les principaux usages actuels des IA génératives : créativité (si vous savez en juger le résultat), exploration, jeu. Il est tentant d’assurer le support client, souvent considéré comme un poste de coût, par un chatbot. Remplacer une FAQ peut améliorer le service. Cela peut aussi mal tourner lorsque les fonctionnalités dépassent la simple information comme le montrent les exemples d’Air Canada ou de Taco Bell.
La question de la pertinence se pose aussi au regard de la capacité des IA à proposer autre chose que des “réponses moyennées”. Comment faire pour obtenir des réponses prenant en compte le contexte particulier (personnel ou professionnel) ? Si je reviens à mes 4 bulles de tout à l’heure, comment organiser un week-end surprise au Puy du Fou ?
Le mirage de la personnalisation
C’est là que le bât blesse. Si je demande à mes stagiaires d’organiser un week-end au Puy du Fou, nul doute qu’ils sauront trouver un hôtel, réserver des entrées et m’indiquer l’itinéraire le plus rapide. Mais comment pourront-ils savoir avec qui je souhaite m’y rendre ? Quelles sont les meilleures dates pour nous ? Nos préférences alimentaires ? S’il y aura des animaux, des enfants ? Comment sauront-ils éviter certains lieux, style de décoration, activités que l’on déteste (avec l’âge on devient compliqué) ?
J’entends déjà les experts me dirent “y’a qu’à pousser de la data dans la machine” (ils veulent parler sans doute de RAG) : ok, mais est-ce que j’ai vraiment accès à cette donnée, et ensuite, est-ce que j’ai envie de la “pousser” dans des clouds essentiellement américains ? Le paradoxe étant que cette donnée est le plus souvent déjà dans des clouds américains.
Je me suis amusé (chacun ses hobbies) à détailler ici toutes les données qu’il faudrait pour essayer de “comprendre” une personne, ou à tout le mieux être en mesure d’adapter les réponses à ses questions de manière pertinente. Ce que je veux souligner ici est le nombre d’acteurs différents à posséder chacun une petite partie de cette connaissance. Vous en avez sans doute reconnu la plupart. Le moins que l’on puisse dire est que ces entreprises sont très jalouses de ce qu’elles savent de vous. Donc quand je lis les promesses de tel ou tel acteur de nous fournir des “avis personnalisés”, je reste dubitatif. Sur la base de quelles données vont-ils construire ces avis ? Google sait où j’étais hier, Insta a une vague idée de ce qui retient mon attention pendant deux vingt-cinq minutes chaque jour, et Airbnb connaît mes rêves de voyage. Ils n’ont pas accès à mon agenda, ou plutôt à mes agendas pro et perso, à mes messageries, mes logiciels métiers, aux articles que je lis sur des apps, aux notes que je prends sur mon téléphone (Apple),…Pour qu’ils y aient accès, il faudrait 1/ que je n’utilise que leurs apps et leurs solutions 2/ que je “pousse” toutes ces données à l’appui de ma question. Le 1/ correspond aux “superapps” que l’on trouve quasi-uniquement en Chine (WeChat, Meituan,…) et que personne n’est arrivé à reproduire dans le vieux monde. On comprend mieux pourquoi OpenAI développe une suite numérique avec navigateur, messagerie,…Souhaitons-leur bon courage. Le 2/ est très hypothétique, si tant est que j’arrive à récupérer les données et les transmettre dans un format compatible
Remplacez maintenant “week-end au Puy du Fou” par “plan stratégique 2025-2028 pour l’entreprise Y” : pensez-vous vraiment que les IA génératives puissent vous apporter une réponse pertinente, sûre et personnalisée ? Combien de données faudra-t-il leur fournir ? En aurez-vous le droit ? Y avez-vous vraiment intérêt ?
Les limites des dernières solutions d’IA génératives ne sont pas que performatives : quel que soit le résultat qu’elles obtiennent dans les benchmarks, 1% de risque d’erreur sera toujours insupportable pour de l’ingénierie, du médical ou un véhicule lancé à 90 km/h sur une 4 voies. Le meilleur des modèles n’aura de même jamais l’accès à l’ensemble des coins et recoins de votre univers numérique, sans même parler de votre “vraie vie”, celle qui se déroule loin de vos appareils. Laissons donc de côté les chimères d’intelligence générale et de robot personnel, et utilisons les IA pour ce qu’elles savent faire aujourd’hui et tous les usages qui restent à inventer.
Envie d’avancer concrètement sur ces sujets dans votre organisation ?
🤓 Et aussi
Des ressources en lien avec le sujet de la semaine
Le grand prix des plus beaux fails de l’AI - postez le votre. AI Darwin Awards
Toujours vérifier les sources - Le taux de fausses informations répétées par les chatbots d’IA a presque doublé en un an - NewsGuard
Que font les étudiants avec les IA ? - Student Generative AI Survey 2025
Que font les publicitaires avec l’IA ? - AI in Advertising Use Case Map
Au sein même des comités de direction, les stratégies - et les pratiques - diffèrent sur l’IA - C-suite leaders grapple with conflict, silos amid AI adoption
Le titre est nul mais le podcast vaut le temps passé - Why Everyone Is Wrong About AI (Including You) | Benedict Evans
C’est terminé pour aujourd’hui !
On se retrouve la semaine prochaine.
Si vous avez apprécié cette lettre gratuite et sans pub, vous pouvez m’aider de différentes manières :
Me laissez un 💙 et/ou un commentaire.
Partager cette lettre avec des gens qui pourraient être intéressés.
Prendre contact pour une conférence ou une mission (meilleur choix !!!).
Acheter mon livre Après la Tech, le numérique face aux défis écologiques (Apogée, 2024).
Stéphane
Je suis Stéphane Schultz, de 15marches. Le jour je suis consultant, je prends des trains à travers les plaines. La nuit je lis et j’écris cette lettre.