5 questions pour reconnaître l’IA – la vraie

Cet article est issu de la newsletter IA Comprise et reproduit ici par commodité. Recevez toutes les lettres dans votre boîte mail au fur et à mesure de leur publication en laissant votre adresse dans le cadre à droite !


Chère lectrice, cher lecteur,

En économie, un vendeur et un acheteur ne s’affrontent pas à armes égales.

Quiconque a déjà arpenté un marché en a déjà fait l’expérience. Non seulement le vendeur est probablement bien plus rompu à l’art de la négociation que vous, mais il connaît aussi mieux la babiole qu’il vous vend – et ses défauts cachés [1].

Ce phénomène nommé asymétrie d’information a été étudié dans les années 70 et a valu à deux chercheurs le prix Nobel d’économie en 2001 [2].

L’un des articles fondateurs sur la question [3] s’est ainsi penché sur la vente de voitures d’occasion : un exemple idéal car l’asymétrie d’information est particulièrement dommageable dans le cas de produits difficiles à évaluer pour un non expert.

40% des startups de l’IA n’utilisent pas d’IA

Vous voyez certainement où je veux en venir.

L’Intelligence Artificielle, avec son image de technologie mystérieuse et hermétique, est un domaine très propice à l’asymétrie d’information. Et d’autant plus susceptible d’être utilisée comme une couche de peinture sur un tacot rouillé qu’il y a aussi d’authentiques bolides propulsés à l’IA.

Une société de capital-risque anglaise s’est penchée l’an dernier sur 2830 startups européennes catégorisées (par elles-mêmes ou des tiers) comme actives dans le secteur de l’IA. Résultat ? Dans 40% des cas, elle a été incapable de trouver des signes que ces startups s’appuyaient effectivement sur l’IA [4]…

Même dans notre quotidien, nous commençons à trouver des objets qui affichent fièrement « avec de l’Intelligence Artificielle ». Tenez par exemple, cette brosse à dents « révolutionnaire » qui « reconnaît votre style de brossage » et vous « donne du feedback en temps réel » grâce à l’IA.

Vous ne le saviez pas, mais vous avez besoin d’une brosse à dents capable de fonctionner pendant deux semaines de suite, qui envoie pour analyse les détails de votre intimité buccale sur votre smartphone et vous donne des conseils en temps réel grâce à l’IA.

Il y a Intelligence Artificielle et Intelligence Artificielle

Le problème, c’est que l’Intelligence Artificielle reste mal définie. Ou du moins propice aux confusions.

L’image « moderne », c’est celle d’un programme qui s’appuie sur des données et du Machine Learning pour effectuer des prévisions de grande qualité, donnant l’impression d’une « intelligence » complexe à l’œuvre.

Mais fondamentalement, n’importe quel petit programme informatique pourrait être appelé « Intelligence Artificielle ». Une brosse à dent qui vous alerte lorsqu’elle détecte qu’elle n’est utilisée que pendant 30 secondes [5], c’est une forme d’Intelligence Artificielle, c’est même potentiellement utile, mais cela ne vous impressionnera probablement pas particulièrement par la modernité de sa technologie.

Beaucoup de vendeurs et de sociétés jouent sur cette ambiguïté et proposent sous couvert « d’Intelligence Artificielle » de la simple automatisation ou visualisation, bref, de l’informatique classique telle qu’elle se pratique depuis des dizaines d’années. Ou pire, du travail humain dans des pays à bas coût… [6]

Attention, encore une fois je ne dis pas que cela ne peut pas être efficace ni utile. Mais ce n’est pas la même chose que la « véritable » IA dont on parle tant aujourd’hui, celle qui offre des performances et fonctionnalités réellement novatrices.

5 questions pour gratter la peinture

Alors, comment reconnaître à quelle catégorie appartient l’IA que l’on vous met en avant ?

La meilleure solution est bien sûr de pouvoir s’appuyer sur quelqu’un qui a une bonne connaissance de l’IA et saura lire entre les lignes et poser les bonnes questions pour rapidement faire la part des choses.

Mais en tant que fidèle lecteur de cette newsletter, je ne doute pas que vous aimeriez être aussi capable vous-même d’en avoir le cœur net !

Je vous propose une sélection de 5 questions à (se) poser pour gratter la peinture et voir ce qui se cache derrière.

1. L’IA s’appuie-t-elle sur des règles métier explicites ?

Quoi qu’il arrive, on vous répondra tout d’abord certainement « non ». Parce qu’il s’agit du plus sûr moyen de différencier un simple automate d’une IA moderne.

Une règle métier, c’est une règle arbitraire utilisée pour orienter les décisions. C’est typiquement comme cela que fonctionne un programme informatique composé de boucles « si… alors… ».

Une brosse à dents qui envoie un signal si l’utilisateur se brosse moins d’une minute, c’est un automate. Une brosse à dents qui donne une note si l’utilisateur se brosse moins d’une minute, mais plus de 5 secondes, après avoir détecté une pression sur les poils de la brosse et un taux d’humidité suffisant, c’est encore un automate (un peu plus perfectionné).

Le problème des règles métier, c’est qu’elles sont définies a priori, sur la base d’intuition ou de connaissances préalables de la part des concepteurs. Or, le grand apport de l’IA est qu’elle parvient à identifier à partir de données des signaux complexes qu’un humain n’aurait pas reconnus. C’est ce qui fait sa valeur et sa nouveauté par rapport aux programmes informatiques classiques existants.

Face à un vendeur évasif sur la question, cela vaut la peine d’insister. Et poser les questions suivantes pour en avoir le cœur net.

2. Comment la performance est-elle mesurée ?

Dans le monde, tout ne peut pas être réduit à une performance mesurable. Dans le monde de l’IA, si.

Ce n’est pas une question d’ordre politique ou philosophique : par nature, une IA entraînée par machine learning est évaluée à travers un score à optimiser. Cela peut être une proportion de cas correctement identifiés, une erreur moyenne de prédiction, une espérance mathématique de gain…

C’est une information essentielle qu’un vendeur sérieux devrait être capable de donner. Par ailleurs, cela permet de comprendre à quelle fonctionnalité contribue exactement l’IA, qui peut être très mineure au sein d’un produit complet.

Autre point d’attention, plus subtil : le choix de l’indicateur de performance. Il ne faut pas se laisser impressionner par des annonces de performances exceptionnelles, des prédictions avec un taux de succès de 99% ou plus… si l’indicateur n’est pas le bon ! Et rien ne vaut un test dans vos propres conditions d’utilisation, qui peuvent être très différentes de celles du vendeur…

3. Sur quelles données l’IA est-elle entraînée ?

Un autre caractère distinctif de l’IA moderne est qu’elle se nourrit de données.

Il peut s’agir de données propriétaires, auxquelles vous n’avez pas accès, qui auront entraîné l’IA en avance. Le produit inclut alors une IA « prête à l’emploi », capable de traiter directement vos données. Ou alors l’IA est conçue pour être entraînée sur vos propres données historiques, avant d’être utilisée en conditions réelles.

Les deux options sont possibles (et même cumulables), l’important est que ces données d’entraînement existent – s’il n’y en a pas, ce n’est pas de l’IA…

C’est également l’occasion d’identifier des biais potentiels qui pourront détériorer la performance de l’IA lorsque vous l’utiliserez. Un ami travaillant pour un fabricant de matériel audio m’a relaté l’anecdote suivante.

Pour évaluer l’accueil de l’un de leurs produits sur le marché chinois, il a fait appel à une société proposant de l’analyse de sentiment sur les nombreux commentaires clients issus de forums ou plateformes de vente. Les premiers retours semblaient montrer une grande insatisfaction, difficilement compréhensible.

Une séance de questions avec cette société a révélé que leur algorithme d’analyse de sentiments avait été entraîné sur des commentaires d’hôtels chinois. Un hôtel bruyant étant rarement apprécié, l’algorithme avait appris à associer le mot « bruit » avec un avis négatif. Or, en chinois, un même caractère désigne « bruit » et… « son », mot évidemment très largement utilisé dans des commentaires sur du matériel audio, mais pas du tout dans un contexte négatif…

4. Quels algorithmes sont utilisés dans les modèles ?

Il existe une grande quantité d’algorithmes de machine learning aux noms baroques – Random Forest, K-means, LASSO, Multinomial Naive Bayes…

Même un ingénieur en machine learning ne les connaîtra probablement pas tous : le champ est si large que l’on finit par se spécialiser sur certaines catégories d’algorithmes.

Par ailleurs, il ne faut pas tomber dans le piège de croire que certains algorithmes sont intrinsèquement meilleurs que d’autres. Ce n’est pas parce qu’un produit s’appuie sur des régressions logistiques (un algorithme relativement simple) plutôt que des réseaux neuronaux qu’il est plus mauvais, cela peut même être tout à fait le contraire.

En réalité, le mérite de cette question n’est pas tant la réponse que l’absence de réponse : sans attendre du vendeur une connaissance du niveau d’un ingénieur, il devrait connaître un minimum de technique sur son produit. Imagine-t-on un vendeur de voiture incapable de répondre sans ambiguïté si une voiture fonctionne au diesel ou à essence, ou si elle a 2 ou 4 roues motrices ?

Si la réponse est floue, confuse ou remplie de mots fourre-tout (« deep learning », « big data »…), c’est a minima un signe que la « vraie » IA, s’il y en a, ne concerne qu’une partie marginale du produit proposé.

5. Qui travaille dans la société ?

Le profil de ses employés en dit beaucoup sur une société.

Dans l’organisation, d’abord. Combien de personnes travaillent sur le « cœur du réacteur » du produit, l’implémentation de l’IA ? Comment cela se compare-t-il avec le reste des équipes de développement (en charge de l’interface utilisateur par exemple), avec les équipes de marketing et de ventes ?

Sous toute réserve de contextualisation, la répartition des effectifs dans l’organisation peut en dire long sur les priorités et les efforts déployés par la société.

Chez les dirigeants, ensuite. Particulièrement dans le cas d’une startup, il devrait y avoir chez les fondateurs ou l’équipe dirigeante au moins une personne avec un solide profil technique (formation supérieure en statistiques et machine learning).

Côté recrutement, enfin. Les profils de data scientists et d’ingénieurs en machine learning sont relativement rares et très demandés sur le marché. Une société réellement active dans ce domaine sera certainement en recherche permanente de bons profils – si elle ne propose aucune annonce de poste correspondant à ces profils, il est probable qu’elle n’utilise au mieux que marginalement ces technologies…


Avec ces questions essentielles, vous voilà armé pour limiter l’asymétrie d’information dans le cas de l’IA et avancer en confiance lorsque l’on vous propose du solide. Et si cela ne suffit pas… n’hésitez pas à demander conseil !

Bon brossage de dents et à la prochaine !

Erwan


[1] Il existe toutefois aussi des cas où c’est l’acheteur qui dispose d’une meilleure information que le vendeur. Par exemple lors de la souscription d’un contrat d’assurance, l’acheteur est souvent plus informé que le vendeur sur son risque réel…
[2] Pour les tatillons, du « Prix de la Banque de Suède en sciences économiques en mémoire d’Alfred Nobel », l’économie ne faisant pas partie des disciplines mentionnées dans le testament d’Alfred Nobel
[3] Akerlof G. (1995) The Market for “Lemons”: Quality Uncertainty and the Market Mechanism
[4] https://www.forbes.com/sites/parmyolson/2019/03/04/nearly-half-of-all-ai-startups-are-cashing-in-on-hype
[5] Exemple théorique, je n’ai aucune idée de comment fonctionne vraiment cette brosse à dent intelligente…
[6] https://www.theverge.com/2019/8/14/20805676/engineer-ai-artificial-intelligence-startup-app-development-outsourcing-humans

Inscrivez-vous gratuitement pour ne rater aucune lettre !

Laisser un commentaire

Abonnez-moi à la newsletter