Une étude de Leocare met en cause la fiabilité des réponses fournies par les IA génératives sur l’assurance. Face aux cas concrets, les approximations peuvent induire les assurés en erreur.
Les intelligences artificielles génératives sont devenues un réflexe pour de nombreux Français en quête d’informations pratiques. Mais dans le domaine de l’assurance, leur usage reste risqué. Selon une étude menée par la néo-assurance Leocare, seules 20,6 % des réponses fournies par les principales IA testées sont jugées complètes et exactes.
Pour établir ce constat, Leocare a soumis les 500 questions les plus fréquemment posées par les Français à quatre plateformes : Claude, Gemini, ChatGPT et Le Chat de Mistral. Sur ces questions, 135 ont piégé au moins une IA avec une réponse fausse ou trompeuse, tandis que 34 ont mis simultanément en défaut les trois modèles les plus performants.
Les erreurs relevées portent d’abord sur les nuances juridiques. Certaines réponses affirment, par exemple, qu’une garantie serait annulée en cas d’alcool au volant, de conduite sous stupéfiants ou de prêt de véhicule, sans distinguer la responsabilité civile obligatoire des garanties facultatives. Or cette distinction peut changer l’indemnisation des victimes comme celle de l’assuré.
Autre zone de fragilité : la réglementation, où les IA peuvent se contredire autant que se tromper. Sur la carte verte, l’une avance une suppression dès 2022, quand une autre la présente encore comme obligatoire. Or sa disparition date bien du 1er avril 2024. Même imprécision sur les exclusions et les conditions des contrats, qu’il s’agisse de la garantie valeur à neuf, de l’équipement du motard ou des clauses de conduite exclusive.
L’étude observe aussi des styles de réponse différents selon les modèles. Claude répond souvent de façon très courte et binaire. ChatGPT multiplie les précautions de langage, mais donne parfois peu d’éléments concrets. Mistral répète certaines formules pouvant prêter à confusion, tandis que Gemini présente un profil plus proche de l’expert, avec davantage d’avertissements pratiques.
Pour Leocare, l’IA peut servir de point d’entrée pour comprendre des notions générales, mais elle ne remplace pas l’analyse d’un professionnel face à une situation précise. « Un professionnel ne répondra jamais par un simple “oui” ou “non”. Il analyse la situation personnelle de l’assuré pour apporter une réponse adaptée selon les conditions particulières de son contrat ou de son historique », explique Christophe Dandois, CEO de Leocare.
Article écrit selon CP.