Créez un chatbot formé sur vos propres données via l'API OpenAI — SitePoint

Aug 23, 2023

Dans cet article, vous apprendrez comment former et tester votre propre chatbot à l'aide de l'API OpenAI, et comment le transformer en une application Web que vous pourrez partager avec le monde.

L’IA ayant révolutionné les technologies de l’information, nombreux sont ceux qui l’ont exploitée en utilisant des fournisseurs d’API tels qu’OpenAI pour intégrer l’IA dans leurs données.

Un moyen particulièrement efficace d’utiliser l’IA pour vos données est de créer votre propre chatbot.

Par exemple, imaginez que vous disposez d’un ensemble de données composé de milliers de rapports sur les résultats d’entreprises. Vous aimeriez l’explorer et l’analyser sans y consacrer des heures. Une bonne option serait de créer un chatbot pour répondre à toutes vos questions sur les documents, afin de vous éviter d'avoir à les parcourir manuellement.

Par exemple, vous souhaiterez peut-être demander « quelle entreprise a enregistré les meilleurs bénéfices au dernier trimestre ? » - une question à laquelle vous devrez généralement répondre en fouillant manuellement dans votre ensemble de données. En utilisant un chatbot formé sur vos données, vous pouvez obtenir la réponse à cette question en quelques secondes.

Pour démarrer avec votre propre chatbot, vous devez d'abord accéder à l'API OpenAI. Pour obtenir votre clé API OpenAI, inscrivez-vous sur le site Web d'OpenAI. Cliquez ensuite sur l'icône de votre profil située dans le coin supérieur droit de la page d'accueil, sélectionnezAfficher les clés API, et cliquez surCréer une nouvelle clé secrètepour générer une nouvelle clé API.

Pour ce tutoriel, j'utiliserai la page Wikipédia pour les ordinateurs pour créer un chatbot simple capable de répondre à toute question générale sur les ordinateurs et leur historique.

Vous pouvez télécharger l'ensemble de données au format texte à partir du dépôt GitHub de cet article.

Créez un nouveau dossier dans lequel vous créerez votre chatbot. Créez ensuite un dossier nommé chatbot_docs dans votre dossier de projet et collez le fichier de l'ensemble de données dans ce dossier. (Le nom du dossier n'a pas d'importance, mais pour ce tutoriel, il est beaucoup plus simple de le nommer chatbot_docs.)

Une fois que vous avez votre clé API et votre fichier d'ensemble de données, vous pouvez commencer avec le code réel.

Accédez au dossier de votre projet et créez un fichier Python vide dans votre nouveau dossier de projet.

Une fois que vous avez fait cela, téléchargez les bibliothèques que nous allons utiliser en exécutant ce qui suit dans votre terminal :

Enfin, une fois que vous avez installé toutes les bibliothèques nécessaires, collez ce code Python de notre dépôt dans votre fichier Python.

Pour ce tutoriel, j'utilise le modèle OpenAI gpt-3.5-turbo, car c'est le plus rapide et le plus rentable. Comme vous l'avez peut-être remarqué si vous avez regardé le code, j'ai réglé la température du chatbot à 0. J'ai fait cela pour rendre le chatbot aussi précis que possible sur le plan factuel. Letempérature Le paramètre détermine la créativité du chatbot, où une température de 0 signifie que le chatbot est toujours factuellement exact et une température de 1 signifie que le chatbot a toute liberté pour inventer des réponses et des détails dans un souci de créativité, même s'ils sont pas précis. Plus la température est élevée, plus le chatbot est créatif et moins précis sur le plan factuel.

Tout au long de ce code, je mentionne le mot « intégrations ». C'est exactement ce en quoi le texte de votre document Wikipédia est transformé afin d'être compris et compris par le chatbot. Chaque intégration est une liste de nombres allant de -1 à 1 qui associent chaque élément d'information en fonction de son degré de relation avec un autre. Au cas où vous vous demanderiez ce que signifie text-embedding-ada-002, il s'agit simplement du modèle qui est utilisé pour réaliser les intégrations, car c'est le plus efficace en termes de coût et de temps.

Ce code crée un fichier CSV d'intégration pour chaque document de votre dossier chatbot_docs, et comme vous n'en avez qu'un (pour les besoins de ce didacticiel), il ne crée qu'un seul fichier d'intégration. Mais si vous aviez plus de documents, le code créerait un fichier d'intégration pour chaque document. Cette approche rend votre chatbot plus évolutif.

Vous vous interrogez probablement aussi sur la partie avec les morceaux :

Laisse-moi expliquer. Ce code divise la page Wikipédia sur les ordinateurs en morceaux de 2 000 caractères et en morceaux superposés de 250 caractères. Plus la taille du morceau est grande, plus le contexte du chatbot est grand, mais cela peut aussi le ralentir, j'ai donc choisi 2000 comme juste milieu entre 0 et 4096 (la taille maximale du morceau) pour ce tutoriel.