Commune de Fontenay-Sous-Bois

Présentation du ChatBot de base

Ce ChatBot repose sur le modèle llama-4-maverick-17b-128e-instruct, un modèle relativement modeste en termes de performances, mais largement suffisant pour des cas d’usage courants. Il n'est doté d'aucune fonctionnalité particulière ni même de la moindre capacité de réflexion et d'analyse, il ne fait que récupérer les informations à sa disposition pour répondre au mieux aux demandes des utilisateurs. Les informations à sa disposition sont publiques et très limitées, il s'agit d'une limitation importante.

Pour un déploiement en production, il serait possible d’opter pour un modèle plus avancé, capable de répondre à une gamme plus large de demandes et de services, allant de la simple fourniture d’informations jusqu’à la prise de rendez-vous automatisée. Il est même envisageable d’intégrer des fonctions de génération automatique de documents, dès lors qu’aucune intervention humaine n’est nécessaire.

⚠️ Limitations à prendre en compte :
30 requêtes par minute
1000 requêtes par jour
6000 tokens par minute

Ce modèle est proposé gratuitement par Groq, un service d’inférence reconnu pour sa grande rapidité. En environnement de production, ces limites peuvent être relevées via un abonnement, une fois le ChatBot (ou le workflow) validé.