Le journal Suniworks

Jarvis local : construire un assistant privé avec LiteLLM

Un assistant interne se construit autour d’un usage précis, d’un accès maîtrisé aux modèles et de règles pour les données. Voici comment organiser un premier déploiement avec LiteLLM, cadrer le matériel et garder les actions sous contrôle.

Mis à jour le .

Un poste de travail échange des documents avec un serveur installé dans le bureau, tandis que les documents restent dans les locaux.

Un Jarvis local doit vous aider sur une tâche précise tout en respectant le périmètre de données que vous avez choisi. Pour une PME suisse, une première architecture à envisager associe une interface de conversation, une passerelle LiteLLM et un modèle exécuté sur une infrastructure maîtrisée. Commencez par les échanges écrits, puis envisagez la mémoire, la voix et les actions selon les besoins.

Le choix entre traitement interne et service distant est développé dans notre guide sur l’IA locale pour PME suisse. Ici, la question est opérationnelle : comment organiser les composants, contrôler les accès et décider si un pilote mérite d’être ouvert à vos collaborateurs ?

L’essentiel pour décider :

  • Définissez séparément ce que l’assistant peut lire, conserver et modifier.
  • Utilisez LiteLLM comme point de passage pour les applications, avec des accès et des limites adaptés aux équipes.
  • Validez un usage écrit sur des contenus non sensibles avant d’ajouter des documents internes ou des actions.

Que doit faire votre Jarvis local ?

Traitez « Jarvis » comme le nom de votre projet d’assistant, avec une liste de services attendus. Demandez-vous d’abord si vous voulez préparer des textes, retrouver une information ou agir dans un logiciel métier. Ces objectifs appellent des critères de validation différents : une réponse lisible, une information retrouvée avec sa référence, ou une opération correctement autorisée.

Séparer conversation, mémoire et actions

Pour le premier pilote, choisissez explicitement ce qui restera disponible après la conversation. Souhaitez-vous conserver l’historique pour que le collaborateur le retrouve ? Retenir des préférences ? Donner accès à un ensemble de documents ? Inscrivez chaque besoin séparément dans le cahier des charges, avec les personnes autorisées et une règle de suppression.

Faites le même exercice pour les actions. Dans un exemple hypothétique de menuiserie, l’assistant pourrait proposer un brouillon de réponse à une demande de devis. Le périmètre initial recommandé serait de laisser le collaborateur relire et envoyer ce brouillon. La modification du dossier commercial constituerait un chantier distinct, avec ses propres autorisations et essais.

Définir le périmètre local

Écrivez ce qui doit rester dans votre infrastructure : messages, documents, historiques, journaux et sauvegardes. LiteLLM transmet les requêtes au fournisseur du modèle configuré, puis renvoie la réponse à l’application, selon sa documentation de la passerelle. La destination configurée doit donc faire partie de votre contrôle, au même titre que le serveur qui héberge LiteLLM.

Pour un projet sans transfert vers un service de génération distant, retenez comme critère de recette que chaque destination autorisée soit interne. Faites aussi examiner les intégrations de journalisation et les mécanismes de secours. LiteLLM propose des reprises et des destinations de repli : choisissez leur périmètre au lieu de les activer sans examiner où elles conduisent.

Comment répartir les rôles dans l’architecture ?

Organisez le projet autour de couches distinctes : l’interface utilisée par les collaborateurs, la passerelle qui contrôle les demandes, le serveur qui exécute les modèles et les modèles retenus. Un modèle est le composant qui produit la réponse à partir de la demande. Cette répartition sert surtout à attribuer une responsabilité et un contrôle à chaque élément.

L’interface : le point d’entrée du collaborateur

Demandez une interface adaptée à l’usage choisi, sans imposer immédiatement la voix. Pour un pilote de rédaction, prévoyez une zone de saisie, un historique si nécessaire et un moyen de récupérer le résultat. Définissez également comment le collaborateur signale une réponse incorrecte et à qui revient l’examen du problème.

LiteLLM possède une interface d’administration pour gérer notamment les modèles, les clés et les usages. Sa documentation la présente comme un outil de configuration et de suivi de la passerelle. Prévoyez donc séparément le parcours quotidien du collaborateur et le parcours d’administration du service.

LiteLLM : une adresse commune et des accès distincts

LiteLLM fournit une passerelle compatible avec l’interface de programmation d’OpenAI, c’est-à-dire le format d’échange qu’une application utilise pour demander une réponse. Cette compatibilité permet de raccorder un client adapté à la passerelle. Elle décrit le dialogue entre logiciels ; elle ne désigne pas, à elle seule, l’endroit où le modèle travaille.

La passerelle propose des clés virtuelles pour les utilisateurs, les équipes ou les projets. Une clé virtuelle est un accès attribué par LiteLLM, auquel peuvent être associés des modèles autorisés, un budget et des limites de fréquence. Pour votre pilote, demandez des accès distincts par application ou équipe plutôt qu’un accès partagé sans attribution.

La documentation indique également que l’administration permet de retrouver les demandes avec leur durée, leur modèle et leur attribution. Utilisez ces éléments pour préparer votre suivi. Distinguez toutefois ce journal d’utilisation du journal d’audit administratif : la documentation Enterprise place notamment les traces des changements administratifs parmi les fonctions de cette édition.

Le serveur de modèles : une décision indépendante

La documentation générale de LiteLLM montre un appel vers Ollama. Ce raccordement constitue un point de départ documenté pour votre architecture. Faites valider par la personne chargée du déploiement le modèle retenu, la manière de le joindre depuis LiteLLM et le comportement attendu quand il ne répond pas.

Proposez des noms d’usage pour les accès aux modèles, par exemple « rapide », « standard » et « raisonnement ». Ce sont des catégories à définir dans votre projet, avec des critères concrets, plutôt que des niveaux de qualité supposés. Avant toute substitution, rejouez les demandes de référence et vérifiez que le résultat reste acceptable pour le métier.

Comment organiser la mise en place avec Docker ?

La documentation de LiteLLM prévoit un déploiement avec Docker et une base Postgres. Docker sert ici à déployer les composants sous forme de conteneurs ; Postgres est le logiciel de base de données à raccorder à la passerelle. Pour un responsable non développeur, le bon livrable est un déploiement accompagné de contrôles compréhensibles et d’une procédure d’exploitation.

Préparer le périmètre avant l’installation

Confiez au responsable technique une fiche précisant l’application autorisée, le modèle local retenu, les utilisateurs du pilote et les données admises. Ajoutez le comportement souhaité en cas d’indisponibilité : afficher une erreur, attendre ou utiliser une autre destination interne approuvée. Écartez tout secours distant du périmètre si votre objectif l’interdit.

Demandez également où seront conservés la configuration, les secrets et les données nécessaires au fonctionnement. Faites attribuer un responsable aux sauvegardes et aux mises à jour. Ces décisions doivent accompagner le déploiement Docker, plutôt que devenir des tâches implicites après l’ouverture du service.

Déployer la passerelle et raccorder le modèle

Faites installer LiteLLM et raccorder Postgres selon le parcours de déploiement officiel. La documentation générale précise que la passerelle complète et son interface d’administration peuvent fonctionner dans un conteneur. Le responsable technique doit ensuite configurer les destinations de modèles et vérifier leur accessibilité depuis la passerelle.

Commencez par une demande dépourvue de données personnelles ou confidentielles. Le contrôle attendu est concret : l’application reçoit une réponse, la demande apparaît dans le suivi et la destination correspond au modèle interne prévu. Demandez à conserver les éléments nécessaires pour reproduire ce test après une modification.

Créer les accès puis connecter l’application

Le parcours officiel prévoit ensuite la connexion des clients avec l’adresse de la passerelle et une clé virtuelle. Demandez une liste explicite des modèles accessibles et des limites associées à chaque accès. Définissez aussi qui peut créer, modifier ou retirer une clé.

Incluez des essais de refus dans la recette : accès retiré, modèle non autorisé et limite atteinte. Ajoutez une indisponibilité du serveur de modèles. Vous devez pouvoir constater un comportement conforme au périmètre choisi, sans que l’application bascule vers une destination extérieure non approuvée.

Quel matériel prévoir pour le pilote ?

Faites dimensionner le matériel à partir du modèle et de l’usage retenus. Demandez une proposition qui précise le processeur, la mémoire, le stockage et l’éventuelle carte graphique, puis faites-la confronter à vos demandes de référence. Pour décider, exigez des observations sur la configuration envisagée plutôt qu’une promesse générale de rapidité.

Préparez des exemples représentatifs : reformuler un message, produire une réponse longue ou traiter un texte métier autorisé. Comparez le résultat attendu au résultat obtenu. Relevez aussi le délai d’apparition de la réponse et le délai total, puis recommencez avec plusieurs collaborateurs sollicitant le service en même temps.

LiteLLM permet de consulter la durée des demandes dans son suivi. Complétez cette observation par l’expérience du collaborateur, depuis l’envoi jusqu’au résultat utilisable. Demandez enfin une estimation séparée de l’hébergement, de l’exploitation et des éventuelles licences. Le suivi de coûts de la passerelle ne doit pas remplacer votre budget de fonctionnement.

Comment cadrer la sécurité et la revue nLPD ?

Préparez une revue des données avant d’ouvrir l’assistant aux documents internes. Pour chaque usage, indiquez les catégories de données admises, les utilisateurs autorisés et les destinations prévues. Faites examiner ce périmètre dans le cadre de votre démarche nLPD, la loi fédérale sur la protection des données, avec votre référent compétent.

Contrôler aussi les journaux et les sauvegardes

LiteLLM propose des intégrations vers des outils de journalisation et de suivi. Demandez lesquelles seront activées, où elles seront hébergées et quelles informations elles recevront. Pour le pilote, privilégiez les éléments nécessaires au diagnostic et définissez les accès ainsi que la durée de conservation souhaitée.

Étendez votre contrôle aux sauvegardes et à l’administration. Demandez qui peut consulter les conversations, exporter les données ou restaurer le service. Faites tester un retrait d’accès et une restauration avant de considérer l’installation comme exploitable. Ces vérifications constituent des critères de votre projet, pas une certification de conformité.

Distinguer les fonctions ouvertes et les options sous licence

La documentation Enterprise distingue les fonctions de base de la passerelle des capacités ajoutées sous licence. Les clés virtuelles, les budgets et les limites de fréquence figurent dans la passerelle ouverte. Les journaux d’audit, certains rôles administratifs et diverses intégrations de sécurité relèvent de l’offre Enterprise.

Faites établir la liste des fonctions réellement nécessaires avant de choisir une édition. Si vous exigez une connexion avec l’annuaire de l’entreprise, une délégation d’administration ou une politique particulière de journalisation, demandez une validation précise du périmètre de licence. Une fonction de sécurité doit correspondre à votre configuration, pas seulement apparaître dans une présentation commerciale.

Par où commencer sans élargir trop vite le projet ?

Retenez un usage écrit dont le résultat peut être relu par un collaborateur. Pour une fiduciaire, un exemple hypothétique serait la préparation de courriers à partir de situations fictives. Pour un commerce, ce pourrait être la reformulation de descriptions publiques. Le pilote doit permettre de décider si la qualité obtenue justifie une étape supplémentaire.

  • Choisissez une tâche et préparez des demandes représentatives, avec les critères d’une réponse acceptable.
  • Faites raccorder l’application, LiteLLM et le modèle interne, avec des accès limités au pilote.
  • Vérifiez les réponses, les refus d’accès, la destination des demandes et le comportement en cas de panne.
  • Décidez ensuite d’élargir les utilisateurs, les données ou les fonctions, en ne changeant qu’un périmètre clairement défini.

Gardez la voix et les actions dans des lots séparés. Pour la voix, rédigez les attentes d’écoute, de restitution et de conservation des enregistrements. Pour les actions, définissez les opérations autorisées et les validations humaines requises. Pour un assistant documentaire, vous pouvez approfondir le besoin avec notre page consacrée à l’interrogation des documents métier.

Questions fréquentes sur un Jarvis local

LiteLLM est-il l’assistant utilisé par les collaborateurs ?

LiteLLM fournit la passerelle entre les applications et les destinations de modèles, avec des contrôles d’accès et du suivi. Son interface d’administration sert à gérer ce service. Prévoyez une interface de conversation adaptée au travail des collaborateurs et définissez séparément les fonctions de mémoire ou d’action souhaitées.

Une interface compatible OpenAI envoie-t-elle les données à OpenAI ?

La compatibilité décrit un format de communication. Selon la documentation de LiteLLM, la passerelle transmet la demande au fournisseur configuré pour le modèle. Vérifiez donc cette destination et les éventuels replis. Pour votre projet local, exigez que les destinations autorisées respectent le périmètre interne retenu.

Faut-il commencer par un assistant vocal ?

Commencez de préférence par le texte si votre objectif initial est la rédaction ou la consultation d’informations. Vous pourrez ainsi définir vos critères de qualité et vos règles d’accès avant d’ajouter les exigences propres à la voix. Si l’usage impose de parler dès le départ, faites de l’écoute et de la restitution un périmètre de validation explicite.

Avant d’engager un achat, faites valider une demande métier complète sur l’architecture envisagée. Pour cadrer le pilote, préparez votre tâche prioritaire, les données autorisées et les critères de réussite, puis utilisez notre démarche de validation de faisabilité IA comme point de départ de la discussion.

Un choix logiciel à préparer ? Parlons du contexte et des usages que votre application doit rendre possibles.

Parler de votre projet