Pratique
Développement d'applications à base de LLM
Des fonctions à base de modèles de langage intégrées au logiciel métier, avec le jeu d'évaluation écrit avant la fonction. Ce sont des travaux en cours plutôt qu'une offre mature, et c'est décrit comme tel.
Une fonction d'IA se démontre bien puis devient impossible à modifier. Un prompt est édité, un modèle moins cher est mis à la place, une règle bouge, et personne ne peut dire si le résultat s'est amélioré. C'est un problème de test avant d'être un problème de modélisation, donc NextWR commence par le jeu d'évaluation : des entrées réelles avec la réponse qui serait acceptée pour chacune.
Ce qui suit est du génie logiciel ordinaire. Des chaînes de génération qui produisent une sortie structurée plutôt que de la prose, pour que le résultat puisse être conservé, comparé et audité. Des campagnes d'évaluation branchées à l'intégration continue pour qu'une modification rende compte de son effet. Des garde-fous sur ce que le modèle a le droit de décider, et une étape humaine partout où la sortie porte à conséquence.
Le choix du modèle et du fournisseur suit le coût, la confidentialité et la latence plutôt que la mode, et il se prend par projet plutôt qu'une fois pour toute l'entreprise. Là où les données ne peuvent pas quitter l'infrastructure du client, des modèles à poids ouverts exécutés localement sont le point de départ, avec l'écart de qualité mesuré sur le même jeu d'évaluation plutôt que supposé.
L'inférence locale et embarquée est un chantier en cours plutôt qu'une offre aboutie. Elle figure ici parce qu'elle est réellement développée, et elle sera présentée comme mature seulement quand elle le sera.
Ce qui est inclus
- Un jeu d'évaluation construit à partir de cas réels, avant la fonction
- Des chaînes de génération produisant une sortie structurée plutôt que de la prose
- Une évaluation automatisée branchée à l'intégration continue
- Des garde-fous, et une relecture humaine là où la sortie porte à conséquence
- Choix du modèle et du fournisseur selon le coût, la confidentialité et la latence
- Un arrangement de maintenance, car la qualité de la recherche dérive avec les données
Hors périmètre
- Entraîner un modèle de fondation à partir de zéro
- Acheter ou collecter des données d'entraînement à la place du client
- Des promesses de précision qui ne peuvent pas être mesurées sur le jeu d'évaluation du client
Questions fréquentes
Comment savez-vous que la sortie est juste ?
Personne ne le sait tant qu'il n'existe pas de jeu d'évaluation. Nous en construisons un à partir de cas réels, nous l'exécutons à chaque modification et nous en publions le résultat. Sans lui, la fonction est une démonstration plutôt que quelque chose de maintenable.
Peut-elle fonctionner sans envoyer de données à un tiers ?
Oui, avec des modèles à poids ouverts sur une infrastructure qui appartient au client. L'installation prend plus de temps et se défend plus facilement en revue de confidentialité. Nous mesurons ce que cela coûte en qualité pour la tâche précise avant que le choix soit fait.
Dites-nous ce que vous construisez.
Écrivez en anglais, en français, en roumain ou en arabe. Chaque message reçoit une réponse écrite sous un jour ouvré.