SEC.01
Le playbook
Le run démarre en lecture seule : les sondes de reconnaissance décident de la suite. Les étapes qui suivent sont adaptées à la distribution et à l'état trouvés — une vraie machine est rarement propre.
- 01recondistro, version et gestionnaire de paquets (apt ou dnf)
- 02reconGPU NVIDIA présent avec pilote fonctionnel (nom, VRAM, version pilote) ? sinon : GPU sans pilote, ou aucun GPU (mode CPU)
- 03reconDocker Engine + plugin compose présents et actifs ? (sinon, étape docker)
- 04reconNVIDIA Container Toolkit installé et runtime nvidia déclaré dans Docker ?
- 05reconvLLM déjà déployé ? port 8000 libre ?
- 06reconRAM ≥ 16 Go, disque ≥ 30 Go sous /var/lib/docker (image ~10 Go + poids du modèle)
- 07agirInstaller Docker Engine + Compose (seulement s’il est absent)vérif
- 08agirInstaller le NVIDIA Container Toolkit (seulement s’il manque)vérif
- 09agirGénérer la clé API (+ token HF seulement s’il est fourni)vérif
- 10agirTélécharger l’image vLLM (en tâche de fond)vérif
- 11agirLancer vLLM (${model})vérif
- 12agirL’API répondvérif
SEC.02
Ce qu'elle vérifie
Chaque étape embarque sa propre vérification. Le run ne continue que si elle passe, donc ce que la recette annonce comme fait est ce qui est réellement sur le serveur.
- 01vérifInstaller Docker Engine + Compose (seulement s’il est absent)Vérifié par
systemctl is-active docker && docker compose versionattendu : active, puis « Docker Compose version v2… » - 02vérifInstaller le NVIDIA Container Toolkit (seulement s’il manque)Vérifié par
docker info --format '{{json .Runtimes}}' | grep -c nvidiaattendu : 1 - 03vérifGénérer la clé API (+ token HF seulement s’il est fourni)Vérifié par
stat -c '%a' /opt/vllm/vllm.env && grep -c '^VLLM_API_KEY=.' /opt/vllm/vllm.envattendu : 600, puis 1 - 04vérifTélécharger l’image vLLM (en tâche de fond)Vérifié par
timeout 270 bash -c 'until docker image inspect vllm/vllm-openai:v0.31.0 >/dev/null 2>&1; do sleep 10; done' && echo pulledattendu : pulled — une commande est limitée à 5 min : pas encore prêt → relance ce verify (4 fois max) avant de conclure à un échec - 05vérifLancer vLLM (${model})Vérifié par
docker inspect -f '{{.State.Status}}' vllmattendu : running - 06vérifL’API répondVérifié par
timeout 270 bash -c 'until curl -sf -o /dev/null http://127.0.0.1:8000/health; do sleep 10; done'; curl -s -o /dev/null -w '%{http_code}' http://127.0.0.1:8000/healthattendu : 200 (téléchargement + chargement du modèle : souvent 5 à 20 min) — une commande est limitée à 5 min : pas encore prêt → relance ce verify (4 fois max) avant de conclure à un échec
SEC.03
Les garde-fous
Les consignes non négociables que le run doit respecter, quoi qu'il trouve sur le serveur.
vLLM exige un GPU NVIDIA avec pilote fonctionnel : sans, arrête proprement (propose install-nvidia-cuda ou install-ollama en CPU). La clé API et le token HF restent dans /opt/vllm/vllm.env (600), jamais dans les logs. L’API reste sur 127.0.0.1. Vérifie disque et VRAM avant de lancer un gros modèle.
SEC.04
Les variables
Ce que vous choisissez avant de lancer — la recette s'occupe du reste.
| Nom | Signification |
|---|---|
| ${model} | Modèle Hugging Face |
| ${hf_token} | Token Hugging Face (optionnel, modèles restreints) |
SEC.05
Comment une recette s'exécute dans Servor
Servor est zero-knowledge : la plateforme ne peut rien exécuter seule. Quand vous lancez cette recette, un run lit la reconnaissance, planifie les étapes et demande votre validation. Chaque commande approuvée est signée par votre navigateur — avec une clé que le serveur ne voit jamais — puis relayée telle quelle à l'agent, qui vérifie la signature localement avant d'exécuter.
recherche par intention — tapez « firewall », obtenez ufw
- 01Reconnaissance en lecture seule avant tout changement
- 02Chaque commande signée par votre navigateur, validée par vous
- 03Chaque étape vérifiée avant de continuer, chaque run conservé dans l'historique
SEC.06
Bouton Deploy on Servor
Vous maintenez Serveur d’inférence vLLM ou un projet qui en dépend ? Ajoutez ce bouton à votre README ou à votre site : en un clic, vos utilisateurs l'installent sur leur propre serveur.
SEC.07
D'autres recettes ia / ml
- 01OllamaOllama pour faire tourner des LLM locaux (GPU NVIDIA si présent, sinon CPU), API sur 127.0.0.1, pull d’un modèle optionnel.
- 02JupyterLabJupyterLab via Docker, sur 127.0.0.1 avec un token d’accès généré (accès par tunnel SSH).
- 03Open WebUIInterface web pour LLM (Ollama) Open WebUI via Docker, sur 127.0.0.1, branchée sur l’Ollama local.
- 04Pilotes NVIDIA + CUDAPilote NVIDIA, toolkit CUDA et Container Toolkit Docker depuis les dépôts officiels. Destructif : modules noyau, redémarrage probable.
- 05ComfyUI (Stable Diffusion)ComfyUI pour la génération d’images, installé depuis le dépôt officiel en service systemd (GPU NVIDIA recommandé, CPU possible).
Recette vérifiée
Lancez cette recette sur votre serveur
Connectez un serveur, lancez la recette, et validez chaque étape pendant que Servor exécute et vérifie. Plan gratuit, sans carte bancaire.