Adrien Linuxtricks

INSTALLER llama.cpp SUR LINUX POUR DE L'IA EN LOCAL (INFÉRENCE)

Si vous appréciez mon travail, n'hésitez pas à me soutenir : https://www.linuxtricks.fr/pages/faire-un-don ---------- Liens : https://www.linuxtricks.fr/wiki/ia-installer-llama-cpp-pour-servir-des-llm-nvidia-amd-cpu https://llama.app/ https://github.com/ggml-org/llama.cpp https://huggingface.co/ Commande : llama-server -hf unsloth/gemma-4-E4B-it-GGUF:Q4_K_M --temp 0.7 --host 0.0.0.0 --port 8080 00:00 Introduction 00:20 llama.cpp en quelques mots 01:22 llama.cpp : compilation et service systemd 02:09 Le tuto sur ma machine avec une AMD RX 7600 02:40 Installer les dépendances à llama.cpp 04:08 Sur un PC, on peut compiler et utiliser dans son profil perso 04:37 Sur un serveur : créer l'utilisateur dédié et le dossier applicatif 06:27 Récupérons llama.cpp 06:55 Préparons la compilation llama.cpp suivant notre hardware 08:56 Compilons llama.cpp 10:08 Par défaut tous les outils sont compilés 10:45 Déplaçons les éléments compilés dans /opt/llamacpp 11:13 Redéfinissons dans .bashrc des variables d'environnement 11:57 Changer l'emplacement des modèles (qui peuvent être volumineux) 12:35 Prendre en compte les modifs bashrc ! 12:50 Paramétrage SELinux ! 14:17 Vérification du bon chargement de l'environnement 14:37 Rechercher un modèle compatible sur HuggingFace 16:05 Lancer manuellement llama-server 17:05 Le modèle se télécharge s'il n'est pas présent 18:14 llama-server se lance et le modèle se charge en VRAM 18:40 tester le bon fonctionnement de llama.cpp avec l'interface web 20:55 créer un service systemd pour llama.cpp 23:14 recharger systemd, lancer et gérer le service 24:25 vérification du bon fonctionnement en mode service 24:55 activer au démarrage du serveur llama.cpp 25:10 ouvrir le parefeu si nécessaire 25:47 Conclusion ---------- Quelle distribution j'utilise ? : Fedora Linux avec GNOME Quel est mon navigateur Internet : Vivaldi Où me retrouver ? Tout est dans le bandeau de la page d'accueil de la chaine Mon site web : https://www.linuxtricks.fr Ma config PC Fixe : Carte mère X470 GAMING PRO AMD Ryzen 5 2600X 32GB RAM DDR4 AMD Radeon RX 7600 (pilote libre amdgpu) SSD 860 EVO 500GB + SSD 860 QVO 2To Fedora Linux Workstation Micro BIRD UM1 PC Portable de tests : DELL Latitude E5530 Intel i5 3230M 6GB RAM DDR3 LAN Broadcom BCM5761 WiFi Atheros AR9285