How to Build a Privacy-Preserving Federated Pipeline to Fine-Tune Large Language Models with LoRA Using Flower and PEFT

Artykuł opisuje praktyczne wdrożenie federacyjnego uczenia maszynowego do dostrajania dużych modeli językowych (LLM) przy użyciu techniki LoRA (Low-Rank Adaptation). Proces odbywa się bez centralizacji danych tekstowych, co zapewnia prywatność. Każdy wirtualny klient lokalnie dostosowuje model, wymieniając jedynie niewielkie parametry adaptera LoRA. Rozwiązanie integruje bibliotekę Flower z technikami Parameter-Efficient Fine-Tuning (PEFT), oferując skalowalne podejście do personalizacji LLM na wrażliwych danych.