Kurzusleírás

Bevezetés a Paraméterhatékony Finomhangolás (PEFT) világába

  • A teljes finomhangolás motivációja és korlátai
  • Áttekintés a PEFT-ről: célok és előnyök
  • Alkalmazások és használati esetek az iparban

LoRA (Low-Rank Adaptation)

  • A LoRA koncepciója és intuíciója
  • LoRA implementálása a Hugging Face és PyTorch segítségével
  • Gyakorlat: Modell finomhangolása LoRA-val

Adapter Tuning

  • Hogyan működnek az adapter modulok
  • Integráció transzformátor alapú modellekkel
  • Gyakorlat: Adapter Tuning alkalmazása egy transzformátor modellre

Prefix Tuning

  • Lágy promptok használata a finomhangoláshoz
  • Előnyök és korlátok a LoRA és adapterekhez képest
  • Gyakorlat: Prefix Tuning alkalmazása egy LLM feladaton

PEFT módszerek értékelése és összehasonlítása

  • Teljesítmény- és hatékonyságmérési metrikák
  • Kölcsönhatások a képzési sebesség, memóriahasználat és pontosság terén
  • Benchmark kísérletek és eredmények értelmezése

Finomhangolt modellek üzembe helyezése

  • Finomhangolt modellek mentése és betöltése
  • Üzembehelyezési szempontok PEFT alapú modellek esetén
  • Integráció alkalmazásokba és folyamatokba

Ajánlott eljárások és kiterjesztések

  • PEFT kombinálása kvantálással és desztillációval
  • Használat alacsony erőforrású és többnyelvű környezetekben
  • Jövőbeli irányok és aktív kutatási területek

Összefoglalás és következő lépések

Követelmények

  • A gépi tanulás alapjainak ismerete
  • Tapasztalat nagy nyelvi modellek (LLM) használatában
  • Ismeret a Python és PyTorch területén

Célközönség

  • Adattudósok
  • AI mérnökök
 14 Órák

Résztvevők száma


Ár per résztvevő

Közelgő kurzusok

Rokon kategóriák