Kurzusleírás

A Parameter-Efficient Fine-Tuning (PEFT) bemutatása

  • Az átfedtet finomhangolás motivációi és korlátai,
  • PEFT áttekintése: céljaik és előnyei,
  • alkalmazásaik és használyterületeik a iparban.

LoRA (Low-Rank Adaptation)

  • A LoRA fogalma és intuitív megértése,
  • Hugging Face és PyTorch használatával történő implementálása,
  • Gyakorlás: modell finomhangolása LoRA-val.

Adapter Tuning

  • Az adapter modulok működése,
  • integrálása transformer alapú modellekbe,
  • Gyakorlás: Adapter Tuning alkalmazása transformer modellre.

Prefix Tuning

  • Munkahelyi prompts használata a finomhangoláshoz,
  • erősségek és korlátai a LoRA és adapterekkel szemben,
  • Gyakorlás: Prefix Tuning egy LLM feladatra.

A PEFT módszerek értékelése és összehasonlítása

  • Teljesítmény és hatékonyság mérőszempontjai,
  • tanítási sebesség, memóriahasználat és pontosság közötti kompromisszumok,
  • benchmark kísérletek és eredmények értelmezése.

A finomhangolt modellek üzembe helyezése

  • Finomhangolt modellek mentése és betöltése,
  • PEFT-alapú modellek üzembe helyezési szempontjai,
  • alkalmazásokba és folyamatokba való integráció.

A legjobb gyakorlatok és kiterjesztések

  • A PEFT kombinálása kvantizálással és distillálással,
  • alkalmazása alacsony erőforrású és többnyelvű környezetekben,
  • jövőbeli irányok és aktív kutatási területek.

Összefoglalás és következő lépések

Követelmények

  • Gépi tanulás alapjainak megértése,
  • tapasztalat nagy nyelvi modellek (LLM-ek) használatában,
  • Python és PyTorch ismerete.

Célcsoport

  • Adattudósok,
  • AI mérnökök.
 14 Órák

Résztvevők száma


Ár résztvevőnként

Közelgő kurzusok

Rokon kategóriák