Nagy Nyelvi Modellek (LLMs) és Megerősítéses Tanulás (RL) Képzés

Bevezetés a Nagy Nyelvi Modellekbe (LLMs)

• Az LLMs áttekintése
• Definíció és jelentőség
• Alkalmazások a mesterséges intelligenciában napjainkban

Transzformátor architektúra

• Mi az a transzformátor és hogyan működik?
• Főbb összetevők és jellemzők
• Beágyazás és pozíciós kódolás
• Többfejű figyelem
• Előrecsatolt neurális hálózat
• Normalizálás és maradék kapcsolatok

Transzformátor modellek

• Önfigyelő mechanizmus
• Kódoló-dekódoló architektúra
• Pozíciós beágyazások
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Teljesítményoptimalizálás és buktatók

• Kontextus hossza
• Mamba és állapottér-modellek
• Flash attention
• Ritka transzformátorok
• Vízió transzformátorok
• A kvantálás jelentősége

Transzformátorok fejlesztése

• Visszakereséssel támogatott szöveggenerálás
• Modellek keveréke
• Gondolatok fája

Finomhangolás

• A alacsony rangú adaptáció elmélete
• Finomhangolás QLora-val

Skálázási törvények és optimalizálás az LLMs-ben

• A skálázási törvények jelentősége az LLMs-eknél
• Adat- és modellméret skálázás
• Számítási skálázás
• Paraméterhatékonyság skálázás

Optimalizálás

• A modellméret, adatméret, számítási költségvetés és következtetési követelmények közötti kapcsolat
• Az LLMs-ek teljesítményének és hatékonyságának optimalizálása
• Ajánlott eljárások és eszközök az LLMs-ek tanításához és finomhangolásához

LLMs-ek tanítása és finomhangolása

• Az LLMs-ek alapjainak tanításának lépései és kihívásai
• Adatgyűjtés és karbantartás
• Nagyméretű adatok, CPU és memóriaigények
• Optimalizálási kihívások
• Nyílt forráskódú LLMs-ek terepe

A Megerősítéses Tanulás (RL) alapjai

• Bevezetés a Megerősítéses Tanulásba
• Tanulás pozitív megerősítéssel
• Definíció és alapfogalmak
• Markov döntési folyamat (MDP)
• Dinamikus programozás
• Monte Carlo módszerek
• Időbeli különbségi tanulás

Mély Megerősítéses Tanulás

• Mély Q-hálózatok (DQN)
• Közelítési Szabályzati Optimalizálás (PPO)
• A Megerősítéses Tanulás elemei

LLMs és Megerősítéses Tanulás integrációja

• LLMs és Megerősítéses Tanulás kombinálása
• Hogyan használják az RL-t az LLMs-ekben
• Megerősítéses Tanulás Emberi Visszajelzéssel (RLHF)
• Alternatívák az RLHF-hez

Esettanulmányok és Alkalmazások

• Valós világbeli alkalmazások
• Siker történetek és kihívások

Haladó témák

• Haladó technikák
• Haladó optimalizálási módszerek
• Legújabb kutatások és fejlesztések

Összefoglalás és Következő lépések