Kurzusleírás

Bevezetés a multimodális LLMs-be Vertex AI-ben

  • Áttekintés a Vertex AI multimodális képességeiről
  • Gemini modellek és támogatott modalitások
  • Alkalmazási példák az üzleti és kutatási környezetben

Fejlesztőkörnyezet beállítása

  • Vertex AI konfigurálása multimodális folyamatokhoz
  • Adatbázisok kezelése különböző modalitások között
  • Gyakorlati labor: környezet beállítása és adatbázis előkészítése

Hosszú kontextusablakok és fejlett következtetések

  • Hosszú kontextusfolyamatok megértése
  • Alkalmazási példák a tervezésben és döntéshozatalban
  • Gyakorlati labor: hosszú kontextus-elemzés megvalósítása

Cross-modal folyamattervezés

  • Szöveg, hang és kép elemzés kombinálása
  • Multimodális lépések összefűzése pipelinben
  • Gyakorlati labor: multimodális pipeline tervezése

Gemini API paraméterek kezelése

  • Multimodális bemenetek és kimenetek konfigurálása
  • Inference és hatékonyság optimalizálása
  • Gyakorlati labor: Gemini API paraméterek finomítása

Fejlett alkalmazások és integrációk

  • Interaktív multimodális ügynökök és asszisztensek
  • Külső API-k és eszközök integrálása
  • Gyakorlati labor: multimodális alkalmazás építése

Kiértékelés és iteráció

  • Multimodális teljesítmény tesztelése
  • Mértékek a pontosságra, egyeztetésre és eltérésekre
  • Gyakorlati labor: multimodális folyamatok kiértékelése

Összegzés és következő lépések

Követelmények

  • Python programozásban való jártasság
  • Tapasztalat a gépi tanulási modellfejlesztésben
  • Ismeret multimodális adatok (szöveg, hang, kép) kezeléséről

Audience

  • AI kutatók
  • Haladó fejlesztők
  • ML tudósok
 14 Órák

Résztvevők száma


Ár résztvevőnként

Közelgő kurzusok

Rokon kategóriák