Studenckiego Festiwalu Informatycznego

Celem wykładu jest zaprezentowanie najważniejszych metod i modeli wykorzystywanych do trenowania dużych modeli językowych. Wykład rozpocznie się od przedstawienia kluczowego mechanizmu wykorzystywanego przez sieci neuronowe posiadające zdolność analizy i syntezy tekstu, tj. modelowania języka w wersji kauzalnej i maskowanej. Następnie przedstawiony zostanie najistotniejszy mechanizm sieci neuronowych typu transformer, czyli mechanizm atencji. Zostanie on porównany z innymi architekturami neuronalnymi, w szczególności sieciami rekurencyjnymi. W kolejnej części wykładu autor przedstawi działanie mechanizmu RLHF, stojącego za spektakularnym sukcesem narzędzia ChatGPT. Autor wskaże również najistotniejsze przeszkody związane z „chałupniczym” tworzeniem modeli językowych. Wykład zostanie zakończony rozważaniami dotyczącymi kwestii prawnych związanych z tworzeniem sztucznej inteligencji, w tym w szczególności ochroną praw autorskich.