Portal do Ementário

Estudar, implementar e avaliar o desempenho de redes neurais profundas do tipo GPT.

Introdução à Generative Pre-Trained Transformers (GPTs). Fundamentos de Redes Neurais. O Algoritmo Backpropagation. Fundamentos de Redes Neurais Profundas. Sequências, Natural Language Processing (NLP), Word2vec. Transformers - Attention is All You Need. Improving Language Under-standing by Generative Pre-training (GPT-1). Language Models are Unsupervised Multitask Learners (GPT-2). Language Models are Few Shot Learners (GPT-3). ChatGPT e GPT-4. Bert, Roberta, Deberta, T5, etc. Image Transformers, Audio Transformers, Video Transformers. AGI, o Futuro de GPTs e outras Arquiteturas.

GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A., Deep Learning, 1a. edição, Editora MIT Press, 2016. BISHOP, C.M., Pattern Recognition and Machine Learning, 1a. edição, Editora Springer-Verlag, 2006. RUSSEL, S.J.; NORVIG, P., Artificial intelligence: A modern approach, 4a. edição, Editora Pearson, 2022.

SANSEVIERO, O. et al., Hands-On Generative AI with Transformers and Diffusion Models, 1a. edição, Editora O’Reilly Media, 2024. BRAGA, A.P.; de CARVALHO, A.; LUDERMIR, T.B., Redes Neurais Artificiais - Teoria e Aplicações, 2a. edição, Editora LTC, 2007. LUGER, G.F., Inteligência Artificial. Estruturas e Estratégias para a Soluções de Problemas Complexos, 4a. edição, Editora Bookman, 2004. BARRETO, J.M., Inteligência Artificial, uma abordagem híbrida, 1a. edição, Editora PPP, 2001. HAYKIN, S., Redes Neurais: Princípios e Prática, 2a. edição, Editora Bookman, 2000.