Renée Rodrigues

Sumário

Como Funcionam os Modelos de Linguagem (LLMs)

Objetivo de Aprendizado

Compreender os conceitos fundamentais por trás de modelos como o GPT, como eles aprendem, operam e geram texto. Isso inclui:

• Tokens e embeddings
• Arquitetura Transformer
• Ajuste fino (fine-tuning) vs. engenharia de prompt
• Limitações e vantagens

O Que São LLMs?

Modelos de Linguagem de Grande Escala (LLMs) como GPT-4, Claude e Gemini são algoritmos baseados em redes neurais profundas treinados com grandes volumes de texto. Eles predizem a próxima palavra em uma sequência, entendendo padrões e contextos.

📌 Conteúdo de Estudo Recomendado

1. Artigos Técnicos (leitura fundamental)

• 🔗 The Illustrated Transformer (Jay Alammar) – Visual e intuitivo (Resumo)
• 🔗 Como funciona o ChatGPT – OpenAI
• 🔗 Understanding LLMs – Sebastian Raschka (GitHub)

2. Vídeos Explicativos

• 📺 How ChatGPT Actually Works – Fireship (YouTube)
  Explicação simples e direta em 5 minutos.
• 📺 Transformers - State of the Art NLP – Yannic Kilcher

3. Conceitos-chave a entender

Conceito	Descrição curta
Token	Fragmento de texto (palavra, sílaba ou letra) que o modelo processa
Embedding	Representação vetorial de palavras em um espaço semântico
Transformer	Arquitetura usada nos LLMs baseada em atenção para entender contexto
Self-Attention	Técnica que permite o modelo dar “peso” diferente para palavras no contexto
Pretraining	Fase em que o modelo aprende com bilhões de textos
Fine-tuning	Ajustes finais com dados específicos (ex: ChatGPT para diálogo)
Inference	Processo de gerar texto com base em um prompt

4. Exercício prático sugerido

Tarefa: Responder com suas palavras:

“Como um modelo como o GPT-4 gera uma resposta a partir de um prompt?”
Dica: Use as palavras: tokens, contexto, atenção, probabilidade e geração de texto.

5. Ferramentas úteis

• OpenAI Tokenizer – Para ver como o modelo divide textos
• Google Colab – Transformer em Python – Para quem quiser ir além

✅ Checklist de Conclusão

• Li e compreendi o funcionamento de tokens e embeddings
• Sei explicar como funciona a arquitetura Transformer
• Sei a diferença entre pretraining, fine-tuning e prompting
• Fiz um resumo pessoal ou artigo explicativo
• Testei o Tokenizer da OpenAI com textos diferentes

^{_{Renée Maksoud - junho de 2025}}