Renée Rodrigues

Sumário

Como Funcionam os Modelos de Linguagem (LLMs)

Objetivo de Aprendizado

Compreender os conceitos fundamentais por trás de modelos como o GPT, como eles aprendem, operam e geram texto. Isso inclui:

O Que São LLMs?

Modelos de Linguagem de Grande Escala (LLMs) como GPT-4, Claude e Gemini são algoritmos baseados em redes neurais profundas treinados com grandes volumes de texto. Eles predizem a próxima palavra em uma sequência, entendendo padrões e contextos.

📌 Conteúdo de Estudo Recomendado

1. Artigos Técnicos (leitura fundamental)

2. Vídeos Explicativos

3. Conceitos-chave a entender

Conceito Descrição curta
Token Fragmento de texto (palavra, sílaba ou letra) que o modelo processa
Embedding Representação vetorial de palavras em um espaço semântico
Transformer Arquitetura usada nos LLMs baseada em atenção para entender contexto
Self-Attention Técnica que permite o modelo dar “peso” diferente para palavras no contexto
Pretraining Fase em que o modelo aprende com bilhões de textos
Fine-tuning Ajustes finais com dados específicos (ex: ChatGPT para diálogo)
Inference Processo de gerar texto com base em um prompt

4. Exercício prático sugerido

Tarefa: Responder com suas palavras:

“Como um modelo como o GPT-4 gera uma resposta a partir de um prompt?”
Dica: Use as palavras: tokens, contexto, atenção, probabilidade e geração de texto.

5. Ferramentas úteis

Checklist de Conclusão

Renée Maksoud - junho de 2025