No episódio #03 do SABIÁ, a gente viaja pela história fascinante das redes neurais e dos transformers — os alicerces por trás das inteligências artificiais mais avançadas de hoje, como o ChatGPT. Começamos com os neurônios biológicos que inspiraram os primeiros modelos matemáticos, passando pelos perceptrons, o inverno da IA, até chegar ao renascimento com o deep learning.
Explicamos como surgiu o campo do Processamento de Linguagem Natural (NLP) e como os transformers revolucionaram a forma de lidar com linguagem e dados. Um episódio para quem quer entender como a matemática e a biologia se entrelaçam no coração das máquinas que hoje escrevem, traduzem, desenham e até conversam com a gente.
Este episódio contou com o apoio da FAPESP e da Fundação Roberto Marinho.
MATERIAIS CITADOS
Artigos e textos históricos
- “A Logical Calculus of the Ideas Immanent in Nervous Activity” — Warren McCulloch & Walter Pitts. Artigo pioneiro de 1943 que propôs um modelo matemático inspirado no funcionamento dos neurônios biológicos.
- “The Organization of Behavior: A Neuropsychological Theory” — Donald Hebb. Livro que apresentou a ideia de aprendizado por reforço nas conexões neuronais, hoje conhecido como Hebbian learning.
- “Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain” — Frank Rosenblatt. Artigo de 1958 que apresentou o perceptron, primeiro modelo treinável de rede neural.
- “Perceptrons” — Marvin Minsky & Seymour Papert. Livro de 1969 que criticou as limitações dos perceptrons e marcou o início do primeiro “inverno da IA”.
- “Learning Representations by Back-Propagating Errors” — Geoffrey Hinton, David Rumelhart & Ronald Williams. Artigo de 1986 que popularizou o algoritmo de backpropagation, essencial para treinar redes neurais profundas.
- “Attention Is All You Need” — Vaswani et al. Artigo de 2017 que apresentou a arquitetura Transformer, base para modelos como o ChatGPT.
Eventos históricos
- Experimento Georgetown-IBM. Primeira demonstração de tradução automática de russo para inglês em 1954, usando o computador IBM-701.
Conceitos e teóricos
- Claude Shannon. Pioneiro da teoria da informação e criador do conceito de “bit”, base para a comunicação digital moderna.
- John Hopfield. Físico que desenvolveu os modelos de redes Hopfield, aplicando conceitos de energia e estabilidade em redes neurais.
- Ferdinand de Saussure. Linguista suíço que desenvolveu a teoria dos signos, essencial para entender a complexidade da linguagem no processamento automático.
EQUIPE
APRESENTAÇÃO:
Bruno Franchi | Física – Unicamp
Luana Vicentin | Comunicação Social – Unicamp
ROTEIRO:
Bruno Franchi
Luana Vicentin
Victor Vicente
REVISÃO:
Leandro Tessler
COORDENAÇÃO GERAL:
Leandro Tessler
Victor Vicente
EDIÇÃO:
Luana Vicentin
Aluísio Augusto
