트랜스포머 아키텍쳐

거의 모든 LLM의 기반이 되는 신경망 아키텍쳐. 2017년 논문 Attention is all you need에서 처음으로 제안.

External links

• poloclub.github.io/transformer-explainer/
• bbycroft.net/llm
• e2eml.school/transformers.html - One-hot encoding부터 시작하는 해설
• nlp.seas.harvard.edu/annotated-transformer/ - 파이썬 구현과 해설

See also

• Generative Pre-trained Transformer
• Origin story of the transformer architecture