# Transformer architecture

> 거의 모든 LLM의 기반이 되는 신경망 아키텍쳐. 2017년 논문 Attention is all you need에서 처음으로 제안.

거의 모든 [LLM](https://wiki.g15e.com/pages/Large%20language%20model.txt)의 기반이 되는 [신경망](https://wiki.g15e.com/pages/Artificial%20neural%20network.txt) 아키텍쳐. <2017년> 논문 [Attention is all you need](https://wiki.g15e.com/pages/Attention%20is%20all%20you%20need.txt)에서 처음으로 제안.

## External links

- https://poloclub.github.io/transformer-explainer/
- https://bbycroft.net/llm
- https://e2eml.school/transformers.html - One-hot encoding부터 시작하는 해설

## See also

- [Generative Pre-trained Transformer](https://wiki.g15e.com/pages/Generative%20Pre-trained%20Transformer.txt)