Mechanistic Interpretability: Peeking Inside an LLM

Artykuł omawia mechanistyczną interpretowalność dużych modeli językowych (LLM), skupiając się na badaniu i manipulacji ich sieciami neuronowymi. Przedstawia podstawowe elementy architektury LLM, takie jak tokenizery, embeddingi, bloki transformacyjne (z mechanizmami uwagi i MLP) oraz proces unembeddingu. Następnie opisuje metody analizy, w tym obserwację neuronów, mechanizmów uwagi, warstw MLP i strumienia rezydualnego, a także techniki takie jak liniowe sondy i atrybucje gradientowe.