The Big LLM Architecture Comparison

• MLA よくわからん
• MoE のルーティング説明してくれないんですか！
• NoPE わからん
• Sliding Window Attention 重要なの？

ということで結局論文を読んだほうが良さそうです。色々あるとわかったのはとてもよかった。