Pamięć i pamięć podręczna
Podsumowanie: zasady dla programisty
  1. Pamięć to najwolniejszy element. Liczy się nie liczba instrukcji, lecz liczba chybień w pamięci podręcznej.
  2. Przeglądaj dane sekwencyjnie i po kolei, a nie losowo i z dużymi skokami.
  3. Układaj dane zwarcie (tablica struktur lub struktura tablic, std::vector zamiast std::list), tak aby użyteczne dane mieściły się w jak najmniejszej liczbie wierszy 64 B.
  4. Zadbaj o wyrównanie, a dane modyfikowane przez różne wątki trzymaj w osobnych wierszach.
  5. Pracuj na fragmentach mieszczących się w L1/L2 (blocking, tiling), np. mnożenie macierzy blokami.
  6. Duże zbiory danych: strony duże, NUMA (alokuj i przetwarzaj dane w tym samym węźle), unikaj kopiowania.
  7. Mierz (perf, valgrind --tool=cachegrind), zamiast zgadywać.

Tomasz Kapela, Kraków 2011-2020