Lecția 4.3 — RAM și cache

Procesorul unui PlayStation 5 poate executa instrucțiuni în sub-nanosecunde, dar dacă trebuie să aștepte datele din memoria principală, pierde sute de cicluri de ceas pe fiecare acces. Soluția? O ierarhie de memorii din ce în ce mai rapide și mai mici: registre (acces instant), cache L1 (1-2 cicluri), cache L2 (10+ cicluri), cache L3, și abia apoi RAM-ul GDDR6. Fiecare nivel compensează un compromis fundamental: viteza vs. capacitatea.

Această lecție acoperă ierarhia memoriei (de la registrele CPU până la stocare), latența (timpul de acces la fiecare nivel) și bandwidth-ul (cantitatea de date transferată pe secundă) — cei trei parametri care determină cât de rapid poate un procesor să acceseze informația de care are nevoie.

Scopul nu este memorarea latenței fiecărui nivel de cache, ci înțelegerea de ce PS5 partajează 16GB GDDR6 între CPU și GPU, ce sunt cache miss-urile care cauzează bottleneck-uri și de ce jocurile optimizate pentru console pot atinge performanțe pe care PC-urile cu hardware similar nu le ating.

4.3.1 — Definiție și tipuri RAM

• Random-access memory (RAM) = formă de memorie electronică care poate fi citită și modificată în orice ordine, folosită pentru stocarea datelor de lucru și a codului mașinii
• Acces aleatoriu: datele pot fi citite/scrise în aproximativ același timp indiferent de locația fizică din memorie (spre deosebire de HDD/bandă magnetică unde timpul depinde de locația fizică)
• RAM modern = circuite integrate (IC) cu celule de memorie MOS (metal-oxide-semiconductor)
• RAM este volatilă: datele se pierd când se oprește alimentarea
• Două tipuri principale:
• SRAM (Static RAM): stochează un bit folosind un circuit flip-flop, de obicei cu 6 tranzistori MOSFET; mai rapid, consum mai mic de putere statică, dar mai scump și densitate mai mică; folosit ca cache CPU
• DRAM (Dynamic RAM): stochează un bit folosind un tranzistor + un condensator; condensatorul menține sarcină HIGH sau LOW (1 sau 0); tranzistorul funcționează ca switch; necesită refresh periodic (înainte ca sarcina să se scurgă); mai ieftin, densitate mai mare; formă predominantă de memorie în computere moderne
• ECC memory (poate fi SRAM sau DRAM): include circuite speciale pentru detectarea/corectarea erorilor aleatorii, folosind biți de paritate sau coduri de corecție erori

4.3.2 — Celula de memorie

• Memory cell = bloc fundamental al memoriei computerului, circuit electronic care stochează un bit de informație binară
• SRAM cell: circuit flip-flop implementat cu FET-uri, necesită putere foarte mică când nu e accesat, dar complex și scump, densitate mică de stocare
• DRAM cell: bazat pe condensator, încărcarea/descărcarea condensatorului stochează 1 sau 0; sarcina se scurge treptat → necesită refresh periodic; consumă mai multă putere, dar densitate mai mare și cost/unitate mai mic decât SRAM
• Structură: SRAM cell = 6 tranzistori; DRAM cell = 1 tranzistor + 1 condensator

4.3.3 — Ierarhia memoriei (secțiune din articolul RAM)

• Multe sisteme au ierarhie de memorie constând din: registre procesor → cache SRAM on-die → cache externe → DRAM → memory paging → memorie virtuală/swap space pe SSD sau HDD
• Scopul: obținerea celui mai rapid timp mediu de acces minimizând costul total al sistemului de memorie
• Întregul pool de memorie poate fi referit ca "RAM" din perspectivă de programare

4.3.4 — Memory wall

• Memory wall = disparitatea crescândă între viteza CPU și timpul de răspuns al memoriei (latența memoriei) din afara cipului CPU
• Motiv principal: lățimea de bandă limitată de comunicare dincolo de limitele cipului
• 1986-2000: viteza CPU s-a îmbunătățit cu 55% anual, în timp ce timpul de răspuns al memoriei off-chip s-a îmbunătățit doar cu 10% anual
• Inițial, PC-urile aveau <1 MB RAM cu timp de răspuns de 1 ciclu clock (0 wait states)
• Memorii mai mari sunt inerent mai lente decât cele mai mici de același tip
• CPU-urile moderne au ~1 MB de cache cu 0 wait states, dar acesta rezidă pe același cip cu nucleele CPU din cauza limitărilor de bandwidth chip-to-chip
• Cache-ul trebuie construit din SRAM, mult mai scump decât DRAM-ul folosit pentru memorii mai mari
• Metoda principală de a ponte gap-ul: cache-uri (cantități mici de memorie de mare viteză care păstrează operații/instrucțiuni recente)
• Multiple niveluri de caching dezvoltate pentru a face față gap-ului tot mai mare
• Diferență de până la 53% între creșterea vitezei procesorului și viteza de acces a memoriei principale
• DDR5 8000MHz single-lane: capabil de 128 GB/s bandwidth
• GDDR modern: și mai rapid decât DDR5

4.3.5 — Istoric DDR/SDRAM (din timeline)

• 1963: primul SRAM integrat bipolar (Robert H. Norman, Fairchild)
• 1967: Robert Dennard (IBM) inventează arhitectura DRAM modernă (1 tranzistor MOS per condensator)
• 1970: Intel 1103 – primul DRAM IC comercial (1 kbit, proces 8 μm)
• 1992: Samsung KM48SL2000 – primul SDRAM comercial (16 Mbit)
• Iunie 1998: Samsung – primul DDR SDRAM comercial (64 Mbit)
• 1998: Samsung – primul GDDR (SGRAM) de 16 Mbit
• 2000: Sony/Toshiba GS eDRAM 32 Mbit (PS2, 180 nm)
• 2003: Sony/Toshiba EE+GS eDRAM 32 Mbit (PS2 Slim, 90 nm)
• 2005: NEC Xenos eDRAM 80 Mbit (Xbox 360, 90 nm)
• Console-relevant: N64 RDRAM 36 Mbit (NEC, 1996)

4.3.6 — Definiție și structură

• Ierarhia memoriei separă stocarea computerului într-o ierarhie bazată pe timpul de răspuns
• Nivelurile se disting prin performanță și tehnologii de control
• Componenta mi este de obicei mai mică și mai rapidă decât mi+1
• Patru niveluri majore de stocare:

1. Internal: registre procesor + cache

2. Main: RAM-ul sistemului + controllere

3. On-line mass storage: stocare secundară

4. Off-line bulk storage: stocare terțiară și offline

• Scopul: minimizarea cât de adânc în ierarhie trebuie să mergi pentru a manipula datele

4.3.7 — Exemple concrete cu latențe și bandwidth (tabel)

• Register file: 18,432 biți, până la 256 GB/s (512 biți/ciclu), latență 0.25 ns (1 ciclu la 4 GHz)
• L1 data cache: 32 KiB per core, până la 64 GB/s (64 bytes/4 cicluri), latență 1 ns (4 cicluri)
• L2 cache: 1 MB per core, până la 18.3 GB/s (64 bytes/14 cicluri), latență 3.5 ns (14 cicluri)
• L3 cache: 16-32 MB partajat între 8 nuclei, până la 5.45 GB/s (64 bytes/47 cicluri), latență 11.75 ns (47 cicluri)
• Main memory (DDR5 6000 MT/s): 64 GiB, ~60 GB/s, latență 82.5 ns
• SSD NVMe (M.2, 2017): 2 TB, 2000 MB/s, latență 0.2 ms
• HDD: 18 TB, 500 MB/s, latență 4.16 ms
• Tape library: exabytes, 160 MB/s, latență minute
• Haswell include L4 cache de 128 MB pe unitățile mobile
• CPU spends much time idling, waiting for memory I/O → "space cost"
• Termeni: register spilling (register→cache), cache miss (cache→main memory), page fault (RAM→disk)
• Latency și bandwidth sunt metrici asociate cu cache-urile, specifice fiecărei componente din ierarhie

4.3.8 — Programare și localitate

• Bottleneck = localitate de referință a accesărilor de memorie și eficiența caching-ului
• Programatorii: mută date între disk și memorie prin file I/O
• Hardware: mută date între memorie și cache-uri
• Compilatoarele optimizatoare: generează cod care folosește eficient cache-urile și registrele
• Memory tiering: practică de a diviza memoria principală în niveluri după caracteristici de performanță (NUMA, CXL, Optane DCPMM)

4.3.9 — Definiție și principiu DDR

• DDR SDRAM (Double Data Rate Synchronous DRAM): transferă date pe ambele fronturi ale semnalului de ceas (rising + falling edge), dublând rata de date fără a crește frecvența ceasului
• DDR transferă de obicei 64 biți odată
• Rata efectivă de transfer = frecvența bus × 2 (DDR) × lățimea busului (64 biți) / 8 (biți→bytes)
• Exemplu: DDR cu 100 MHz bus clock = 1600 MB/s peak transfer rate
• Samsung: prototip DDR SDRAM 1997, primul chip comercial (64 Mbit) iunie 1998
• DDR1 nu este compatibil cu DDR2/DDR3/DDR4/DDR5 (nu sunt backward/forward compatible)

4.3.10 — Generații DDR: specificații

• DDR1 (1998): prefetch 2n, 200-400 MT/s, bandwidth 1600-3200 MB/s, 2.5-2.6V, 184 pini DIMM
• DDR-400/PC-3200: 200 MHz bus, 400 MT/s, 3200 MB/s
• DDR2 (2003): prefetch 4n, 400-1066 MT/s, bandwidth 3200-8533 MB/s, 1.8V, 240 pini DIMM
• DDR2-800/PC2-6400: 400 MHz bus, 800 MT/s, 6400 MB/s
• DDR3 (2007): prefetch 8n, 800-2133 MT/s, bandwidth 6400-17066 MB/s, 1.5/1.35V, 240 pini DIMM
• DDR3-1600/PC3-12800: 800 MHz bus, 1600 MT/s, 12800 MB/s
• DDR4 (2014): prefetch 8n, 1600-3200 MT/s, bandwidth 12800-25600 MB/s, 1.2/1.05V, 288 pini DIMM
• DDR4-3200/PC4-25600: 1600 MHz bus, 3200 MT/s, 25600 MB/s
• DDR5 (2020): prefetch 16n, 3200-7200 MT/s, bandwidth 25600-57600 MB/s, 1.1V, 288 pini DIMM
• DDR5-6400: 3200 MHz bus, 6400 MT/s, 51200 MB/s
• Fiecare generație: frecvență internă similară dar se dublează rata de transfer prin creșterea prefetch depth
• LPDDR: versiune low-power pentru dispozitive mobile (telefoane, handheld, playere audio)

4.3.11 — Module și organizare

• DIMM cu 64-bit data bus necesită 8 chip-uri de 8 biți, adresate în paralel
• Multiple chip-uri cu linii de adresă comune = memory rank
• Multi-channel architecture (dual-channel, etc.) pentru a depăși bottleneck-ul
• DDR memory bus width per channel: 64 biți (72 pentru ECC)
• Capacitate modul = capacitate chip × număr chip-uri
• ECC: 9 chip-uri per rank (1 bit per byte pentru corecție erori)

4.3.12 — Definiție CAS latency

• CAS latency (CL) = întârzierea în cicluri de ceas între comanda READ și momentul în care datele sunt disponibile
• DRAM asincron: specificat în nanosecunde (timp absolut)
• SDRAM sincron: specificat în cicluri de ceas → timpul real depinde de frecvența ceasului
• CAS latency numeric mai mare poate fi de fapt mai rapid dacă ceasul e mai rapid (se compară în nanosecunde, nu cicluri)

4.3.13 — Operare RAM (background)

• DRAM aranjat în matrice dreptunghiulară: rânduri selectate de word line, coloane de bit line
• Fiecare bit line → sense amplifier care amplifică micile variații de tensiune ale condensatorului
• Secvență acces: selectare rând (activare) → coloane pot fi accesate
• CAS latency = delay între prezentarea adresei de coloană + CAS signal și momentul disponibilității datelor
• Rândul dorit trebuie să fie deja activ; dacă nu, timp suplimentar necesar
• DDR transferă pe ambele fronturi ale ceasului → CAS se specifică în cicluri de ceas, nu transferuri
• Burst transfers: un cache line modern de 64 bytes necesită 8 transferuri de la un bus de 64-bit; CAS latency măsoară doar primul word; "critical word first" order

4.3.14 — Exemple concrete de timing-uri (selecție)

• DDR-400: CL 2.5 → 12.50 ns first word latency
• DDR2-800: CL 5 → 12.50 ns first word latency
• DDR3-1600: CL 9 → 11.25 ns first word latency
• DDR4-3200: CL 16 → 10.00 ns first word latency
• DDR5-4800: CL 40 → 16.67 ns first word latency
• DDR5-6000: CL 30 → 10.00 ns first word latency
• DDR5-6400: CL 32 → 10.00 ns first word latency
• DDR5-7200: CL 36 → 10.00 ns first word latency
• Observație cheie: CAS latency în nanosecunde a rămas relativ constantă (~10-15 ns) de-a lungul generațiilor, chiar dacă CL numeric crește (deoarece ceasul crește proporțional)
• Bandwidth crește semnificativ cu fiecare generație, dar latența absolută nu se îmbunătățește dramatic

Definiție și tipuri RAM

• SRAM (Static RAM): stochează un bit folosind un circuit flip-flop, de obicei cu 6 tranzistori MOSFET; mai rapid, consum mai mic de putere statică, dar mai scump și densitate mai mică; folosit ca cache CPU
• DRAM (Dynamic RAM): stochează un bit folosind un tranzistor + un condensator; condensatorul menține sarcină HIGH sau LOW (1 sau 0); tranzistorul funcționează ca switch; necesită refresh periodic (înainte ca sarcina să se scurgă); mai ieftin, densitate mai mare; formă predominantă de memorie în computere moderne

Celula de memorie

• Memory cell = bloc fundamental al memoriei computerului, circuit electronic care stochează un bit de informație binară

Ierarhia memoriei (secțiune din articolul RAM)

• Multe sisteme au ierarhie de memorie constând din: registre procesor → cache SRAM on-die → cache externe → DRAM → memory paging → memorie virtuală/swap space pe SSD sau HDD

Memory wall

• Memory wall = disparitatea crescândă între viteza CPU și timpul de răspuns al memoriei (latența memoriei) din afara cipului CPU
• 1986-2000: viteza CPU s-a îmbunătățit cu 55% anual, în timp ce timpul de răspuns al memoriei off-chip s-a îmbunătățit doar cu 10% anual
• CPU-urile moderne au ~1 MB de cache cu 0 wait states, dar acesta rezidă pe același cip cu nucleele CPU din cauza limitărilor de bandwidth chip-to-chip
• Diferență de până la 53% între creșterea vitezei procesorului și viteza de acces a memoriei principale

Definiție și structură

• Ierarhia memoriei separă stocarea computerului într-o ierarhie bazată pe timpul de răspuns

1. Internal: registre procesor + cache

Exemple concrete cu latențe și bandwidth (tabel)

• CPU spends much time idling, waiting for memory I/O → "space cost"

Module și organizare

• DIMM cu 64-bit data bus necesită 8 chip-uri de 8 biți, adresate în paralel
• ECC: 9 chip-uri per rank (1 bit per byte pentru corecție erori)

Operare RAM (background)

• DRAM aranjat în matrice dreptunghiulară: rânduri selectate de word line, coloane de bit line
• Fiecare bit line → sense amplifier care amplifică micile variații de tensiune ale condensatorului
• Burst transfers: un cache line modern de 64 bytes necesită 8 transferuri de la un bus de 64-bit; CAS latency măsoară doar primul word; "critical word first" order

Istoric DDR/SDRAM (din timeline)

• 2005: NEC Xenos eDRAM 80 Mbit (Xbox 360, 90 nm)
• Console-relevant: N64 RDRAM 36 Mbit (NEC, 1996)

Memory wall

• DDR5 8000MHz single-lane: capabil de 128 GB/s bandwidth
• GDDR modern: și mai rapid decât DDR5

Istoric DDR/SDRAM (din timeline)

• 1970: Intel 1103 – primul DRAM IC comercial (1 kbit, proces 8 μm)
• 1992: Samsung KM48SL2000 – primul SDRAM comercial (16 Mbit)
• Iunie 1998: Samsung – primul DDR SDRAM comercial (64 Mbit)
• 1998: Samsung – primul GDDR (SGRAM) de 16 Mbit

Exemple concrete cu latențe și bandwidth (tabel)

• Main memory (DDR5 6000 MT/s): 64 GiB, ~60 GB/s, latență 82.5 ns

Definiție și principiu DDR

• Samsung: prototip DDR SDRAM 1997, primul chip comercial (64 Mbit) iunie 1998
• DDR1 nu este compatibil cu DDR2/DDR3/DDR4/DDR5 (nu sunt backward/forward compatible)

Generații DDR: specificații

• DDR1 (1998): prefetch 2n, 200-400 MT/s, bandwidth 1600-3200 MB/s, 2.5-2.6V, 184 pini DIMM
• DDR-400/PC-3200: 200 MHz bus, 400 MT/s, 3200 MB/s
• DDR2 (2003): prefetch 4n, 400-1066 MT/s, bandwidth 3200-8533 MB/s, 1.8V, 240 pini DIMM
• DDR2-800/PC2-6400: 400 MHz bus, 800 MT/s, 6400 MB/s
• DDR3 (2007): prefetch 8n, 800-2133 MT/s, bandwidth 6400-17066 MB/s, 1.5/1.35V, 240 pini DIMM
• DDR3-1600/PC3-12800: 800 MHz bus, 1600 MT/s, 12800 MB/s
• DDR4 (2014): prefetch 8n, 1600-3200 MT/s, bandwidth 12800-25600 MB/s, 1.2/1.05V, 288 pini DIMM
• DDR4-3200/PC4-25600: 1600 MHz bus, 3200 MT/s, 25600 MB/s
• DDR5 (2020): prefetch 16n, 3200-7200 MT/s, bandwidth 25600-57600 MB/s, 1.1V, 288 pini DIMM
• DDR5-6400: 3200 MHz bus, 6400 MT/s, 51200 MB/s
• Fiecare generație: frecvență internă similară dar se dublează rata de transfer prin creșterea prefetch depth
• LPDDR: versiune low-power pentru dispozitive mobile (telefoane, handheld, playere audio)

Definiție CAS latency

• DRAM asincron: specificat în nanosecunde (timp absolut)
• SDRAM sincron: specificat în cicluri de ceas → timpul real depinde de frecvența ceasului

Exemple concrete de timing-uri (selecție)

• DDR3-1600: CL 9 → 11.25 ns first word latency
• DDR4-3200: CL 16 → 10.00 ns first word latency
• DDR5-4800: CL 40 → 16.67 ns first word latency
• DDR5-6000: CL 30 → 10.00 ns first word latency
• DDR5-6400: CL 32 → 10.00 ns first word latency
• DDR5-7200: CL 36 → 10.00 ns first word latency

• Definiție și tipuri RAM: Random-access memory (RAM) = formă de memorie electronică care poate fi citită și modificată în orice ordine, folosită pentru stocarea datelor de lucru și a codului mașinii
• Celula de memorie: Memory cell = bloc fundamental al memoriei computerului, circuit electronic care stochează un bit de informație binară
• Ierarhia memoriei (secțiune din articolul RAM): Multe sisteme au ierarhie de memorie constând din: registre procesor → cache SRAM on-die → cache externe → DRAM → memory paging → memorie virtuală/swap space pe SSD sau HDD
• Memory wall: Memory wall = disparitatea crescândă între viteza CPU și timpul de răspuns al memoriei (latența memoriei) din afara cipului CPU
• Istoric DDR/SDRAM (din timeline): 1963: primul SRAM integrat bipolar (Robert H. Norman, Fairchild)
• Definiție și structură: Ierarhia memoriei separă stocarea computerului într-o ierarhie bazată pe timpul de răspuns
• Exemple concrete cu latențe și bandwidth (tabel): Register file: 18,432 biți, până la 256 GB/s (512 biți/ciclu), latență 0.25 ns (1 ciclu la 4 GHz)
• Programare și localitate: Bottleneck = localitate de referință a accesărilor de memorie și eficiența caching-ului
• Definiție și principiu DDR: DDR SDRAM (Double Data Rate Synchronous DRAM): transferă date pe ambele fronturi ale semnalului de ceas (rising + falling edge), dublând rata de date fără a crește frecvența ceasului
• Generații DDR: specificații: DDR1 (1998): prefetch 2n, 200-400 MT/s, bandwidth 1600-3200 MB/s, 2.5-2.6V, 184 pini DIMM
• Module și organizare: DIMM cu 64-bit data bus necesită 8 chip-uri de 8 biți, adresate în paralel
• Definiție CAS latency: CAS latency (CL) = întârzierea în cicluri de ceas între comanda READ și momentul în care datele sunt disponibile
• Operare RAM (background): DRAM aranjat în matrice dreptunghiulară: rânduri selectate de word line, coloane de bit line
• Exemple concrete de timing-uri (selecție): DDR-400: CL 2.5 → 12.50 ns first word latency

Întrebarea 1

Care afirmație este corectă despre: Acces aleatoriu?

• a) stochează un bit folosind un circuit flip-flop, de obicei cu 6 tranzistori MOSFET; mai rapid, consum mai mic de putere statică, dar mai scump și densitate mai mică; folosit ca cache CPU
• b) datele se pierd când se oprește alimentarea
• c) stochează un bit folosind un tranzistor + un condensator; condensatorul menține sarcină HIGH sau LOW (1 sau 0); tranzistorul funcționează ca switch; necesită refresh periodic (înainte ca sarcina să se scurgă); mai ieftin, densitate mai mare; formă predominantă de memorie în computere moderne
• d) datele pot fi citite/scrise în aproximativ același timp indiferent de locația fizică din memorie (spre deosebire de HDD/bandă magnetică unde timpul depinde de locația fizică)

Întrebarea 2

Care afirmație este corectă despre: SRAM cell?

• a) circuit flip-flop implementat cu FET-uri, necesită putere foarte mică când nu e accesat, dar complex și scump, densitate mică de stocare
• b) stochează un bit folosind un circuit flip-flop, de obicei cu 6 tranzistori MOSFET; mai rapid, consum mai mic de putere statică, dar mai scump și densitate mai mică; folosit ca cache CPU
• c) datele se pierd când se oprește alimentarea
• d) datele pot fi citite/scrise în aproximativ același timp indiferent de locația fizică din memorie (spre deosebire de HDD/bandă magnetică unde timpul depinde de locația fizică)

Întrebarea 3

Care afirmație este corectă despre: Multe sisteme au ierarhie de memorie constând din?

• a) registre procesor → cache SRAM on-die → cache externe → DRAM → memory paging → memorie virtuală/swap space pe SSD sau HDD
• b) datele pot fi citite/scrise în aproximativ același timp indiferent de locația fizică din memorie (spre deosebire de HDD/bandă magnetică unde timpul depinde de locația fizică)
• c) datele se pierd când se oprește alimentarea
• d) stochează un bit folosind un circuit flip-flop, de obicei cu 6 tranzistori MOSFET; mai rapid, consum mai mic de putere statică, dar mai scump și densitate mai mică; folosit ca cache CPU

Întrebarea 4

Care afirmație este corectă despre: Motiv principal?

• a) datele se pierd când se oprește alimentarea
• b) stochează un bit folosind un circuit flip-flop, de obicei cu 6 tranzistori MOSFET; mai rapid, consum mai mic de putere statică, dar mai scump și densitate mai mică; folosit ca cache CPU
• c) datele pot fi citite/scrise în aproximativ același timp indiferent de locația fizică din memorie (spre deosebire de HDD/bandă magnetică unde timpul depinde de locația fizică)
• d) lățimea de bandă limitată de comunicare dincolo de limitele cipului

Întrebarea 5

Care afirmație este corectă despre: 1963?

• a) datele se pierd când se oprește alimentarea
• b) primul SRAM integrat bipolar (Robert H. Norman, Fairchild)
• c) stochează un bit folosind un circuit flip-flop, de obicei cu 6 tranzistori MOSFET; mai rapid, consum mai mic de putere statică, dar mai scump și densitate mai mică; folosit ca cache CPU
• d) datele pot fi citite/scrise în aproximativ același timp indiferent de locația fizică din memorie (spre deosebire de HDD/bandă magnetică unde timpul depinde de locația fizică)

🧠 Exercițiu: RAM și cache

Scenariu: Analizezi un sistem hardware care utilizează conceptul de ierarhia memoriei. Pe baza cunoștințelor din această lecție, răspunde la următoarele întrebări:

• 1. Defineste pe scurt: ierarhia memoriei.
• 2. Ce rol are latență în contextul hardware-ului?
• 3. Explică relația dintre ierarhia memoriei și bandwidth.