Heap je osnovno mesto gde program može skladištiti podatke kada zahteva podatke pozivajući funkcije poput malloc, calloc... Osim toga, kada ti podaci više nisu potrebni, oni se oslobađaju pozivom funkcije free.
Kao što je prikazano, heap se nalazi odmah nakon što se binarni fajl učita u memoriju (proverite sekciju [heap]):
Osnovna Aloakcija Blokova
Kada se zatraže neki podaci da se skladište u heap-u, određeni prostor heap-a se alocira za njih. Taj prostor će pripadati binu i rezervisaće se samo za tražene podatke + prostor za zaglavlja bina + minimalno pomeranje veličine bina za blok. Cilj je rezervisati što manje memorije bez komplikovanja pronalaženja svakog bloka. Za to se koriste metapodaci bloka kako bi se znalo gde se nalazi svaki korišćeni/slobodan blok.
Postoje različiti načini rezervisanja prostora, uglavnom zavisno o korišćenom binu, ali opšta metodologija je sledeća:
Program počinje sa zahtevanjem određene količine memorije.
Ako u listi blokova postoji dovoljno veliki blok da ispuni zahtev, on će biti korišćen.
To može značiti da će deo dostupnog bloka biti korišćen za ovaj zahtev, a ostatak će biti dodat u listu blokova.
Ako nema dostupnog bloka u listi, ali još uvek ima prostora u alociranoj memoriji heap-a, upravljač heap-om kreira novi blok.
Ako nema dovoljno prostora u heap-u da alocira novi blok, upravljač heap-om traži od jezgra da proširi memoriju alociranu za heap, a zatim koristi tu memoriju da generiše novi blok.
Ako sve propadne, malloc vraća null.
Imajte na umu da ako tražena memorija pređe prag, koristiće se mmap za mapiranje tražene memorije.
Arene
U višenitnim aplikacijama, upravljač heap-om mora sprečiti trke za stanjem koje bi mogle dovesti do rušenja. Početno je to postignuto korišćenjem globalne međuspremnika kako bi se osiguralo da samo jedna nit može pristupiti heap-u u isto vreme, ali to je uzrokovalo probleme sa performansama zbog uskog grla koje je prouzrokovala međuspremnika.
Da bi se to rešilo, allocator heap-a ptmalloc2 je uveo "arene", gde svaka arena deluje kao zaseban heap sa svojim sopstvenim podacima strukture i međuspremnikom, omogućavajući više niti da obavljaju operacije heap-a bez mešanja, pod uslovom da koriste različite arene.
Podrazumevana "glavna" arena upravlja operacijama heap-a za aplikacije sa jednom niti. Kada se dodaju nove niti, upravljač heap-om im dodeljuje sekundarne arene kako bi smanjio sukob. Prvo pokušava da pridruži svaku novu nit neiskorišćenoj areni, kreirajući nove ako je potrebno, do granice od 2 puta broja CPU jezgara za 32-bitne sisteme i 8 puta za 64-bitne sisteme. Kada se dostigne granica, niti moraju deliti arene, što može dovesti do potencijalnih sukoba.
Za razliku od glavne arene, koja se proširuje korišćenjem poziva sistema brk, sekundarne arene kreiraju "pod-heapove" koristeći mmap i mprotect kako bi simulirali ponašanje heap-a, omogućavajući fleksibilnost u upravljanju memorijom za višenitne operacije.
Pod-heapovi
Pod-heapovi služe kao rezerve memorije za sekundarne arene u višenitnim aplikacijama, omogućavajući im da rastu i upravljaju svojim sopstvenim regijama heap-a odvojeno od glavnog heap-a. Evo kako se pod-heapovi razlikuju od početnog heap-a i kako funkcionišu:
Početni Heap vs. Pod-heapovi:
Početni heap se nalazi odmah nakon binarnog fajla programa u memoriji i proširuje se korišćenjem poziva sistema sbrk.
Pod-heapovi, korišćeni od strane sekundarnih arena, kreiraju se kroz mmap, poziv sistema koji mapira određenu memorijsku regiju.
Rezervacija Memorije sa mmap:
Kada upravljač heap-om kreira pod-heap, rezerviše veliki blok memorije kroz mmap. Ova rezervacija ne alocira odmah memoriju; jednostavno označava regiju koju druge sistemsko procesi ili alokacije ne bi trebali koristiti.
Podrazumevana veličina rezervacije za pod-heap je 1 MB za 32-bitne procese i 64 MB za 64-bitne procese.
Postepeno Proširenje sa mprotect:
Rezervisana memorijska regija je prvobitno označena kao PROT_NONE, što znači da je kernel ne treba alocirati fizičku memoriju za ovaj prostor.
Da bi "proširio" pod-heap, upravljač heap-om koristi mprotect da promeni dozvole stranice sa PROT_NONE na PROT_READ | PROT_WRITE, što podstiče kernel da alocira fizičku memoriju na prethodno rezervisane adrese. Ovaj postepeni pristup omogućava pod-heapu da se proširi po potrebi.
Kada se ceo pod-heap iscrpi, upravljač heap-om kreira novi pod-heap da nastavi sa alokacijom.
heap_info
Ova struktura alocira relevantne informacije o heap-u. Osim toga, memorija heap-a možda neće biti kontinuirana nakon više alokacija, pa će ova struktura takođe čuvati tu informaciju.
// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/malloc/arena.c#L837typedefstruct _heap_info{mstate ar_ptr; /* Arena for this heap. */struct _heap_info *prev; /* Previous heap. */size_t size; /* Current size in bytes. */size_t mprotect_size; /* Size in bytes that has been mprotectedPROT_READ|PROT_WRITE. */size_t pagesize; /* Page size used when allocating the arena. *//* Make sure the following data is properly aligned, particularlythat sizeof (heap_info) + 2 * SIZE_SZ is a multiple ofMALLOC_ALIGNMENT. */char pad[-3* SIZE_SZ & MALLOC_ALIGN_MASK];} heap_info;
malloc_state
Svaki heap (glavna arena ili arene drugih niti) ima strukturu malloc_state.
Važno je primetiti da je glavna arena malloc_state struktura globalna promenljiva u libc-u (stoga smeštena u memorijskom prostoru libc-a).
U slučaju malloc_state struktura heapova niti, one se nalaze unutar sopstvenog "heapa" niti.
Postoje neke zanimljive stvari koje treba primetiti iz ove strukture (videti C kod ispod):
__libc_lock_define (, mutex); služi da se osigura da se ova struktura iz heapa pristupa od strane 1 niti u isto vreme
* `mchunkptr bins[NBINS * 2 - 2];` sadrži **pokazivače** na **prvi i poslednji chunkove** malih, velikih i nesortiranih **binova** (-2 je zato što se indeks 0 ne koristi)
* Stoga, **prvi chunk** ovih binova će imati **pokazivač unazad ka ovoj strukturi** i **poslednji chunk** ovih binova će imati **pokazivač unapred** ka ovoj strukturi. Što u osnovi znači da ako možete **procureti ove adrese u glavnoj areni** imaćete pokazivač na strukturu u **libc-u**.
* Strukture `struct malloc_state *next;` i `struct malloc_state *next_free;` su povezane liste arena
* Chunk `top` je poslednji "chunk", koji je u osnovi **sav preostali prostor heapa**. Kada je chunk `top` "prazan", heap je potpuno iskorišćen i potrebno je zatražiti više prostora.
* Chunk `last reminder` dolazi iz slučajeva kada tačno veličina chunka nije dostupna i stoga se veći chunk deli, a preostali deo pokazivača se smešta ovde.
```c
// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/malloc/malloc.c#L1812
struct malloc_state
{
/* Serialize access. */
__libc_lock_define (, mutex);
/* Flags (formerly in max_fast). */
int flags;
/* Set if the fastbin chunks contain recently inserted free blocks. */
/* Note this is a bool but not all targets support atomics on booleans. */
int have_fastchunks;
/* Fastbins */
mfastbinptr fastbinsY[NFASTBINS];
/* Base of the topmost chunk -- not otherwise kept in a bin */
mchunkptr top;
/* The remainder from the most recent split of a small request */
mchunkptr last_remainder;
/* Normal bins packed as described above */
mchunkptr bins[NBINS * 2 - 2];
/* Bitmap of bins */
unsigned int binmap[BINMAPSIZE];
/* Linked list */
struct malloc_state *next;
/* Linked list for free arenas. Access to this field is serialized
by free_list_lock in arena.c. */
struct malloc_state *next_free;
/* Number of threads attached to this arena. 0 if the arena is on
the free list. Access to this field is serialized by
free_list_lock in arena.c. */
INTERNAL_SIZE_T attached_threads;
/* Memory allocated from the system in this arena. */
INTERNAL_SIZE_T system_mem;
INTERNAL_SIZE_T max_system_mem;
};
malloc_chunk
Ova struktura predstavlja određeni deo memorije. Različita polja imaju različito značenje za alocirane i nealocirane delove.
// https://github.com/bminor/glibc/blob/master/malloc/malloc.cstruct malloc_chunk {INTERNAL_SIZE_T mchunk_prev_size; /* Size of previous chunk, if it is free. */INTERNAL_SIZE_T mchunk_size; /* Size in bytes, including overhead. */struct malloc_chunk* fd; /* double links -- used only if this chunk is free. */struct malloc_chunk* bk;/* Only used for large blocks: pointer to next larger size. */struct malloc_chunk* fd_nextsize; /* double links -- used only if this chunk is free. */struct malloc_chunk* bk_nextsize;};typedefstruct malloc_chunk* mchunkptr;
Kao što je ranije komentarisano, ovi delovi takođe imaju neke metapodatke, veoma dobro predstavljene na ovoj slici:
Metapodaci obično su 0x08B što ukazuje na trenutnu veličinu bloka koristeći poslednja 3 bita da označe:
A: Ako je 1, dolazi iz pod-heapa, ako je 0, nalazi se u glavnoj areni
M: Ako je 1, ovaj blok je deo prostora alociranog sa mmap i nije deo heap-a
P: Ako je 1, prethodni blok je u upotrebi
Zatim sledi prostor za korisničke podatke, i na kraju 0x08B da označi veličinu prethodnog bloka kada je blok dostupan (ili za skladištenje korisničkih podataka kada je alociran).
Osim toga, kada su dostupni, korisnički podaci se koriste i za sadržaj nekih podataka:
fd: Pokazivač na sledeći blok
bk: Pokazivač na prethodni blok
fd_nextsize: Pokazivač na prvi blok u listi koji je manji od samog sebe
bk_nextsize: Pokazivač na prvi blok u listi koji je veći od samog sebe
Primetite kako povezivanje liste na ovaj način sprečava potrebu za imanjem niza gde je svaki pojedinačni blok registrovan.
Pokazivači Blokova
Kada se koristi malloc, vraća se pokazivač na sadržaj koji može biti upisan (odmah nakon zaglavlja), međutim, prilikom upravljanja blokovima, potreban je pokazivač na početak zaglavlja (metapodaci).
Za ove konverzije koriste se sledeće funkcije:
// https://github.com/bminor/glibc/blob/master/malloc/malloc.c/* Convert a chunk address to a user mem pointer without correcting the tag. */#definechunk2mem(p) ((void*)((char*)(p) + CHUNK_HDR_SZ))/* Convert a user mem pointer to a chunk address and extract the right tag. */#definemem2chunk(mem) ((mchunkptr)tag_at (((char*)(mem) - CHUNK_HDR_SZ)))/* The smallest possible chunk */#defineMIN_CHUNK_SIZE (offsetof(struct malloc_chunk, fd_nextsize))/* The smallest size we can malloc is an aligned minimal chunk */#defineMINSIZE \(unsignedlong)(((MIN_CHUNK_SIZE+MALLOC_ALIGN_MASK) &~MALLOC_ALIGN_MASK))
Poravnanje i minimalna veličina
Pokazivač na blok i 0x0f moraju biti 0.
// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/sysdeps/generic/malloc-size.h#L61#defineMALLOC_ALIGN_MASK (MALLOC_ALIGNMENT -1)// https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/sysdeps/i386/malloc-alignment.h#defineMALLOC_ALIGNMENT16// https://github.com/bminor/glibc/blob/master/malloc/malloc.c/* Check if m has acceptable alignment */#definealigned_OK(m) (((unsignedlong)(m) & MALLOC_ALIGN_MASK) ==0)#definemisaligned_chunk(p) \((uintptr_t)(MALLOC_ALIGNMENT == CHUNK_HDR_SZ ? (p) :chunk2mem (p)) \& MALLOC_ALIGN_MASK)/* pad request bytes into a usable size -- internal version *//* Note: This must be a macro that evaluates to a compile time constantif passed a literal constant. */#definerequest2size(req) \(((req) + SIZE_SZ + MALLOC_ALIGN_MASK < MINSIZE) ? \MINSIZE : \((req) + SIZE_SZ + MALLOC_ALIGN_MASK) &~MALLOC_ALIGN_MASK)/* Check if REQ overflows when padded and aligned and if the resultingvalue is less than PTRDIFF_T. Returns the requested size orMINSIZE in case the value is less than MINSIZE, or 0 if any of theprevious checks fail. */staticinlinesize_tchecked_request2size (size_t req) __nonnull (1){if (__glibc_unlikely (req > PTRDIFF_MAX))return0;/* When using tagged memory, we cannot share the end of the userblock with the header for the next chunk, so ensure that weallocate blocks that are rounded up to the granule size. Takecare not to overflow from close to MAX_SIZE_T to a smallnumber. Ideally, this would be part of request2size(), but thatmust be a macro that produces a compile time constant if passeda constant literal. */if (__glibc_unlikely (mtag_enabled)){/* Ensure this is not evaluated if !mtag_enabled, see gcc PR 99551. */asm ("");req = (req + (__MTAG_GRANULE_SIZE -1)) &~(size_t)(__MTAG_GRANULE_SIZE -1);}returnrequest2size (req);}
Dobijanje podataka o bloku i izmena metapodataka
Ove funkcije rade tako što primaju pokazivač na blok i korisne su za proveru/postavljanje metapodataka:
Provera zastavica bloka
// From https://github.com/bminor/glibc/blob/master/malloc/malloc.c/* size field is or'ed with PREV_INUSE when previous adjacent chunk in use */#definePREV_INUSE0x1/* extract inuse bit of previous chunk */#defineprev_inuse(p) ((p)->mchunk_size & PREV_INUSE)/* size field is or'ed with IS_MMAPPED if the chunk was obtained with mmap() */#defineIS_MMAPPED0x2/* check for mmap()'ed chunk */#definechunk_is_mmapped(p) ((p)->mchunk_size & IS_MMAPPED)/* size field is or'ed with NON_MAIN_ARENA if the chunk was obtainedfrom a non-main arena. This is only set immediately before handingthe chunk to the user, if necessary. */#defineNON_MAIN_ARENA0x4/* Check for chunk from main arena. */#definechunk_main_arena(p) (((p)->mchunk_size & NON_MAIN_ARENA) ==0)/* Mark a chunk as not being on the main arena. */#defineset_non_main_arena(p) ((p)->mchunk_size |= NON_MAIN_ARENA)
Veličine i pokazivači ka drugim blokovima
/*Bits to mask off when extracting sizeNote: IS_MMAPPED is intentionally not masked off from size field inmacros for which mmapped chunks should never be seen. This shouldcause helpful core dumps to occur if it is tried by accident bypeople extending or adapting this malloc.*/#defineSIZE_BITS (PREV_INUSE | IS_MMAPPED | NON_MAIN_ARENA)/* Get size, ignoring use bits */#definechunksize(p) (chunksize_nomask (p) &~(SIZE_BITS))/* Like chunksize, but do not mask SIZE_BITS. */#definechunksize_nomask(p) ((p)->mchunk_size)/* Ptr to next physical malloc_chunk. */#definenext_chunk(p) ((mchunkptr) (((char*) (p)) +chunksize (p)))/* Size of the chunk below P. Only valid if !prev_inuse (P). */#defineprev_size(p) ((p)->mchunk_prev_size)/* Set the size of the chunk below P. Only valid if !prev_inuse (P). */#defineset_prev_size(p, sz) ((p)->mchunk_prev_size = (sz))/* Ptr to previous physical malloc_chunk. Only valid if !prev_inuse (P). */#defineprev_chunk(p) ((mchunkptr) (((char*) (p)) -prev_size (p)))/* Treat space at ptr + offset as a chunk */#definechunk_at_offset(p, s) ((mchunkptr) (((char*) (p)) + (s)))
Postavite zaglavlje i podnožje (kada su brojevi blokova u upotrebi)
/* Set size at head, without disturbing its use bit */#defineset_head_size(p, s) ((p)->mchunk_size = (((p)->mchunk_size & SIZE_BITS) | (s)))/* Set size/use field */#defineset_head(p, s) ((p)->mchunk_size = (s))/* Set size at footer (only when chunk is not in use) */#defineset_foot(p, s) (((mchunkptr) ((char*) (p) + (s)))->mchunk_prev_size = (s))
Dobijanje veličine stvarno upotrebljivih podataka unutar bloka
#pragmaGCCpoisonmchunk_size#pragmaGCCpoisonmchunk_prev_size/* This is the size of the real usable data in the chunk. Not valid fordumped heap chunks. */#definememsize(p) \(__MTAG_GRANULE_SIZE > SIZE_SZ &&__glibc_unlikely (mtag_enabled) ? \chunksize (p) - CHUNK_HDR_SZ : \chunksize (p) - CHUNK_HDR_SZ + (chunk_is_mmapped (p) ?0: SIZE_SZ))/* If memory tagging is enabled the layout changes to accommodate the granulesize, this is wasteful for small allocations so not done by default.Both the chunk header and user data has to be granule aligned. */_Static_assert (__MTAG_GRANULE_SIZE <= CHUNK_HDR_SZ,"memory tagging is not supported with large granule.");static __always_inline void*tag_new_usable (void*ptr){if (__glibc_unlikely (mtag_enabled)&& ptr){mchunkptr cp =mem2chunk(ptr);ptr =__libc_mtag_tag_region (__libc_mtag_new_tag (ptr), memsize (cp));}return ptr;}
Postavite prekidnu tačku na kraju glavne funkcije i saznajmo gde su informacije sačuvane:
Moguće je videti da je string panda sačuvan na adresi 0xaaaaaaac12a0 (koja je bila adresa data kao odgovor od strane malloc unutar x0). Proveravajući 0x10 bajtova pre toga, moguće je videti da 0x0 predstavlja da prethodni blok nije korišćen (dužina 0) i da je dužina ovog bloka 0x21.
Dodatni prostor rezervisan (0x21-0x10=0x11) dolazi od dodatih zaglavlja (0x10) i 0x1 ne znači da je rezervisano 0x21B već poslednja 3 bita dužine trenutnog zaglavlja imaju neka posebna značenja. Pošto je dužina uvek poravnata na granicu od 16 bajtova (na 64-bitnim mašinama), ovi bitovi zapravo nikada neće biti korišćeni od strane broja dužine.
0x1: Previous in Use - Specifies that the chunk before it in memory is in use
0x2: Is MMAPPED - Specifies that the chunk was obtained with mmap()
0x4: Non Main Arena - Specifies that the chunk was obtained from outside of the main arena
Primer višenitnog izvršavanja
Višenitno izvršavanje
```c #include #include #include #include #include
void* threadFuncMalloc(void* arg) { printf("Hello from thread 1\n"); char* addr = (char*) malloc(1000); printf("After malloc and before free in thread 1\n"); free(addr); printf("After free in thread 1\n"); }
void* threadFuncNoMalloc(void* arg) { printf("Hello from thread 2\n"); }
int main() { pthread_t t1; void* s; int ret; char* addr;
printf("Before creating thread 2\n"); ret = pthread_create(&t1, NULL, threadFuncNoMalloc, NULL);
printf("Before exit\n"); getchar();
return 0; }
</details>
Debugiranje prethodnog primera omogućava da se vidi kako na početku postoji samo 1 arena:
<figure><img src="../../.gitbook/assets/image (1).png" alt=""><figcaption></figcaption></figure>
Zatim, nakon poziva prvog niti, one koja poziva malloc, kreira se nova arena:
<figure><img src="../../.gitbook/assets/image (1) (1).png" alt=""><figcaption></figcaption></figure>
i unutar nje mogu se pronaći neki blokovi:
<figure><img src="../../.gitbook/assets/image (2).png" alt=""><figcaption></figcaption></figure>
## Bins & Aloakcije/Oslobađanja Memorije
Proverite šta su to binovi, kako su organizovani i kako se memorija alocira i oslobađa u:
<div data-gb-custom-block data-tag="content-ref" data-url='bins-and-memory-allocations.md'>
[bins-and-memory-allocations.md](bins-and-memory-allocations.md)
</div>
## Provere Bezbednosti Funkcija Heap-a
Funkcije uključene u heap će izvršiti određenu proveru pre obavljanja svojih akcija kako bi se osiguralo da heap nije oštećen:
<div data-gb-custom-block data-tag="content-ref" data-url='heap-memory-functions/heap-functions-security-checks.md'>
[heap-functions-security-checks.md](heap-memory-functions/heap-functions-security-checks.md)
</div>
## Reference
* [https://azeria-labs.com/heap-exploitation-part-1-understanding-the-glibc-heap-implementation/](https://azeria-labs.com/heap-exploitation-part-1-understanding-the-glibc-heap-implementation/)
* [https://azeria-labs.com/heap-exploitation-part-2-glibc-heap-free-bins/](https://azeria-labs.com/heap-exploitation-part-2-glibc-heap-free-bins/)