Sterta to miejsce, w którym program będzie mógł przechowywać dane, gdy żąda ich, wywołując funkcje takie jak malloc, calloc... Ponadto, gdy pamięć ta nie jest już potrzebna, zostaje ona udostępniona poprzez wywołanie funkcji free.
Jak pokazano poniżej, sterta znajduje się zaraz po tym, gdzie załadowany jest plik binarny w pamięci (sprawdź sekcję [heap]):
Podstawowe przydziały bloków
Gdy żądane jest przechowywanie danych na stercie, pewna przestrzeń sterty jest im alokowana. Ta przestrzeń będzie należeć do bloku i zarezerwowane zostaną tylko dane żądane + przestrzeń nagłówków bloków + minimalne przesunięcie rozmiaru bloku. Celem jest zarezerwowanie jak najmniejszej ilości pamięci, aby nie komplikować procesu znajdowania, gdzie znajduje się każdy blok. W tym celu wykorzystywane są informacje o metadanych bloku, aby wiedzieć, gdzie znajduje się każdy używany/wolny blok.
Istnieją różne sposoby rezerwacji przestrzeni głównie w zależności od używanego bloku, ale ogólna metodologia wygląda następująco:
Program zaczyna od żądania określonej ilości pamięci.
Jeśli na liście bloków jest ktoś dostępny, kto jest wystarczająco duży, aby spełnić żądanie, zostanie użyty.
Może to nawet oznaczać, że część dostępnego bloku zostanie użyta do tego żądania, a reszta zostanie dodana do listy bloków.
Jeśli nie ma dostępnego bloku na liście, ale w zaalokowanej pamięci sterty jest jeszcze miejsce, menedżer sterty tworzy nowy blok.
Jeśli nie ma wystarczająco dużo miejsca na stercie, aby zaalokować nowy blok, menedżer sterty prosi jądro o rozszerzenie zaalokowanej pamięci sterty, a następnie używa tej pamięci do wygenerowania nowego bloku.
Jeśli wszystko zawiedzie, malloc zwraca wartość null.
Zauważ, że jeśli żądana pamięć przekroczy pewien próg, zostanie użyte mmap do zmapowania żądanej pamięci.
Areny
W aplikacjach wielowątkowych, menedżer sterty musi zapobiegać warunkom wyścigowym, które mogą prowadzić do awarii. Początkowo było to realizowane za pomocą globalnego mutexa, aby zapewnić, że tylko jeden wątek mógł jednocześnie uzyskać dostęp do sterty, ale spowodowało to problemy wydajnościowe z powodu wąskiego gardła spowodowanego mutexem.
Aby temu zaradzić, alokator sterty ptmalloc2 wprowadził "areny", gdzie każda arena działa jako oddzielna sterta z własnymi strukturami danych i mutexem, pozwalając wielu wątkom wykonywać operacje na stercie bez ingerencji w siebie nawzajem, o ile korzystają z różnych aren.
Domyślna "główna" arena obsługuje operacje sterty dla aplikacji jednowątkowych. Gdy dodawane są nowe wątki, menedżer sterty przypisuje im areny pomocnicze, aby zmniejszyć rywalizację. Najpierw próbuje przypisać każdy nowy wątek do nieużytej areny, tworząc nowe, jeśli jest to konieczne, aż do limitu 2 razy liczba rdzeni CPU dla systemów 32-bitowych i 8 razy dla systemów 64-bitowych. Po osiągnięciu limitu wątki muszą dzielić areny, co prowadzi do potencjalnej rywalizacji.
W przeciwieństwie do głównej areny, która rozszerza się za pomocą wywołania systemowego brk, areny pomocnicze tworzą "podsterty" za pomocą mmap i mprotect, aby symulować zachowanie sterty, pozwalając na elastyczne zarządzanie pamięcią dla operacji wielowątkowych.
Podsterty
Podsterty służą jako rezerwy pamięci dla aren pomocniczych w aplikacjach wielowątkowych, pozwalając im rosnąć i zarządzać swoimi własnymi obszarami sterty oddzielnie od głównej sterty. Oto w jaki sposób podsterty różnią się od początkowej sterty i jak działają:
Początkowa sterta vs. Podsterty:
Początkowa sterta znajduje się bezpośrednio po binarnym programu w pamięci i rozszerza się za pomocą wywołania systemowego sbrk.
Podsterty, używane przez areny pomocnicze, są tworzone za pomocą mmap, wywołania systemowego mapującego określony obszar pamięci.
Rezerwacja pamięci za pomocą mmap:
Gdy menedżer sterty tworzy podstertę, rezerwuje duży blok pamięci za pomocą mmap. Ta rezerwacja nie alokuje pamięci natychmiast; po prostu oznacza obszar, którego inne procesy systemowe lub alokacje nie powinny używać.
Domyślnie zarezerwowany rozmiar dla podsterty wynosi 1 MB dla procesów 32-bitowych i 64 MB dla procesów 64-bitowych.
Stopniowe rozszerzanie za pomocą mprotect:
Zarezerwowany obszar pamięci jest początkowo oznaczony jako PROT_NONE, co oznacza, że jądro nie musi jeszcze alokować pamięci fizycznej dla tego obszaru.
Aby "rozszerzyć" podstertę, menedżer sterty używa mprotect do zmiany uprawnień strony z PROT_NONE na PROT_READ | PROT_WRITE, co skłania jądro do alokacji pamięci fizycznej dla wcześniej zarezerwowanych adresów. Ten krok po kroku pozwala podstercie rosnąć w miarę potrzeb.
Gdy cała podsterta zostanie wyczerpana, menedżer sterty tworzy nową podstertę, aby kontynuować alokację.
Informacje o stercie
Ta struktura alokuje istotne informacje o stercie. Ponadto pamięć sterty może nie być ciągła po kolejnych alokacjach, ta struktura również przechowuje tę informację.
// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/malloc/arena.c#L837typedefstruct _heap_info{mstate ar_ptr; /* Arena for this heap. */struct _heap_info *prev; /* Previous heap. */size_t size; /* Current size in bytes. */size_t mprotect_size; /* Size in bytes that has been mprotectedPROT_READ|PROT_WRITE. */size_t pagesize; /* Page size used when allocating the arena. *//* Make sure the following data is properly aligned, particularlythat sizeof (heap_info) + 2 * SIZE_SZ is a multiple ofMALLOC_ALIGNMENT. */char pad[-3* SIZE_SZ & MALLOC_ALIGN_MASK];} heap_info;
malloc_state
Każdy sterta (główna arena lub areny innych wątków) ma strukturę malloc_state.
Ważne jest zauważenie, że struktura malloc_state głównej areny jest zmienną globalną w libc (znajduje się więc w przestrzeni pamięci libc).
W przypadku struktur malloc_state stert wątków, znajdują się one wewnątrz własnej "sterty" wątku.
Istnieje kilka interesujących rzeczy do zauważenia w tej strukturze (patrz kod C poniżej):
__libc_lock_define (, mutex); służy do zapewnienia, że ta struktura ze sterty jest dostępna przez 1 wątek na raz
* `mchunkptr bins[NBINS * 2 - 2];` zawiera **wskaźniki** do **pierwszego i ostatniego kawałka** małych, dużych i nieuporządkowanych **kubłów** (liczba -2 wynika z tego, że indeks 0 nie jest używany)
* Dlatego **pierwszy kawałek** tych kubłów będzie miał **wskaźnik wsteczny do tej struktury**, a **ostatni kawałek** tych kubłów będzie miał **wskaźnik do przodu** do tej struktury. Oznacza to w zasadzie, że jeśli uda ci się **wyciec te adresy w głównej arenie**, będziesz miał wskaźnik do struktury w **libc**.
* Struktury `struct malloc_state *next;` i `struct malloc_state *next_free;` są listami połączonymi aren
* Kawałek `top` to ostatni "kawałek", który w zasadzie stanowi **całą pozostałą przestrzeń sterty**. Gdy kawałek `top` jest "pusty", sterta jest całkowicie użyta i potrzebuje więcej miejsca.
* Kawałek `last reminder` pochodzi z przypadków, gdy kawałek o dokładnym rozmiarze nie jest dostępny, dlatego większy kawałek jest dzielony, a pozostała część wskaźnika jest umieszczana tutaj.
```c
// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/malloc/malloc.c#L1812
struct malloc_state
{
/* Serialize access. */
__libc_lock_define (, mutex);
/* Flags (formerly in max_fast). */
int flags;
/* Set if the fastbin chunks contain recently inserted free blocks. */
/* Note this is a bool but not all targets support atomics on booleans. */
int have_fastchunks;
/* Fastbins */
mfastbinptr fastbinsY[NFASTBINS];
/* Base of the topmost chunk -- not otherwise kept in a bin */
mchunkptr top;
/* The remainder from the most recent split of a small request */
mchunkptr last_remainder;
/* Normal bins packed as described above */
mchunkptr bins[NBINS * 2 - 2];
/* Bitmap of bins */
unsigned int binmap[BINMAPSIZE];
/* Linked list */
struct malloc_state *next;
/* Linked list for free arenas. Access to this field is serialized
by free_list_lock in arena.c. */
struct malloc_state *next_free;
/* Number of threads attached to this arena. 0 if the arena is on
the free list. Access to this field is serialized by
free_list_lock in arena.c. */
INTERNAL_SIZE_T attached_threads;
/* Memory allocated from the system in this arena. */
INTERNAL_SIZE_T system_mem;
INTERNAL_SIZE_T max_system_mem;
};
malloc_chunk
Ta struktura reprezentuje konkretny fragment pamięci. Różne pola mają różne znaczenie dla przydzielonych i nieprzydzielonych fragmentów.
// https://github.com/bminor/glibc/blob/master/malloc/malloc.cstruct malloc_chunk {INTERNAL_SIZE_T mchunk_prev_size; /* Size of previous chunk, if it is free. */INTERNAL_SIZE_T mchunk_size; /* Size in bytes, including overhead. */struct malloc_chunk* fd; /* double links -- used only if this chunk is free. */struct malloc_chunk* bk;/* Only used for large blocks: pointer to next larger size. */struct malloc_chunk* fd_nextsize; /* double links -- used only if this chunk is free. */struct malloc_chunk* bk_nextsize;};typedefstruct malloc_chunk* mchunkptr;
Jak już wcześniej wspomniano, te fragmenty mają również pewne metadane, bardzo dobrze przedstawione na tym obrazie:
Metadane zazwyczaj mają wartość 0x08B, w której ostatnie 3 bity oznaczają:
A: Jeśli 1, pochodzi z podstrefy, jeśli 0, znajduje się w głównej arenie
M: Jeśli 1, ten fragment jest częścią przestrzeni przydzielonej za pomocą mmap i nie jest częścią sterty
P: Jeśli 1, poprzedni fragment jest w użyciu
Następnie znajduje się miejsce na dane użytkownika, a na końcu 0x08B wskazujący rozmiar poprzedniego fragmentu, gdy fragment jest dostępny (lub do przechowywania danych użytkownika, gdy jest przydzielony).
Co więcej, gdy jest to możliwe, dane użytkownika są wykorzystywane do przechowywania również pewnych danych:
fd: Wskaźnik do następnego fragmentu
bk: Wskaźnik do poprzedniego fragmentu
fd_nextsize: Wskaźnik do pierwszego fragmentu na liście, który jest mniejszy od siebie
bk_nextsize: Wskaźnik do pierwszego fragmentu na liście, który jest większy od siebie
Zauważ, że ułożenie listy w ten sposób eliminuje potrzebę posiadania tablicy, w której każdy pojedynczy fragment jest rejestrowany.
Wskaźniki Fragmentów
Kiedy używane jest malloc, zwracany jest wskaźnik na zawartość, która może być zapisana (zaraz po nagłówkach), jednakże przy zarządzaniu fragmentami potrzebny jest wskaźnik na początek nagłówków (metadanych).
Do tych konwersji używane są następujące funkcje:
// https://github.com/bminor/glibc/blob/master/malloc/malloc.c/* Convert a chunk address to a user mem pointer without correcting the tag. */#definechunk2mem(p) ((void*)((char*)(p) + CHUNK_HDR_SZ))/* Convert a user mem pointer to a chunk address and extract the right tag. */#definemem2chunk(mem) ((mchunkptr)tag_at (((char*)(mem) - CHUNK_HDR_SZ)))/* The smallest possible chunk */#defineMIN_CHUNK_SIZE (offsetof(struct malloc_chunk, fd_nextsize))/* The smallest size we can malloc is an aligned minimal chunk */#defineMINSIZE \(unsignedlong)(((MIN_CHUNK_SIZE+MALLOC_ALIGN_MASK) &~MALLOC_ALIGN_MASK))
Wyrównanie i minimalny rozmiar
Wskaźnik do fragmentu i 0x0f muszą wynosić 0.
// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/sysdeps/generic/malloc-size.h#L61#defineMALLOC_ALIGN_MASK (MALLOC_ALIGNMENT -1)// https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/sysdeps/i386/malloc-alignment.h#defineMALLOC_ALIGNMENT16// https://github.com/bminor/glibc/blob/master/malloc/malloc.c/* Check if m has acceptable alignment */#definealigned_OK(m) (((unsignedlong)(m) & MALLOC_ALIGN_MASK) ==0)#definemisaligned_chunk(p) \((uintptr_t)(MALLOC_ALIGNMENT == CHUNK_HDR_SZ ? (p) :chunk2mem (p)) \& MALLOC_ALIGN_MASK)/* pad request bytes into a usable size -- internal version *//* Note: This must be a macro that evaluates to a compile time constantif passed a literal constant. */#definerequest2size(req) \(((req) + SIZE_SZ + MALLOC_ALIGN_MASK < MINSIZE) ? \MINSIZE : \((req) + SIZE_SZ + MALLOC_ALIGN_MASK) &~MALLOC_ALIGN_MASK)/* Check if REQ overflows when padded and aligned and if the resultingvalue is less than PTRDIFF_T. Returns the requested size orMINSIZE in case the value is less than MINSIZE, or 0 if any of theprevious checks fail. */staticinlinesize_tchecked_request2size (size_t req) __nonnull (1){if (__glibc_unlikely (req > PTRDIFF_MAX))return0;/* When using tagged memory, we cannot share the end of the userblock with the header for the next chunk, so ensure that weallocate blocks that are rounded up to the granule size. Takecare not to overflow from close to MAX_SIZE_T to a smallnumber. Ideally, this would be part of request2size(), but thatmust be a macro that produces a compile time constant if passeda constant literal. */if (__glibc_unlikely (mtag_enabled)){/* Ensure this is not evaluated if !mtag_enabled, see gcc PR 99551. */asm ("");req = (req + (__MTAG_GRANULE_SIZE -1)) &~(size_t)(__MTAG_GRANULE_SIZE -1);}returnrequest2size (req);}
Pobierz dane bloku i zmień metadane
Te funkcje działają poprzez otrzymywanie wskaźnika do bloku i są przydatne do sprawdzania/ustawiania metadanych:
Sprawdź flagi bloku
// From https://github.com/bminor/glibc/blob/master/malloc/malloc.c/* size field is or'ed with PREV_INUSE when previous adjacent chunk in use */#definePREV_INUSE0x1/* extract inuse bit of previous chunk */#defineprev_inuse(p) ((p)->mchunk_size & PREV_INUSE)/* size field is or'ed with IS_MMAPPED if the chunk was obtained with mmap() */#defineIS_MMAPPED0x2/* check for mmap()'ed chunk */#definechunk_is_mmapped(p) ((p)->mchunk_size & IS_MMAPPED)/* size field is or'ed with NON_MAIN_ARENA if the chunk was obtainedfrom a non-main arena. This is only set immediately before handingthe chunk to the user, if necessary. */#defineNON_MAIN_ARENA0x4/* Check for chunk from main arena. */#definechunk_main_arena(p) (((p)->mchunk_size & NON_MAIN_ARENA) ==0)/* Mark a chunk as not being on the main arena. */#defineset_non_main_arena(p) ((p)->mchunk_size |= NON_MAIN_ARENA)
Rozmiary i wskaźniki do innych fragmentów
/*Bits to mask off when extracting sizeNote: IS_MMAPPED is intentionally not masked off from size field inmacros for which mmapped chunks should never be seen. This shouldcause helpful core dumps to occur if it is tried by accident bypeople extending or adapting this malloc.*/#defineSIZE_BITS (PREV_INUSE | IS_MMAPPED | NON_MAIN_ARENA)/* Get size, ignoring use bits */#definechunksize(p) (chunksize_nomask (p) &~(SIZE_BITS))/* Like chunksize, but do not mask SIZE_BITS. */#definechunksize_nomask(p) ((p)->mchunk_size)/* Ptr to next physical malloc_chunk. */#definenext_chunk(p) ((mchunkptr) (((char*) (p)) +chunksize (p)))/* Size of the chunk below P. Only valid if !prev_inuse (P). */#defineprev_size(p) ((p)->mchunk_prev_size)/* Set the size of the chunk below P. Only valid if !prev_inuse (P). */#defineset_prev_size(p, sz) ((p)->mchunk_prev_size = (sz))/* Ptr to previous physical malloc_chunk. Only valid if !prev_inuse (P). */#defineprev_chunk(p) ((mchunkptr) (((char*) (p)) -prev_size (p)))/* Treat space at ptr + offset as a chunk */#definechunk_at_offset(p, s) ((mchunkptr) (((char*) (p)) + (s)))
Ustaw nagłówek i stopkę (gdy liczba bloków w użyciu)
/* Set size at head, without disturbing its use bit */#defineset_head_size(p, s) ((p)->mchunk_size = (((p)->mchunk_size & SIZE_BITS) | (s)))/* Set size/use field */#defineset_head(p, s) ((p)->mchunk_size = (s))/* Set size at footer (only when chunk is not in use) */#defineset_foot(p, s) (((mchunkptr) ((char*) (p) + (s)))->mchunk_prev_size = (s))
Uzyskaj rozmiar rzeczywistych użytecznych danych wewnątrz bloku
#pragmaGCCpoisonmchunk_size#pragmaGCCpoisonmchunk_prev_size/* This is the size of the real usable data in the chunk. Not valid fordumped heap chunks. */#definememsize(p) \(__MTAG_GRANULE_SIZE > SIZE_SZ &&__glibc_unlikely (mtag_enabled) ? \chunksize (p) - CHUNK_HDR_SZ : \chunksize (p) - CHUNK_HDR_SZ + (chunk_is_mmapped (p) ?0: SIZE_SZ))/* If memory tagging is enabled the layout changes to accommodate the granulesize, this is wasteful for small allocations so not done by default.Both the chunk header and user data has to be granule aligned. */_Static_assert (__MTAG_GRANULE_SIZE <= CHUNK_HDR_SZ,"memory tagging is not supported with large granule.");static __always_inline void*tag_new_usable (void*ptr){if (__glibc_unlikely (mtag_enabled)&& ptr){mchunkptr cp =mem2chunk(ptr);ptr =__libc_mtag_tag_region (__libc_mtag_new_tag (ptr), memsize (cp));}return ptr;}
Ustaw punkt przerwania na końcu funkcji głównej i sprawdźmy, gdzie przechowywane były informacje:
Można zauważyć, że ciąg znaków panda został przechowywany pod adresem 0xaaaaaaac12a0 (który był adresem podanym jako odpowiedź przez malloc wewnątrz x0). Sprawdzając 0x10 bajtów przed nim, można zauważyć, że 0x0 oznacza, że poprzedni blok nie jest używany (długość 0) i że długość tego bloku to 0x21.
Dodatkowe zarezerwowane miejsce (0x21-0x10=0x11) pochodzi od dodanych nagłówków (0x10), a 0x1 nie oznacza, że zarezerwowano 0x21 bajtów, ale ostatnie 3 bity długości bieżącego nagłówka mają pewne specjalne znaczenia. Ponieważ długość zawsze jest wyrównana do 16 bajtów (w maszynach 64-bitowych), te bity faktycznie nigdy nie zostaną użyte przez liczbę długości.
0x1: Previous in Use - Specifies that the chunk before it in memory is in use
0x2: Is MMAPPED - Specifies that the chunk was obtained with mmap()
0x4: Non Main Arena - Specifies that the chunk was obtained from outside of the main arena
Przykład wielowątkowości
Wielowątkowość
```c #include #include #include #include #include
void* threadFuncMalloc(void* arg) { printf("Hello from thread 1\n"); char* addr = (char*) malloc(1000); printf("After malloc and before free in thread 1\n"); free(addr); printf("After free in thread 1\n"); }
void* threadFuncNoMalloc(void* arg) { printf("Hello from thread 2\n"); }
int main() { pthread_t t1; void* s; int ret; char* addr;
printf("Before creating thread 2\n"); ret = pthread_create(&t1, NULL, threadFuncNoMalloc, NULL);
printf("Before exit\n"); getchar();
return 0; }
</details>
Podczas debugowania poprzedniego przykładu można zobaczyć, że na początku istnieje tylko 1 arena:
<figure><img src="../../.gitbook/assets/image (1).png" alt=""><figcaption></figcaption></figure>
Następnie, po wywołaniu pierwszego wątku, tego który wywołuje malloc, tworzona jest nowa arena:
<figure><img src="../../.gitbook/assets/image (1) (1).png" alt=""><figcaption></figcaption></figure>
a wewnątrz niej można znaleźć pewne fragmenty:
<figure><img src="../../.gitbook/assets/image (2).png" alt=""><figcaption></figcaption></figure>
## Bins & Alokacje/Zwolnienia Pamięci
Sprawdź, jak są zorganizowane i jak pamięć jest alokowana i zwalniana w binach:
<div data-gb-custom-block data-tag="content-ref" data-url='bins-and-memory-allocations.md'>
[bins-and-memory-allocations.md](bins-and-memory-allocations.md)
</div>
## Sprawdzenia Bezpieczeństwa Funkcji Stosu
Funkcje związane z stosem będą wykonywać określone sprawdzenia przed wykonaniem swoich działań, aby upewnić się, że sterta nie została zepsuta:
<div data-gb-custom-block data-tag="content-ref" data-url='heap-memory-functions/heap-functions-security-checks.md'>
[heap-functions-security-checks.md](heap-memory-functions/heap-functions-security-checks.md)
</div>
## Odnośniki
* [https://azeria-labs.com/heap-exploitation-part-1-understanding-the-glibc-heap-implementation/](https://azeria-labs.com/heap-exploitation-part-1-understanding-the-glibc-heap-implementation/)
* [https://azeria-labs.com/heap-exploitation-part-2-glibc-heap-free-bins/](https://azeria-labs.com/heap-exploitation-part-2-glibc-heap-free-bins/)