Questo microcosmo era retto da due principali autorità: la Valide Sultan, madre del sultano e quindi sovrana di tutte le donne dell'harem (tutte, compresa la Valide, delle schiave), ed il Kizlar Agha, il capo degli eunuchi nilotici impiegati nell'harem.
Il Sultano Valide o la Regina Madre era il capo dell'Harem e aveva il controllo della gestione e dell'organizzazione dell'harem. L'Islam proibiva la schiavitù delle donne musulmane, quindi la maggior parte delle donne dell'harem erano ebree o cristiane.
le donne che in esso abitano, mogli o parenti del proprietario o anche schiave concubine (odalische, con termine desunto dal turco). In Persia e tra i musulmani dell'India i ginecei sono detti, con vocabolo persiano, zanānah.
In Egitto oggi vengono chiusi molti harem per violazione delle norme, specialmente quella che riguarda il numero di mogli consentito. La legge infatti prevede un numero massimo di 4 mogli, mentre molti arrivano ad avere anche più di 40 donne, tenute in condizioni pessime.
Un harem può ospitare la moglie di un uomo – o mogli e concubine, come negli harem reali del passato – i loro figli maschi pre-pubescenti, le figlie non sposate, le domestiche e altre parenti femmine non sposate. In passato, alcuni harem erano sorvegliati da eunuchi (uomini castrati) ai quali era permesso entrare.