De vier regentessen die in 1664 deel uitmaakten van het bestuur van het Oudemannenhuis waren Adriaentje Schouten, Marijtje Willems, Anna van Damme en Adrianana Bredenhoff. Zij zijn, samen met de binnenmoeder, afgebeeld op het groepsportret door Frans Hals. Het schilderij op de achtergrond is misschien een voorstelling van de Barmhartige Samaritaan, een onderwerp dat de liefdadigheid van de regentessen illustreert.
De portretten van de regentessen - en ook dat van de regenten - zijn in de loop der eeuwen bewonderd, maar ook verguisd. Bewonderd om de manier van schilderen, die vooral grote indruk maakte op de impressionisten en realisten van de 19de eeuw. En verguisd omdat men vond dat de regentessen niet erg geflatteerd waren geportretteerd.
Lange tijd dacht men dat Frans Hals in het Oudemannenhuis gewoond had. Met dit portret van de regentessen én dat van de regenten zou hij wraak hebben willen nemen op de strenge bestuurders. Maar Frans Hals heeft nooit in het Oudemannenhuis gewoond. Wel is bekend dat Frans Hals met zijn grote gezin in de jaren ‘30 aan het Groot Heiligland woonde, de straat waar het Oudemannenhuis stond.