Η Ξαβιέρα Χολάντερ γεννήθηκε το 1943 με το όνομα Xaviera de Vries στην Ινδονησία, από Ολλανδό πατέρα και Γαλλο-γερμανή μητέρα. Στα είκοσί της μετανάστευσε από το Άμστερνταμ στη Νότιο Αφρική, όπου ζούσε η αδελφή της, και στη συνέχεια στη Νέα Υόρκη. Το 1968 παράτησε τη δουλειά της στο Ολλανδικό προξενείο του Μανχάταν για να εργαστεί ως call girl, κερδίζοντας συχνά 1.000 δολάρια μέσα σε μια νύχτα. Ένα χρόνο μετά δημιούργησε τον δικό της "άτυπο" οίκο ανοχής, με τίτλο The Vertical Whorehouse, που εξελίχθηκε σε έναν από τους πιο περιζήτητους στη Νέα Υόρκη. Το 1971 συλλαμβάνεται από την αμερικανική αστυνομία για πορνεία, και εξαναγκάζεται να εγκαταλείψει τη χώρα. Επιστρέφοντας στην ελευθεριότητα της πατρίδας της, στο Άμστερνταμ, δημοσιεύει τις αναμνήσεις της σ\' ένα βιβλίο με τίτλο "The Happy Hooker: My Own Story" ["Η ευτυχισμένη πόρνη: η ιστορία μου"] (1971), που προκάλεσε αίσθηση για την τολμηρότητά του, με βάση τα δεδομένα της εποχής, και μεταφράστηκε σε πολλές γλώσσες. Την εκδοτική αυτή επιτυχία ακολούθησαν αρκετά ακόμη βιβλία ερωτικού περιεχομένου, τόσο αυτοβιογραφικά όσο και μυθιστορήματα, καθώς και θεατρικά έργα. Επίσης, αρθρογράφησε επί 35 χρόνια στο περιοδικό "Penthouse", κρατώντας τη συμβουλευτική στήλη "Call Me Madam". Το 1975 κυκλοφόρησε το αυτοβιογραφικό της βιβλίο "My Pleasure is My Business".