Nacido en el seno de una familia de artistas, Rufus es hijo de los cantantes de folk Loudon Wainwright III y Kate McGarrigle. Su hermana también comparte oficio, Martha Wainwright es vocalista. Rufus empezó a tocar el piano con seis años y a los veinte empezó su carrera como solista.
