Rosemary este de mult timp o enigmă. Se știa doar faptul că s-a născut cu o boală psihică, fiind ascunsă prin internate de-a lungul timpului și că a murit în 2005, la 86 de ani, într-un centru pentru persoane cu handicap din Jefferson, Wisconsin, unde a stat în ultimii 50 de ani de viață.
Se pare că problemele fetei au apărut de la naștere, care a avut loc acasă. Întrucât medicul ginecolog a întârziat, asistenta care o superviza pe mamă a încercat să amâne aducerea pe lume a copilei ținând capul fătului în corpul mamei pentru două ore.
Această decizie e posibil să fi făcut ca micuța să nu primească oxigen și să rămână cu afecțiuni cerebrale.
În memoriile sale, publicate în 1974, Rose Kennedy scria că fiica sa a mers de-a bușilea, a stat în fund, a stat în picioare și a scos primele cuvinte mai târziu decât ceilalți copii.
Decizia brutală a lui Joseph Kennedy a venit în contextul pregătirii carierei politice a fiilor săi, fiindu-i teamă că tânăra ar periclita renumele familiei dacă ar rămâne însărcinată. Capul familiei n-a fost îndurător cu fiica trimisă departe de casă în internate nici înainte de a deveni Rosemary o tânără atractivă.
Fata îi scria să-i mulțumească când o vizita și să-l implore să revină, iar el era îngrijorat că auzise că se îngrășase.
În urma operației de secționare a unor fibre sau fascicule nervoase dintr-un lob cerebral, Rosemary n-a mai putut vorbi, se mișca cu greu și a avut nevoie de ajutor tot restul vieții.