Yurii Był czterokrotnie żonaty. 23 października poślubił 16-letnią Mildred Harris, jednak rozwiedli się już 19 listopada 1920[10]. W 1919 urodził im się syn Norman, który jednak zmarł trzy dni po urodzeniu. Był związany z Polą Negri (według informacji prasowej z 1923 był z nią zaręczony)[11]. 26 listopada 1924 ożenił się z Litą Grey, z którą w sierpniu 1927 wziął rozwód[12]. Mieli dwóch synów: Charlesa Jr. i Sydneya (zm. 3 marca 2009 w Kalifornii). W 1936 jego żoną została Paulette Goddard, z którą rozwiódł się w 1942. 16 czerwca 1943 poślubił młodszą o 37 lat Oonę O’Neill, córkę dramaturga Eugene O’Neilla[13], z którą pozostał do swojej śmierci w 1977. Doczekali się ósemki dzieci: Geraldine, Michaela, Josephine, Jane, Eugene, Victorii (ur. 1951), Christophera i Annette-Emilie[9].
Na początku lat 40. został niesłusznie oskarżony o ojcostwo dziecka Joan Barry, a sąd stanął po stronie matki i, mimo że badania krwi temu zaprzeczyły, zasądził wobec aktora alimenty w wysokości 75 dol. tygodniowo, które miał wypłacać przez kolejne 21 lat[14]. Oburzony wyrokiem, a także zmęczony namolnością prasy, opuścił kraj i wyjechał z żoną do Szwajcarii[14]. Zamieszkali w willi w Corsier-sur-Vevey[9].
