Au 19ème siècle, Newland Archer, un avocat connu, tombe amoureux de la comtesse Ellen Olenska, alors qu'il doit se marier avec la jeune et ingénue May.

En 1951 à Hollywood, le metteur en scène David Merrill est accusé de communisme et se retrouve à ce titre sur la Liste Noire, susceptible donc de perdre son emploi et ses biens. Mais il refuse de donner des noms d'autres suspects.

Trois histoires se suivent. Un peintre est fou amoureux de son assistante qui pourtant le repousse. Une ado de 12 ans évolue dans la haute société à Manhattan. Un fils doit faire face à sa mère, une femme terrible, et s'émanciper.

Jack La Motta, un homme brutal, caractériel, fit une brillante carrière dans la boxe et mena des combats mythiques notamment contre Cerdan et Robinson. Mais Jack vécut une paranoïa grandissante vis-à-vis de sa femme et son frère.