Brialy est né à Aumale, en Algérie française, où son père était affecté à l’armée française. Brialy s’installe en France métropolitaine avec sa famille en 1942, s’installe à Paris en 1954 et joue son premier film en 1955.
Il est devenu une star à la fin des années 50, alors qu’il était l’un des acteurs les plus prolifiques de la » nouvelle vague » française. Il a réalisé des films avec des réalisateurs de la nouvelle vague tels que Claude Chabrol , Éric Rohmer , Jean-Luc Godard , Louis Malle , François Truffaut , Agnès Varda et Jacques Rozier . et avec d’autres cinéastes tels que Roger Vadim, Claude Lelouch et Luis Buñuel .
Il a également été réalisateur de plusieurs films, dont Églantine (1971). Dans ses autobiographies, Le Ruisseau des Singes ( Rivière des singes ) (2000) et J’ai oublié de vous dire … (j’oublié de te dire … Vous ) (2004) , il a révélé qu’il était bisexuel