Fils d'un couple russe de confession juive ayant émigré aux États-Unis, il décide d'étudier l'art dramatique à l'Université de l'Iowa, dont il sort diplômé en 1955. Après un passage par l'armée de 1956 à 1958 et par l'Angleterre où il fréquente la Old Vic Theatre School de Bristol, il revient aux États-Unis où il donne des cours d'escrime et conduit des limousines afin de continuer le théâtre. C'est en 1961 que sa carrière décolle à Broadway en jouant dans des pièces comme The Complaisant Lover ou Roots. Ce n'est que trois ans plus tard, que Mel Brooks remarque Gene Wilder, tandis que ce dernier joue aux côtés d'Anne Bancroft -qui fréquente le réalisateur à cette époque- dans Mother Courage and Her Children. Le réalisateur dirigera alors l'acteur dans trois films.
L'année 1967 marque ses débuts au cinéma en incarnant un fossoyeur kidnappé par le célèbre couple de bandits, Bonnie and Clyde, dans le film éponyme d'Arthur Penn. Il obtient ensuite l'un des rôles titre dans Les Producteurs de Mel Brooks, qui avec celui de Willy Wonka, dans Charlie et la chocolaterie (1971) de Mel Stuart, est l'un des plus importants de sa carrière. Dans les années 70 et 80, il apparaît à de multiples reprises aux côtés de Richard Pryor, faisant d'eux l'un des duos comiques inter-racial le plus populaire de cette période. Durant cette même période, il tourne sous la direction de grands noms du cinéma tels que Woody Allen (Tout ce que vous avez toujours voulu savoir sur le sexe... sans jamais oser le demander, 1972), Stanley Donen (Le Petit prince, 1974) ou Sidney Poitier (Faut s'faire la malle, 1980). Il est à l'affiche en 1976 de Transamerica Express de Arthur Hiller, qu'il retrouve une seconde fois en 1989 dans "Pas nous, pas nous" où il retrouve son compére Richard Pryor.
Passé maître dans la comédie, la fin des années 80 voit sa carrière ralentir. Il réalise tout de même deux films en 1984 et 1986 (La Fille en rouge et Haunted Honeymoon), puis joue sous la direction de Leonard Nimoy dans Funny About Love en 1990. Après le décès de sa première épouse, Gilda Radner, des suites d'un cancer des ovaires, il prend part activement à la recherche contre cette maladie. Il est lui-même atteint en 1999 de la maladie d'Hodgkin; un an plus tard il est parfaitement rétabli. En 2005, il publie ses mémoires, Kiss Me Like a Stranger. Après quinze ans loin des studios et malgré un bref passage à la télévision dans la série Will & Grace (2005), son retour au cinéma est annoncé avec le prochain film de Paul Hernandez, Instant karma.