Pochodził z inteligenckiej rodziny – jego ojciec był inżynierem, pracował w fabryce traktorów w Huddersfield. Młody Kaye zakończył edukację na szkole średniej, po czym imał się różnych zajęć – pracował w zakładach tekstylnych, winiarskich i mechanicznych, był również prezenterem szpitalnego radiowęzła. W swojej autobiografii z 1989 roku przyznał się do ogromnej nieśmiałości, którą pomogło mu przełamać dopiero odkrycie zdolności aktorskich. W drugiej połowie lat 60. zaczął pracować jako aktor w północnej Anglii. Zadebiutował w nagrywanym w Manchesterze słuchowisku radiowym, wkrótce później pojawił się w teatrze telewizji. Pierwszy stały angaż aktorski otrzymał w teatrze w Bolton. Tam dostrzegli go producenci opery mydlanej Coronation Street, gdzie występował w latach 1969–1970. Później stał się wziętym epizodystą i aktorem drugoplanowym, występującym w wielu serialach. W takim charakterze pojawił się też w serialach Davida Crofta: Are You Being Served? oraz It Ain’t Half Hot Mum. W 1977 Croft powierzył mu drugoplanową, lecz bardzo wyrazistą rolę prezentera telewizyjnego w krótkotrwałym serialu Podróż pani Noah. W pierwszej połowie lat 80. grywał w rolach szekspirowskich: najpierw w inscenizacji Życia i śmierci króla Jana dla Teatru Telewizji BBC, a następnie w wystawieniu Jak wam się podoba, przygotowanym przez Królewski Teatr Narodowy. W 1982 Croft obsadził Kaye’a w głównej roli w swoim nowym serialu ’Allo ’Allo!. Grany przez niego René jest właścicielem kawiarni w okupowanej przez Niemców Francji w czasie II wojny światowej, który mimo wyraźnej nadwagi i niezbyt ponętnej aparycji nie może opędzić się od zalotów własnych kelnerek. Kaye wystąpił we wszystkich 84 odcinkach serialu, a także w jego zagranej 1200 razy wersji teatralnej. W 2007 roku po latach powrócił do swej najsłynniejszej roli, występując w odcinku specjalnym Powrót ’Allo ’Allo! na antenie BBC oraz w trzyosobowej sztuce teatralnej na deskach teatru w Brisbane, wraz z Sue Hodge jako Mimi Labonq i Guyem Sinerem jako porucznikiem Gruberem. Zmarł w domu opieki w Knaresborough w wieku 75 lat.