В 1943 году окончил ВГИК и стал работать на киностудии "Союздетфильм" (с 1948 года — киностудия имени Максима Горького).

С 1967 года — актёр работал в Театре-студии киноактёра. В кино Николай Граббе дебютировал в 1943 году ролью Павки Дроздова в фильме "Мы с Урала". Актёр был мастером эпизодических ролей, одним из самых снимаемых киноактёров 1950-1970-х годов.

Герои Николая Граббе — люди мужественные, сильные, принципиальные, будь они сотрудниками милиции или бандитами. Преимущественно, актёр играл представителей разных профессий: рыбаков, офицеров, тренеров, рабочих, всевозможных начальников.


Работал на студии дубляжа. Его голосом говорили многие зарубежные актёры и персонажи мультфильмов.

Был женат на актрисе Театра на Таганке Маргарите Докторовой. Сын и дочь пошли по стопам родителей — Алексей Граббе (род. 02.07.1947) и Екатерина Граббе (07.09.1954-11.07.1998) связали свои судьбы с Театром на Таганке, снимались в кино.

Похоронен Николай Граббе в Москве на 19-м участке Ваганьковского кладбища.