Настоящее имя - Храпинович Золман Ефраимович.

Учился в еврейской школе в Себеже, в тринадцатилетнем возрасте опубликовал в детской газете на идише стихи о коллективизации. В 1932 году переехал к брату в Москву. В этом же году поступил в фабрично-заводское училище Московского электрозавода имени В. Куйбышева. В училище начал играть в театре рабочей молодёжи (ТРАМ) электриков. В 1934 году, окончив ФЗУ, пришёл работать на Метрострой электромонтажником, продолжая играть в театре. В 1935 году был переведён в профессиональный состав театра. В 1936—1937 годах играл также в Театре кукол при Московском Дворце пионеров.

В 1939 году перешёл в Московскую государственную театральную студию («Арбузовская студия»), где проработал до начала войны. Первоначально выступал под своей настоящей фамилией Храпинович, затем под артистическим псевдонимом Гердт
В кругу друзей и близких, а также в театральном фольклоре известен под уменьшительным именем Зяма

Когда началась Великая отечественная война, Зиновий Гердт ушел добровольцем на фронт. Был старшим лейтенантом саперной роты. В феврале 1943 года под Белгородом он был тяжело ранен в ногу.

До 25 июня 1945 года работал в Московском театре молодёжи при дирекции фронтовых театров. В 1945—1982 годах — актёр Центрального театра кукол. Гастролировал с театром в Японии, США и других странах, причём конферанс в кукольном спектакле «Необыкновенный концерт» вёл на языке страны, в которой проходили гастроли. В итоге Гердт сыграл в этом представлении роль конферансье Эдуарда Апломбова пять с половиной тысяч раз на 24 языках мира. Был вынужден уйти из театра из-за конфликта с руководителем.

В кинематограф вошёл как актёр дубляжа, долгое время оставаясь за кадром. В дальнейшем много снимался в кино, в основном, в эпизодических ролях. В 1990-х гг. был ведущим популярной телепередачи «Чай-клуб».

Народный артист СССР (1990).

Похоронен на Кунцевском кладбище.

В 2006 году на родине актера, в городе Себеже Псковской области, к 90-летию со дня его рождения и к 10-летию со дня его смерти был открыт памятник.