Константин Александрович Варламов родился 23 мая 1848 года в семье композитора А. Е. Варламова, умершего в тот же год. После смерти отца семью ждала нищета: назначенная матери пенсия не превышала 18 рублей в месяц — так что Варламов не смог получить приличного образования, тем более актёрского.

В юности он стал участвовать в любительских спектаклях. В 1867 поступил в театр А. М. Читау-Огарёвой в Кронштадте. Она, а также актриса А. И. Шуберт, ученица М. С. Щепкина, оказали большое влияние на формирование таланта Варламова. В течение 8 лет Варламов работал в провинции (Вильно, Гельсингфорс, Саратов, Казань, Нижний Новгород и др.), выступал в драмах, комедиях, водевилях, опереттах в комическом амплуа простака. В 1874 году занял положение премьера в театре Ф. К. Смолькова в Нижнем Новгороде, одном из лучших провинциальных театров того времени.

В 1875 году благодаря А. А. Нильскому и Н. Ф. Сазонову он поступает в Александринский театр, став одним из ярких водевильных актёров труппы. Играл в спектаклях самых разных жанров, в том числе опереттах, балетах, дивертисментах. Для игры Варламова были характерны оптимизм, жизнерадостность, стихийный комизм, подчёркнутая театральность и одновременно достоверность. Критики называли его «царём русского смеха».


Варламов начинает как чисто комедийный актёр в традициях Я. Д. Шумского, А. Г. Ожогина, В. И. Живокини и др. В его игре смелая буффонада, злободневные выпады сочетались с психологически глубокой разработкой характеров, мастерством речевой характеристики образа, тонким лиризмом. Варламов был и настоящим мастером импровизации: он позволял себе во время спектакля беседовать со зрителями, придумывал свои шутки, («отсебятины»), исполнял куплеты собственного сочинения. Критики обвиняли Варламова во «всеядности»: он соглашался на любые роли, в его репертуаре много классических русских пьес и пьес «лёгкого» жанра: оперетт, водевилей, фарсов. Всего на сцене Александринского театра Варламов сыграл более 1000 ролей, в том числе оперных и балетных партий. В «Ежегоднике Императорских Театров» 1900 года перечислено 640 только главных его ролей. В числе лучших — Варравин («Дело» А. В. Сухово-Кобылина), Яичница («Женитьба» Н. В. Гоголя), Большов и Юсов («Свои люди — сочтёмся» и «Доходное место» А. Н. Островского), Сганарель («Дон-Жуан» Мольера в постановке Мейерхольда) и др.


Популярность Варламова была необыкновенно велика: зрители ценили его необыкновенный голос, богатство интонации, мимики. На спектаклях с его участием зал был полон.

«Псковский городской листок» о гастролях Варламова в Пскове в 1906 году:
«Публика принимала высокопоставленного артиста восторженно. Эти два вечера, которые он гостил у нас, превратились в сплошной триумф по его адресу. Чуть ли не каждый выход и уход сопровождались громом аплодисментов всего зала» Об артисте рассказывали многочисленные байки и анекдоты. В Петербурге даже были выпущены папиросы «Дядя Костя» с его портретом. Театральная энциклопедия отмечала, что на весь Петербург славились так называемые «Варламовские капустники» — весёлые вечера с представлениями в доме актёра К. А. Варламова для друзей и знакомых.


В 1880-е годы К. А. Варламов тяжело заболел слоновой болезнью, утратив способность передвигаться. Однако до конца жизни он продолжал участвовать в театральных постановках, играя преимущественно сидя, и оставался любимцем публики. Константин Варламов скончался в Петербурге 2 (15) августа 1915 года и был похоронен на Новодевичьем кладбище. В 1916 году было сделано надгробие в виде гранитной неоклассической часовни (архитектор В. И. Дубенецкий, скульптор Б. О. Фредман-Клюзель).