Карл Карлович Рахау родился 12 июня 1830 года в Петербурге в семье биржевого маклера. Имевший склонность к рисованию юноша поступил в Академию художеств. Его педагогом и наставником был А.А. Тон. Учебу в Академии Рахау закончил в 1857 году с золотой медалью, что давало право на заграничную пенсионерскую поездку для продолжения образования. В этом же году Рахау уезжает за границу. Его путешествие продолжалось семь лет. За это время молодой человек посетил Испанию, Францию, Италию, где с увлечением изучал старинную и современную архитектуру. Вместе с молодым зодчим К.К. Кольманом Рахау составил проект реставрации дворца Альгамбра близь Гранады. Эта работа была отмечена золотой медалью на Парижской выставке 1862 году. В 1864 году Рахау возвращается в Петербург, и в этом же году за свои пенсионерские работы получает звание академика архитектуры. В 1866 году его зачислили в Техническо-строительный комитет министерства внутренних дел, а через год — в Строительное отделение Санкт-Петербургского губернского правления. В 1871 году Рахау перевели в городскую управу на должность старшего техника. С 1867 года началась его преподавательская работа в Академии художеств. Помимо преподавательской работы архитектор занимался устройством скульптурного отдела Музея Академии и отделкой ее Малого конференц-зала.
В 1870 году Рахау получает звание профессора архитектуры и становится членом Совета Академии. С 1873 года он входит в состав Строительного комитета Канцелярии по учреждениям императрицы Марии. Рахау был одним из членов-учредителей Санкт-Петербургского общества архитекторов. Практическая деятельность архитектора отличалась большим разнообразием. В числе первых его работ — часовня-усыпальница для графов Левашовых в Александро-Невской лавре. Ему также принадлежал проект Сенного рынка, который не был осуществлен. Рахау проектировал один из самых великолепных петербургских особняков — дом владельца чугунолитейного и механического заводов Ф. К. Сан-Галли, Литовский проспект, дом 62. Помимо самого здания по рисункам архитектора выполнялись все детали и предметы интерьера, выдержанные в разных стилях. Комфортабельный особняк был оборудован по последнему слову техники и оснащен самой совершенной системой отопления и вентиляции.
Творческое содружество архитектора с заводчиком на этом не закончилось. Рядом с особняком в 1875-1876 годах архитектор построил жилой дом и контору, Лиговский проспект, 58 и 60. Еще один дом для Сан-Галли Рахау построил на Пушкинской улице, 9. В 1877-1878 годах Рахау возводит и доходный дом для заводчика Л. Е. Кенига, Большой проспект Васильевского острова 15/5. Помимо сооружения новых зданий архитектор много занимался перестройкой уже существующих, приспосабливая их к современным техническим новинкам и занимаясь их внутренней отделкой. К таким зданиям относятся дом генерального консула Баварии Э. М. Мейера на Английской набережной, 30, дом И. Ф. Громова, Дворцовая набережная, 8 — Миллионная улица, 7, дом князя В. А. Меншикова, Английская набережная, 54.
Тесно связанный с жизнью немецкой общины, Рахау восстанавливал в 1872-1874 годах пострадавшую от пожара немецкую реформатскую церковь на набережной Мойки, которая была возведена по проекту Г.А. Боссе. Архитектор участвовал также в переделке Аничкова дворца для наследника престола Александра Александровича — будущего императора Александра III. По рисункам Рахау были установлены новые фонари у Александровской колонны на Дворцовой площади в 1876 году и выполнена ограда Литейного моста. Практическая деятельность архитектора продолжалась недолго — около пятнадцати лет. В 1880 году Рахау уехал для лечения в Германию, город Висбаден. На обратном пути в Россию у него случился приступ психического расстройства, и 27 июня 1880 году в возрасте пятидесяти лет архитектор скончался в больнице в городе Зальцбурге.