После окончания строительства Эрмитажного театра зодчий просил разрешения «ввиду. многочисленной семьи и бед, вызванных болезнями», поселиться в одном из помещений этого здания, обращенном окнами на Неву. Разрешение было получено. Там он и жил до конца своих дней.
До 1793 года спутницей жизни Кваренги оставалась Мария Фортуната. Их первенец - дочь Теодолинда оставалась в Италии и воспитывалась в одном из миланских монастырей. Из детей, родившихся в Петербурге, две девочки умерли во время эпидемии 1788 года. В следующем году родился сын Федерико, а еще год спустя - Джулио, который, как и отец, стал архитектором и сыграл важную роль в популяризации его произведений.
В 1793 году в семье Кваренги произошла трагедия: во время родов скончалась его жена, оставив на руках беспомощного отца новорожденную девочку и еще четырех малолетних детей. К уходу за ними, по его словам, Кваренги «был совершенно не приспособлен». Соболезнования друзей, знакомых, сотоварищей по работе и даже самой императрицы мало облегчали участь овдовевшего Кваренги. Он решил вместе с детьми поехать в Бергамо, чтобы быть ближе к родным и семье Маццолени. Зимой 1793—1794 годов зодчий покинул Петербург.
Осенью 1796 года Кваренги вернулся. Он вступил во второй брак с Анной Катериной Конради. Анна Конра- ди была лютеранкой, и потому к этому браку родственники в Италии отнеслись отрицательно. Кваренги с новой женой в Италию так и не поехал.
К тому времени известность Кваренги как выдающегося архитектора двора Екатерины II вышла за пределы России. Это выразилось в том, что 26 января 1796 года он был избран членом шведской Королевской академии искусств. Высокое избрание было осуществлено не без участия его шведских друзей - скульптура Т. Сергеля и архитекторов Ф.М. Пипера и Ф. Блома. Кваренги часто посылал им свои чертежи и рисунки, держа их тем самым в курсе своих работ.