Die Sophiengemeinde gründete 1713 ihren ersten Friedhof an der Sophienkirche und legte 1798 einen weiteren Friedhof vor dem Hamburger Tor an. Aufgrund gesetzlicher Vorgaben und des starken Wachstums Berlins wurde 1827 ein neuer Friedhof an der Bergstraße erforderlich, während der alte Begräbnisplatz verkauft, entwidmet und später mit der Ersten Berliner Volksbadeanstalt bebaut wurde.
Der neue „II. Sophien-Friedhof“ wurde 1852 erweitert und 1865 durch eine Sichtachse mit dem Lazarus-Kranken- und Diakonissenhaus verbunden. Beim Bau der Berliner Mauer 1961 verlief die Friedhofsgrenze direkt an der Sektorengrenze, wodurch ein Teil des Geländes für Grenzanlagen genutzt wurde. Der ehemalige Todesstreifen blieb nach der Wiedervereinigung erhalten und gehört heute zur Gedenkstätte Berliner Mauer an der Bernauer Straße.