「大井の大仏」として親しまれている養玉院は、寛永１２年（１６９８）上野寛永寺の塔頭三明院として、天海僧正を開山に、天海の弟子賢海が創立した寺に始まる。寺は元禄１１年（１６９８）に下谷（台東区）に移転したが、この頃に対馬藩主の宗家の菩提寺となり養玉院と寺の名を改めたと伝えられる。さらに天正１２年（１８５４）に芝高輪にあった如来寺と合併して、明治４１年（１９０８）に現在の場所に移転したものである。 如来寺は、寛永年間に木食但唱が建てた寺で、五智如来像のあったことから「高輪の大仏（おおぼとけ）」と呼ばれていた。