小高い丘の上にあるこの墓地は、京浜東北線、山の手線、そして環状六号線に挟まれた三角地帯の中にある。工場地帯の中とも思えないうっそうとした木立は、品川区の保存樹木となっている。この樹林の入口の石段を上ると、まず入口に、亀の台座の上にのせられた細長い石碑が目に入る。これは開山沢庵和尚塔で、角柱型の塔の四面に細かい文字がびっちりと刻まれている。
＜沢庵和尚の墓＞
この石碑を右に見て少し行くと、左奥に沢庵和尚の墓がある。直径約１メートル、高さ約５０センチの扁平な自然石のみを台石の上に置いた簡素なもので、四方に低い石垣をめぐらしている。大正１５年に国の史跡に指定されているが、この墓の形は沢庵和尚の遺言によってつくられたもので、和尚の人格をよく表している。この墓地は、かつて東海寺方丈の裏山で、江戸時代までは沢庵の墓程度だけがあったが、明治に入り各塔頭が廃絶してその墓地がここに集められ、現在のように、墓碑が林立するたたずまいになったといわれている。
＜千利休の追遠塔＞
沢庵の墓地の入口、向かって左側に千利休の追遠塔がある。表面に「利休居士追遠塔」の文字を刻んだもので、天正１９年（１５９１）に没している利休の二百回忌を挙行したその報恩のために造立されたものである。
＜渋川春海の墓＞
この大山墓地には名墓が多い。そのひとつは、墓地のいちばん奥で新幹線の線路に接したところの、渋川春海とその一族の墓地である。渋川春海は貞享暦の編者として有名で、はじめ安井春哲、そしてのち算哲などと称し、さらに渋川姓に改めている。江戸時代中期の学者で、とくに天文暦術の学に造詣が深く、その暦は貞享元年（１６８４）、幕府に採用されて広く用いられた。正徳五年（１７１５）に７７歳で没しており、一列に並んだ一族の墓の左端に太虚院透雲紹徹居士の法号を刻んだ墓碑が立っている。これは品川区認定文化財になっている。
＜井上勝の墓＞
渋川春海の墓から新幹線の線路に沿って進むと、東海道線との分岐点のところ、墓地の北の隅には初代鉄道頭井上勝の墓がある。井上勝は長州藩士で、工部省鉄道局長から初代鉄道頭になり、子爵に叙せられている。明治４３年に没しており、夫人と共に埋葬されている。この墓は鉄道記念物に指定されている。
＜西村勝三の墓＞
井上勝の墓から東海道線の線路に沿って戻ると、線路に面して西村勝三の墓がある。西村勝三は明治初年に活躍した実業家で、はじめ製靴・製革業を営んでいたが、殖産興業を目的とした政府の官営工場の払い下げに積極的に応じ、この墓地の入口にあった品川硝子製造所を買収してこれを運営し、さらに白煉瓦工場を買収して品川白煉瓦製造所の基礎をつくるなど、日本の近代工業化の一翼を担った。明治４０年（１９０７）に没し、事業に縁の深い東海寺墓地の一隅に葬られた。低い石棚に囲まれた墓域の中に「西村勝三之墓・盛徳院殿開成之凱大居士」と刻んだ墓碑が立っている。
＜加茂真淵の墓＞
西村勝三の墓からさらに路線に沿って入口の近くまで戻ると、石塀で仕切った広い墓域の中に加茂真淵の墓がある。墓域の中に石の鳥居が立っているのが目印となる。この墓も沢庵の墓と同じように自然石で、自然石を数個ならべた上に一回り大きい自然石をのせたものである。墓の前には左側に「加茂縣主大人墓」、右側に「贈従三位加茂真淵卿之墓」と記した碑が建てられている。また、手前の両側には左に享和元年（１８０１）に建てた「加茂真淵大人碑」、明治２１年（１８８８）に建てた「加茂翁墳墓改修の碑」がある。加茂真淵は江戸時代の国学者で、元禄１０年（１６９７）、遠江国（静岡県）の神宮の家に生まれた。享保１８年（１７３３）、京都に上って荷田春満の門に入ったが、師の死にあって国もとに帰り、ついで寛保３年（１７４３）、江戸に出て多くの門人を育成した。さらに延享３年（１７４６）、田安宗武に仕え『五意考』をはじめ数多く著書を著している。契沖・春満の学風をうけた万葉学者で、国学の四大人の一人とされ、『万葉集』をもとにして古代精神の解明に一生を費やした。明治六年（１７６９）死去し、東海寺塔頭小林院の山上に葬られた。享和元年（１８０１）の加茂真淵大人碑は、門人加藤千蔭が師の追悼の意味で建てた碑で、千蔭自身が碑文を書いている。全文万葉仮名で記された長文の碑文が刻まれている。この墓は大正１５年（１９２６）、国指定の史跡となっている。