開基は日蓮の直弟子である日昭上人で、１３世紀末、鎌倉時代の武将工藤祐経の屋敷跡に法華堂を建立したのが始まりです。 弘安７年（西暦１２８４年）に法華寺となり、後に伊豆玉沢（三島市）に移りましたが、元和７年（西暦１６２１年）に日潤によってこの地に再建されたのが、現在の実相寺だと伝えられています。明治の初めに大火で焼失し、今の本堂は、その後再建された、山門の奥にこぢんまりと建つお寺です。
開山の日昭上人は、曽我五郎・十郎兄弟によって仇討ちされた鎌倉時代の武将・工藤左右衛門祐経の孫に当り、「六老僧」と呼ばれる日蓮直弟子６人の筆頭だった方です。日蓮上人が佐渡に流されている間、一門を教化するために法華堂を建て、教えを守り続けたと伝えられています。寺の墓地には日昭上人が眠る墓があります。
曾我兄弟の仇討ちは、鍵屋の辻の決闘、赤穂浪士の討ち入りと並んで「日本三大仇討ち」 と称されています。初夢で見ると縁起がいいとされる「一富士、二鷹、三茄子」、一説には日本三大仇討ち（富士の裾野の曽我兄弟、鷹紋の赤穂浪士、茄子紋の「鍵屋の辻」の荒木又衛門）から取られたものという話しがあります。
仇討ちの発端は、兄弟に討たれた工藤祐経と兄弟の祖父にあたる伊東祐親を所領争いにあります。当時の情勢は、鎌倉幕府が定めた御成敗式目による公平な裁判もない時代で、所領争いは当事者同士で解決しなければなりませんでした。工藤祐経は、自分の所領を安堵するためには、兄弟の叔父伊東祐親を除く必要があると考え、安元２年（西暦１１７６ 年）１０月、郎党の大見小藤太・八幡の三郎は狩に出た祐親を待ち伏せ、弓矢で祐親と嫡男の河津祐泰を狙いました。結果、矢に当たった祐泰が死に、刺客２人は暗殺実行後すぐに伊東方の追討により殺されました。
祐泰の死後、妻の満江御前は曾我祐信と再婚、残された祐泰の忘れ形見、一萬丸と箱王は母親と共に引き取られ、曾我の里で成長しました。 その後、治承・寿永の乱で平家方についた伊東氏は没落し、祐親は頼朝の命を狙う一方、 祐経は早くに源頼朝に従って御家人となり、頼朝の寵臣となりました。 祐親の孫である曾我兄弟は厳しい生活の中で成長し、兄の一萬丸は、元服して曽我の家督を継ぎ、曾我十郎祐成と名乗り、弟の箱王丸は、父の菩提を弔うべく箱根権現に稚児として預けられました。
文久３年（西暦１１８７年）、源頼朝が箱根権現に参拝した際、箱王丸は随参した敵の工藤祐経を見つけ、復讐しようと付けねらいますが、敵を討つどころか、不憫に思った祐経に諭されて「赤木柄の短刀」を授けられます。その後、箱王丸は出家を嫌い、箱根を逃げ出し、縁者にあたる北条時政を頼り、烏帽子親となってもらって元服し、曾我五郎時致と名乗りました。
建久４年（西暦１１９３年）５月、源頼朝は、富士の裾野で盛大な巻狩りを開催し、そこに工藤祐経も参加していました。巻狩り最後の夜、曾我兄弟は祐経の寝所に押し入り、酒に酔って遊女と寝ていた祐経を討ち果たしましたが、頼朝の寝所にも押し入ったところ、兄十郎は騒ぎを聞きつけて集まってきた武士たちの一人、仁田忠常に討たれ、弟の五郎は、女装した五郎丸によって取り押さえられ、翌日、斬首されています。
工藤祐経は早くに京に上り平清盛の長男重盛に仕え、左衛門尉という地位についていたほど文武にすぐれていた。頼朝の御家人となり文治２年４月８日八幡宮の舞殿で静御前が舞った時、工藤祐経が鼓を打ったという話は有名です。風雅のたしなみ深く和歌、舞楽などにも通じていました。これも京で暮らしていたからでしょう。大河ドラマ「鎌倉殿の１３人」に出てきた工藤祐経の無様さにはおどろきました。三谷幸喜は工藤祐経の扱いには苦労したそうですが、なにも無理に登場させることはなかったと思われます。