由比若宮(元八幡）は、源頼義が子の源義家と、永承６年（西暦１０５１年）～康平５年（西暦１０６２年）の所謂「前九年の役」で奥州の豪族・安倍氏との戦いに臨むに当たり、源氏の氏神である京都の石清水八幡宮に戦勝祈願を行い、平定した翌年の康平６年（西暦１０６３年）に報賽の意を込め、由比の地（由比郷）に京都・石清水八幡宮を勧請し、祀ったのが始まりといわれています。
治承４年（西暦１１８０年）１０月６日安房から大軍を引き連れて鎌倉入りを果たした源頼朝は、翌日、源氏の氏神を祀ったこの源氏ゆかりの八幡宮を最初に訪れています。
同年１０月１２日に源頼朝がこの地の八幡宮を小林郷北山に 遷座しました（現在の鶴岡八幡宮）が、由比の地の社殿は残り、その後も祭祀は続いて現在に至っています。
材木座は、幕府が開かれる以前から源氏にとってゆかりある土地でした。平安時代に東国で平忠常の乱が起こりこれを鎮圧したのが清和源氏の流れの源頼信で、この時から既に源氏と東国武士団の関係は築かれ始めていました。
源頼信は河内守に任ぜられ、河内源氏と呼ばれています。領地には壺井八幡宮や応神天皇陵と伝わる御陵があったため、特に、八幡大菩薩（応神天皇）を敬い、永承元年（西暦１０４６年）孫義家の元服に当たり、石清水の神前に告文を捧げ「八幡大菩薩は頼信自身の氏祖で、頼信の子孫は石清水の氏子となること」と源氏の氏神への誓いをしています。
吾妻鏡に「治承４年１０月７日に頼朝が遥に鶴岡八幡宮を礼拝した。」とあるのは現在の由比若宮で、八幡宮が現在の場所に遷った後も鶴岡八幡宮という名前がそのまま引き継がれたため、それ以後はここを元八幡というようになりました。元八幡は都市としての鎌倉がここから出発したということを示す貴重な神社です。