多量の塼仏が出土したことから、川原寺同様仏堂を三尊塼仏で飾っていたと推測されている。『法隆寺伽藍縁起併流記資財帳』や『上宮聖徳法王帝説』などの文献は、橘寺と聖徳太子を結びつけるが、創建の事情は語られておらず、明らかではない。一般的に太子がお生まれになった御寺とされている。境内には二面石と呼ばれる石造物があるが、その顔はそれぞれ人の心の善悪を象徴しているといわれている。また橘寺の名前は、垂仁天皇のため田道間守が持ち帰った橘の実を植えたことに由来する。