落柿舎は、松尾芭蕉門下の向井去来（蕉門十哲の一人）が庵を結んだ事が始まりである。商人が柿を買う約束をしていたが一夜にして柿が落ちてしまった事が落柿舎の名の由来と言われている。 門をくぐってすぐに本庵がありその周辺には次庵、松尾芭蕉・向井去来・高浜虚子の句碑などが点在する。庭園内には、俳句をその場で書いて投函できる投句箱が設置されている。