松尾小笠原氏から分かれた小笠原長巨（おがさわらながなお）は、慶長６年（1600）に旗本として伊豆木に封じられ、まもなくこの居館を建てて代々ここに居住した。居館全体は一種の城郭をなし、桝形の城門・物見櫓ほか広間・居間・台所など数多くの建物を配していたが、明治５年（1872）に諸建物は取り壊され、書院だけが残された。その際、御表の玄関を引き移して書院の正面入口とした。玄関の部分は、間口3・75メートル、奥行3・44メートルの向唐破風造、こけら葺の建物で、虹梁上に三階菱の定紋を入れた本蟇股をおく。

書院は入母屋造、妻入、こけら葺の建物で、玄関より南側は崖の上に張り出した懸造となっている。内部は田の字形の四室からなり、三方に一間通の入側をめぐらしている。

南側奥の「書院間」は十一畳で一間半の床の間と花頭窓付の付書院がつき、格天井とする。入側境は腰高障子とする。その手前の「次の間」は十五畳で、三間の床の間をつけ、書院間との境に大菱組の欄間を入れ、格天井としている。北側奥の「居間」は十一畳で一間半の床がつき、棹縁天井。手前の「茶間」は十二畳で、棹縁天井となり、入側の長押上に竹ノ節欄間をつけ、外回りには中敷居を入れて腰高障子を入れて雨戸を立てる。内部の大菱欄間や格天井などに桃山風の豪壮さを伝え、近世初期の地方武家住宅を知る遺構として貴重である。