文久二年四月隠居して家督を養子藤堂和泉守（とうどういずみのかみ）の三男安斐（やすあや）に継がしめ、その年五月老中首席に列したが十一月に至って謹慎を命ぜられた。
下谷叢話 (新字新仮名) ／ 永井荷風(著)
宮（みや）から舟で津（つ）へ上がる。藤堂和泉守（とうどういずみのかみ）どの、三十二万九百五十石（ごく）とは、ばかにきざんだもんだ。
丹下左膳：02 こけ猿の巻 (新字新仮名) ／ 林不忘(著)