Antes do local ser a casa do imperador do Japão, era a residência de um xogum. Depois da Segunda Guerra Mundial, ele foi reconstruído com o seu esplendor original.
Durante o ano todo, o ponto alto de uma viagem a Tóquio é uma caminhada por esse calmo e colorido jardim. As flores das cerejeiras são a principal razão de sua popularidade.