Japończycy uważają, że zamek Matsumoto strzeże duch pewnej kobiety, i dlatego każdy miesiąc, 26 marca, tu zostawiali i pozostawić do niej ryż. Według legendy, 26 stycznia 1618 roku jednemu z wartowników w zamku ukazał się duch w postaci kobiety w pięknej kimono i kazał pozostawić na tym samym miejscu co miesiąc 600 kilogramów ryżu. Pomaga to ofiara, czy nie, trudno powiedzieć, ale zamek bezpiecznie przetrwała trzęsienia ziemi, jego minęły pożary, i nawet wtedy, gdy rząd postanowił rozebrać go, a uzyskane drewno i żelazo sprzedać, zamek uratowali mieszkańcy, kupił go. Miłość ludności i pomaga w walce z czasem: w 1902 roku, kiedy to główna wieża-тенсю stała się schylać, dyrektor szkoły Kobayashi Унари zainicjował zbieranie pieniędzy i rozpoczął kampanię naprawy zamku.

Zamek Matsumoto został wzniesiony w końcu XVI wieku na rozkaz Toyotomi Hideyoshi. Za swoje czarne ściany i boczne wieże, podobne na rozprzestrzenianie skrzydła, zamek zawdzięcza swoją drugą nazwę – Карасу-jo, lub Zamek kruka. Swoją oficjalną nazwę zamek zyskał po tym, jak powstało nowe lenno Matsumoto. Aż do okresu Meiji zamek należał do 23 słudzy, którzy reprezentowali sześć feudalnych klanów.

Zamek stanowił wojskową twierdza, ze skomplikowaną strukturą wewnętrzną i zewnętrzną obronnych budowli – potrójną fosą i wysokimi wałami ziemnymi. Strona główna wieża ma sześć pięter, choć z zewnątrz można zobaczyć tylko pięć. Wszystkie schody w zamku znajdują się chaotycznie i nie są powiązane między sobą, poza tym, są bardzo strome i wąskie. To było zrobione po to, aby maksymalnie utrudnić wrogom poruszanie się po zamku.

Na drugim piętrze głównej wieży znajduje się osiem pokoi, przeznaczonych na dla samurajów, którzy bronili zamku. Dziś znajduje się tu muzeum broni Teppo Gura, w którym prezentowane są bronie i zbroje z kolekcji Акахане Митидзиге, mieszkańca i eksperta ds. broni palnej. Powstawały w ciągu 30 lat i został ufundowany przez miasto, jej głównymi wartościami są muszkiety XVI-XVII wieku.

Trzecie piętro wieży nazywany jest "ciemny", bo nie ma okien. Ukryty piętro używany do przechowywania żywności i amunicji. Czwarte piętro, wręcz przeciwnie, najbardziej jasny i przestronny z wszystkich, z wysokimi sufitami – podobno ten poziom jest przeznaczony dla samego słudzy. Piąty i szósty poziomy dzięki dużej ilości okien zapewniały widoczność okolic.

Jedyny budynek w całym kompleksie, przeznaczona nie dla wojskowych, a dla spokojnych zajęć – to wieża Цукими-fuu z pawilonem podziwiać księżyc. Jest on zbudowany na zasadzie werandy, ma ogrodzenia koloru czerwonego. Pawilon zapraszali gości, aby bawić i pokazać piękne widoki wokół zamku.