ในยุทธการนากาชิโนะ (ปี 1575) ท่านสุกานุมะ ซาดาทาดะ ได้รับใช้ท่านทาเคดะ คัตสึโยริในช่วงการบุกยึดปราสาทนากาชิโนะ
แต่ได้รับความทุกข์ทรมานใหญ่หลวงในช่วงยุทธการ ท่านคัตสึโยริได้หลบหนีออกมาจากสมรภูมิและร่วมทางโดยท่านซาดาทาดะ ได้เข้าไปเพื่อหลบภัยที่ปราสาทดามิเนะของท่านซาดาทาดะ
เมื่อเดินทางไปถึง พวกท่านพบว่า ลุงของท่านซาดาทาดะคือท่านสุกานุมะ ซาดานาโอะ และผู้รับใช้ของกลุ่มคืออิมาอิซูมิ โดเซ็น ได้แปลพักตร์ไปเข้ากับกลุ่มโอดะ
และปิดประตูปราสาทใส่หน้าท่านซาดาทาดะและท่านคัตสึโยริ พวกท่านถูกบังคับให้หลบหนีไปยังปราสาทบูเซ็ตสึ ซึ่งอยู่ห่างออกไป 20 กิโลเมตร

เพื่อล้างแค้นการทรยศนี้ ท่านซาดาทาดะจัดฉากการตายของท่าน จึงทำให้การรักษาความปลอดภัยที่ปราสาทผ่อนคลายลง
ในเช้าตรู่วันหนึ่ง ท่านซาดาทาดะและกองทัพซึ่งภักดีเข้าโจมตีปราสาท ยึดป้อมปราการและจับตัวลุงของท่าน ท่านซาดานาโอะ และอิมาอิซูมิ โดเซ็น
ทั้งสองถูกประหารชีวิตประจานในพื้นที่สาธารณะใกล้ปราสาท พร้อมกับคนทรยศอีก 100 คน
ไม่ถึงหกปีหลังจากนั้น กลุ่มทาเคดะก็ถูกทำลายไป ด้วยความกลัวในอำนาจที่กล้าแข็งขึ้นของกลุ่มโทคุกาวะ
ท่านซาดาทาดะละทิ้งปราสาทดามิเนะและล่าถอยไปสู่อินะ ซึ่งปัจจุบันคือภาคใต้ของจังหวัดนากาโนะ
ภายในไม่นานปราสาทดามิเนะก็ถูกยึดโดยกลุ่มโทคุกาวะ ซึ่งก่อตั้งอีกสาขาของกลุ่มสุกานุมะและผู้รับใช้ที่ไว้ใจได้ให้เป็นผู้ดูแลปราสาท

ตั้งอยู่บนเส้นทางอินะไคโด เส้นทางสำคัญเชื่อมต่ออินะ นากาชิโนะ และอิวามูระในมิโนะ (จังหวัดกิฟุ) และโคโรโมะ (ปัจจุบันคือเมืองโทโยตะ) และไปยังฮามามัตสึ ปราสาทดามิเนะครอบคลุมพื้นที่สี่เหลี่ยมจัตุรัสความกว้างด้านละ 200 เมตร
คูเมืองแห้งและเขื่อนดินล้อมปีกตะวันตกของปราสาท พร้อมด้วยกำแพงปราสาทแบบมีทางเดินเรียกว่า ""คุรุวะ"" กำแพงชั้นบนสุด ""ฮอนมารุ"" เป็นรูปวงรี และเป็นที่พักและห้องทำงานของขุนพลผู้ครองปราสาท หอคอย ห้องพักผู้รับใช้ ป้อมยาม และอาจมีคอกสัตว์และครัว ปีกตะวันออกของปราสาทไม่ได้เสริมการป้องกันมากนัก
เพราะปกป้องโดยหน้าผาธรรมชาติสูงชันและแม่น้ำโทโยคาวะที่อยู่ต่ำลงไปเบื้องล่าง

แม้ปราสาทจะถูกละทิ้งไปในยุคเอโดะ ซากปราสาทยังอยู่ในสภาพที่แทบจะสมบูรณ์
ช่วยให้เกิดการวิจัยและการก่อสร้างใหม่ของโครงสร้างต่างๆ
รวมไปถึงพระราชวังโกเต็น หอคอย ประตู และกำแพง
เพื่อจะสรรค์สร้างปราสาทยุคเซ็นโกคุที่งดงามกลับขึ้นมาใหม่ได้