Những cổng và tường bao xoắn ốc như mê cung của lâu đài được thiết kế một cách tài tình để làm rối trí binh lính đối phương. Bước vào cổng chính, ta có cảm giác dường như đang rời xa khỏi lâu đài. Càng tiến về phía tháp chính, ta càng thấy nó rời ra xa. Thậm chí ngay cả tháp chính (donjon), với bộ mái ngói có đầu hồi tuyệt đẹp, cũng được thiết kế đề lừa gạt đối phương. Từ bên ngòai, có vẻ như nó có năm tầng, nhưng thật ra nó có tới sáu tầng cộng thêm một tầng hầm.
Lịch sử xây dựng lâu đài có thể tóm tắt như sau: Năm 1333, Norimura Akamatsu, lãnh chúa vùng Harima, xây dựng một pháo đài, và tới năm 1346, con trai của ông, Sadanori, xây thêm các khu nhà ở và công trình khác. Sau đó các lãnh chúa Kotera và Kuroda chiếm quyền kiểm soát vùng này. (Một số nhà nghiên cứu cho rằng lâu đài chính đã được xây vào giữa thế kỷ 16, khi Shigetaka Kuroda và con trai, Mototaka Kuroda nắm quyền trong vùng). Khi Kanbei Shigetaka Kuroda kiểm soát vùng này, Hideyoshi Hashiba đã tới lâu đài này để xây cho riêng mình một lâu đài ba tầng. Về sau Hideyoshi Hashiba và sau nữa là Iesada Kinoshita đã thành công trong việc kiểm soát lâu đài. Sau cuộc nội chiến Sekigahara, lãnh chúa Terumasa Ikeda, con nuôi của Shogun Ieyasu Tokugawa đã tới lâu đài này để điều hành. Thu nhập hàng năm của ông là 520.000 koku gạo (1 koku là 5 giạ gạo - tức 180 lít gạo). Năm 1601, Terumasa Ikeda bắt đầu cho đào 3 con kênh quanh lâu đài và hoàn tất toàn bộ hệ thống lâu đài với 5 tầng như ngày nay vào năm 1609. Công việc này kéo dài trong chin năm trời với 25 triệu ngày công. Con kênh ngoài cùng ngày nay nằm ngay phía bắc của ga tàu JR Himeji. Sau thời Ikeda, Tadamasa Honda xây thêm một số công trình ở cánh phía Tây. Thu nhập hàng năm của ông là 150.000 koku gạo. Cái lâu đài tuyệt vời mà ta ngắm nhìn ngày nay đã được hoàn tất toàn bộ vào năm 1618. Sau thời của gia tộc Honda, có các lãnh chúa khác như gia tộc Matsudaira, gia tộc Sakakibara v.v. Cuối cùng Tadazumi Sakai nắm quyền lãnh chúa năm 1749. Hậu duệ của ông có tham gia vào cuộc Cải cách Meiji (Minh Trị) năm 1868, khi thời đại Shogun (Mạc phủ) đã chấm dứt.
Đặc biệt trong lâu đài còn có một ngôi trường do lãnh chúa Sakai xây dành để giáo dục các con mình. Khi Tadaumi Sakai chuyển tới Himeji, ngôi trường cũng được chuyển theo từ Maebashi tới Himeji. Ban đầu trường được xây tại phía Bắc cổng Shosha, về sau chuyển về dựng phía trước cổng Otemon năm 1816.
Năm 1931, lâu đài Himeji được công nhận là Di sản Quốc gia, là một trong bốn lâu đài tại Nhật Bản được nhận vinh dự này. Các công trình trở thành Di sản Quốc gia và được bảo tồn gồm ngôi tháp chính, các tháp khác nhỏ hơn và các hành lang liên kết cùng 27 “yagura” (kho tên đạn, lương thực), 15 cổng và 100 mét tường. Một phần của con kênh giữa và toàn bộ con kênh trong cũng được giữ lại y nguyên như trong thời kỳ trung cổ. Nhìn chung, lâu đài Himeji là một công trình được bảo tồn tuyệt hảo và trên hết, nó là đại diện xứng đáng cho tất cả các lâu đài trên khắp Nhật Bản. Năm 1993, đây là công trình duy nhất ở Nhật được lọt vào danh sách Di sản Văn hóa Thế giới của UNESCO.