Terbentuknya Taman Gaya Jepang tidak terlepas dari rangkuman sejarah Jepang di masa lalu, dimana pada abad pertengahan sering terjadi perpecahan antar suku. Untuk menghindari hal tersebut, pimpinan dari masing-masing suku membuat suatu tempat berlindung yang dapat melindungi keluarganya dari serangan musuh. Untuk lebih menyamankan lokasi tersebut mereka membuat suatu taman sederhana dengan mengedepankan unsur-unsur alam sebagai konsepnya.

Seiring dengan berlalunya masa, di zaman modern ini dimana bangsa Jepang telah dikenal dengan keuletannya dalam mencapai suatu cita-cita, relaksasi merupakan suatu hal yang sangat mereka butuhkan. Oleh karena itu memiliki sebuah taman telah menjadi semacam tradisi.

Pada zaman modern sekarang ini, penduduk Jepang tidak lagi berperang dengan sesamanya, tetapi mereka selalu bekerja keras dan berlomba untuk memperoleh yang terbaik dalam hidupnya. Karena mereka selalu berada dalam tekanan, mereka memerlukan tempat untuk beristirahat. Taman inilah tujuan mereka. Begitu anda memasuki taman, anda akan menemukan unsur-unsur utama taman Jepang, yaitu : batu-batuan, kayu, kesederhanaan desain, kolam, gerakan air, dan kesunyian.