Selain keindahan alamnya, Gunung Budeg juga memiliki kisah menarik tentang asal usulnya. Menurut cerita rakyat setempat, konon ada seorang pemuda bernama Joko Bodo yang dikutuk dan berubah menjadi batu. Kisah ini menambah daya tarik Gunung Budeg dengan unsur budayanya.

Selain itu, Gunung Budeg juga merupakan tuan rumah untuk Festival Gunung Budeg. Festival ini digelar setahun sekali oleh warga sekitar lereng gunung dan melibatkan berbagai prosesi, seperti ruwatan nagari dan kirab budaya. Selama festival, berbagai penampilan seni dan budaya juga diselenggarakan.