Ratusan tahun dahulu, dipercayai Pulau Besar didiami oleh ramai orang dan terdapat perkampungan di pulau ini. Terdapat sebuah tapak makam lama yang dipercayai makam penduduk pada ketika itu. Ianya terletak berhampiran dengan keramat tujuh beradik.
Menurut cerita, kini tapak makam itu hanya terdapat beberapa makam lama sahaja di kawasan sekitarnya tetapi dalam waktu-waktu tertentu kita akan dapat melihat seribu makam lama tumbuh bagai cendawan dari tanah.
