لم تهدم الكعبة بعد الإسلام إلا مرة واحدة
قام بها عبد الله بن الزبير رحمه الله
وأما الحجاج فقد هدم جزءا منها فقط لإعادتها إلى ما كانت عليه
قال ابن كثير في البداية عند ذكر عمارة ابن الزبير للبيت: وتكون عمارة ابن الزبير رضي الله عنهما للبيت على مقتضى حديث عطاء في آخر ذي الحجة من سنة أربع وستين، وفي سنة خمس وستين، وذلك يوافق ما جزم به ابن الأثير في عمارة الكعبة.
وبعد قتل ابن الزبير رضي الله عنه دخل الحجاج مكة وكتب كتابا إلى عبد الملك بن مروان: إن ابن الزبير زاد في البيت على ما كان عليه في الجاهلية، فكتب إليه عبد الملك بن مروان: أن سد بابها الغربي الذي فتحه ابن الزبير، واهدم ما كان زاد فيها من الحِجر، واكبسها به على ما كانت عليه، فهدم الحجاج منها ستة أذرع وشبرا مما يلي الحِجر، وبناها على أساس قريش الذي كانت استقصرت عليه.