وقد ثبت في الصحيحين عن عائشة رضي الله عنها أن رسول الله صلى الله عليه وسلم قال لها : " ألم ترى أن قومك قصرت بهم النفقة . ولولا حدثان قومك بكفر لنقضت الكعبة وجعلت لها بابا شرقيا وبابا غربيا ، وأدخلت فيها الحجر " .
ولهذا لما تمكن ابن الزبير بناها على ما أشار إليه رسول الله صلى الله عليه وسلم وجاءت في غاية البهاء والحسن والسناء كاملة على قواعد الخليل ، لها بابان ملتصقان بالأرض شرقيا وغربيا ، يدخل الناس من هذا ويخرجون من الآخر .
فلما قتل الحجاج ابن الزبير كتب إلى عبد الملك بن مروان ، وهو الخليفة يومئذ ، فيما صنعه ابن الزبير ، اعتقدوا أنه فعل ذلك من تلقاء نفسه .
فأمر بإعادتها إلى ما كانت عليه فعمدوا إلى الحائط الشامي فحصوه وأخرجوا منه الحجر ورصوا حجارته في أرض الكعبة ، فارتفع باباها وسدوا الغربي ، واستمر الشرقي على ما كان عليه ، فلما كان في زمن المهدى - أو ابنه المنصور - استشار مالكا في إعادتها على ما كان صنعه ابن الزبير . فقال مالك رحمه الله : إني أكره أن يتخذها الملوك ملعبة فتركها على ما هي عليه . فهي إلى الآن كذلك وأما المسجد الحرام : فأول من أخر البيوت من حول الكعبة عمر بن الخطاب رضي الله عنه ، اشتراها من أهلها وهدمها ، فلما كان عثمان اشترى دورا وزادها فيه ، فلما ولى ابن الزبير أحكم بنيانه ، وحسن جدرانه وأكثر أبوابه . ولم يوسعه شيئا آخر .
فلما استبد بالامر عبد الملك بن مروان زاد في ارتفاع جدرانه ، وأمر بالكعبة فكسيت الديباج . وكان الذي تولى ذلك بأمره الحجاج بن يوسف .
وقد ذكرنا قصة بناء البيت والأحاديث الواردة في ذلك في تفسير سورة البقرة عند

282