سنتين وخمسة أشهر ، وقبض وهو ابن تسع وثلاثين سنة ، ولقد توفي يوم الجمعة لخمس بقين من رجب ولم يكن خلافته بعهد تقدم بل بوصية أوصى بها سليمان ، وذلك إن سليمان لما حضرته الوفاة كتب وصيته ، وأشهد على ذلك جماعة من الاشراف ، وقال : إذا أنا مت فأذنوا بالصلاة جامعة ثم اقرأوا هذا الكتاب فلما هلك ودفن نودي في الناس بالصلاة جامعة فأجتمع الناس ، وحضر بنو مروان ثم خطب الخطيب وقال : أيها الناس أرضيتم في الخلافة بمن سماه أمير المؤمنين سليمان في وصيته ؟ قالوا : بلى فقرأ الوصية ، وإذا فيها اسم عمر بن عبد العزيز ، ومن بعده يزيد بن عبد الملك فقال مكحول وهو من الاشراف :
ونادى أين عمر بن عبد العزيز وكان في أواخر الناس ؟ فلما سمع باسمه أسترجع ثلاثا فأتاه قوم وأخذوا بيده وعضديه فأقاموه وذهبوا به إلى المنبر فصعد وجلس على المرقاة الثانية .
فأول من بايعه يزيد بن عبد الملك ثم بايعه الناس أجمعون لأنه كان في نهاية التواضع والصلاح والسداد ، وقد رضى به الناس فأول ما صنع عمر بن عبد العزيز ترك اللعن على أمير المؤمنين ( ع ) من قنوت الصلاة ، وجعل مكانه ( ربنا أغفر لنا ولاخواننا الذين سبقونا بالايمان ولا تجعل في قلوبنا غلا للذين آمنوا ربنا إنك رؤوف رحيم ) ثم رفع أعمال من كان قبله من بني أمية من أعمال سوء وصرفهم عن أعمالهم واستعمل أصلح من قدر عليه ويراقبهم حتى لا يعملوا بسوء في الرعية ، وبلغه من بعض أعماله شيئا فكتب إليه يا فلان قد كثر شاكوك ، وقل شاكروك فإما عدلت ، وأما اعتزلت والسلام وكثيرا يراعي العدالة في الرعية حتى كان قبل خلافته يلبس حلة بألف دينار فلما أتته الخلافة يشتري قميصا بعشرة دراهم ، ويلبس ذلك ومع ذلك يخاف على نفسه حتى قال يوما لبعض جلسائه : أسرك ما وليت أم أساءك ؟ قال : سرني للناس وسائني لك قال : إني أخاف أن أكون أو بقيت نفسي قال : ما أحسن حالك إن كنت تخاف إني أخاف أن لا تخاف . خرج يوما في أصحابه فمر بالمقبرة فقال لهم : قفوا حتى أتي قبور الأحبة فأسلم عليها فلما توسطها وقف وسلم وتكلم وأنصرف إلى أصحابه فقال : ألا تسألوني ماذا قلت لهم وما قالوا ؟ فقالوا : وماذا قلت يا أمير المؤمنين ، وما قيل لك ؟ قال : مررت بقبور الأحبة فسلمت فلم يردوا جوابي ، ودعوتهم فلم يجيبوا فبينما أنا كذلك إذ نوديت يا عمر أتعرفني ؟ أنا من الذين غيرت محاسن وجوههم ، ومزقت الأكفان عن جلودهم وقطعت أيديهم ، وبانت أكفهم من سواعدهم ثم بكى حتى كادت نفسه تخرج وكان عمر