عهد الخلفاء الراشدين
بقي المسجد الحرام على حاله طوال خلافة أبو بكر-رضي الله عنه- ثم العام السّابع الهجري، شعر عمر بن الخطاب-رضي الله عنه- بحاجة المسلمين إلى توسعة المسجد الحرام بعد أن زاد عدد الحجاج إلى المسجد الحرام سنوياً فاشترى البيوت المجاورة للمسجد، ووسّع بها ساحة المطاف وجعل لها أبوابًا يدخل الحجّاج والمعتمرون منها للطّواف حول الكعبة المشرفة.وكان عمر هو أول من أخر مقام إبراهيم عن جدار الكعبة فقد كان ملاصقاً فيها وذلك ليسهل الطواف وحماية لمقام إبراهيم . ثم في عهد عثمان بن عفان-رضي الله عنه- سنة 26 هـ، قام عثمان بتوسعة المسجد مرة أخرى كما بنى للمسجد أروقة وكان أول من بنى للمسجد الحرام أروقة.
يؤمن المسلمون أن المسجد الحرام هو المكان الذي أُسريَ بالنبي منه إلى المسجد الاقصى كما جاء في سورة الأسراء في القرآن:"سُبْحَانَ الَّذِي أَسْرَى بِعَبْدِهِ لَيْلاً مِنْ الْمَسْجِدِ الْحَرَامِ إِلَى الْمَسْجِدِ الأَقْصَى الَّذِي بَارَكْنَا حَوْلَهُ لِنُرِيَهُ مِنْ آيَاتِنَا إِنَّه هُوَ السَّمِيعُ الْبَصِيرُ".