پس از ورود حضرت محمد(ص) به مدینه، ایشان دستور ساخت مسجد را صادر کرده با کمک مهاجرین و انصار، شروع به بنای آن نمودند. دیوار مسجد از سنگ و آجر و سقف آن از چوب درخت بود و در کنار مسجد اتاق‏های پیامبر(ص) و برخی از اصحاب وی قرار داشت. رسول گرامی اسلام از مسجد نه تنها برای انجام عبادت، بلکه جهت برگزاری امور قضاوت، مجالس مشورتی، آموزش‏های فنی و حل و فصل دیگر امور مسلمانان استفاده می‏کردند به همین دلیل این مسجد اهمیت فوق العاده‏ای برای مسلمانان داشت.