بعد أن أدرك النصارى في بيت المقدس أن لا مَفَرَّ من التسليم طلبوا من أبي عبيدة بن الجراح أن يصالحهم على مثل ما صالح أهل مدن الشام ، وأن يكون المتولي للعقد معهم أمير المؤمنين عمر بن الخطاب نفسه، فأجابهم، وأعطاهم الأمان بما تسمى بالعهدة العمرية والتي فيها : هذا ما أعطى عبد الله عمر أمير المؤمنين أهل إيلياء من الأمان ، أعطاهم أماناً لأنفسهم وأموالهم .....
وأقام عمر رضي الله عنه في بيت المقدس أياماً خطب خلالها في الناس ، فحمد الله وأثنى عليه بما هو أهله ، وصلى على النبي – صلى الله عليه وسلم – ثم قال : يا أهل الإسلام ، إن الله تعالى قد صَدَقَكُمُ الوعدَ، ونصركم على الأعداء ، وَوَرَّثكم البلاد، ومكن لكم في الأرض، فلا يكونَنَّ جزاؤُه منكم إلا الشكر ، وإياكم والعمل بالمعاصي ، فإن العمل بالمعاصي كفر النعم . وقلما كفر قومٌ بما أنعم الله عليهم ثم لم يَفْزَعوا إلى التوبة إلا سُلبوا عزهم ، وسلط عليهم عدوَّهم . ثم نزل وحضرت الصلاة، فقال : يا بلال ألا تؤذنُ لنا رحمك الله ؟ قال بلال : يا أمير المؤمنين، والله ما أردت أن أؤذن لأحد بعد رسول الله – صلى الله عليه وسلم، ولك سأطيعك إذا أمرتني في الصلاة وحدها.
فلما أذن بلال وسمعت الصحابة صوته ذكروا نبيهم – صلى الله عليه وسلم – فبكوا بكاءً شديداً، ولم يكن من المسلمين يومئذ أطول بكاءً من أبي عبيدة ومعاذ بن جبل ، حتى قال لهما عمر: حسبكما رحمكما الله.
فلما قضى صلاته انصرف أمير المؤمنين راجعاً إلى المدينة واجتهد فيما هو بصدده من إقامة شعائر الإسلام، والنظر في مصالح المسلمين، والجهاد في سبيل الله.