كان أوَّلَ ما قدِمَ المَدينةَ نَزَلَ على أجدادِه -أو قال: أخوالِه- مِنَ الأنصارِ، وأنَّه صَلَّى قِبَلَ بَيتِ المَقدِسِ سِتَّةَ عَشَرَ شَهرًا، أو سَبعةَ عَشَرَ شَهرًا، وكان يُعجِبُه أن تَكونَ قِبلَتُه قِبَلَ البَيتِ، وأنَّه صَلَّى أوَّلَ صَلاةٍ صَلَّاها صَلاةَ العَصرِ، وصَلَّى معهُ قَومٌ فخَرَجَ رَجُلٌ مِمَّن صَلَّى معهُ، فمَرَّ على أهلِ مَسجِدٍ وهم راكِعونَ، فقال: أشهَدُ باللهِ لقد صَلَّيتُ مع رَسولِ اللهِ صلَّى اللهُ عليه وسلَّم قِبَلَ مَكَّةَ، فداروا كما هُم قِبَلَ البَيتِ، وكانَتِ اليَهودُ قد أعجَبَهم إذ كان يُصَلِّي قِبَلَ بَيتِ المَقدِسِ، وأهلُ الكِتابِ، فلَمَّا ولَّى وجهَه قِبَلَ البَيتِ أنكَروا ذلك. .