Прогуляться (Разгуливать, прогуливать) означает неполноту действия от "гулять". Гулять - совершать прогулку; ограниченное время находиться вне помещения, на открытом воздухе ради отдыха, получения удовольствия или с иной целью, не связанной с трудовой деятельностью, работой.
Прогуляться до меня - не является литературным выражением.
Правильно будет сказать "дойди до меня" или "приди ко мне".