Das was du da beschreibst liegt nicht am Server oder an der Internetverbindung, sondern ganz allein an deinem Client.
Anscheinend ist der Rechenaufwand der mit einer so detaillreichen Map einhergeht für deinen PC zu viel. Ich würde dir raten, den Mod "Optifine" zu installieren (dafür gibts ein Tutorial hier im Forum, eine fertige minecraft.jar gibts hier: Minecraft.jar 1.3.2 (Fertig mit Opti, Macro usw)) und auf jeden Fall danach deine Grafikeinstellungen und vor allem die "Render Distance" herunter zu stellen. Das sollte das Problem bessern 
Gruß,
Breuer