John van 't Schip maakte op zeventienjarige leeftijd zijn debuut bij Ajax. Na twee jaar weet hij een basisplaats te bemachtigen. In totaal speelde van 't Schip 348 wedstrijden voor Ajax, hierin maakte hij 33 doelpunten. Hier wint hij onder andere vier landstitels, drie KNVB-bekers, de Europa Cup II en de UEFA Cup.

In 1992 vertrekt hij naar Italië om onder Genoa te spelen. Hij speelt hier vier seizoenen, maar na een rugblessure moet hij definitief stoppen met het profvoetbal.

Nadat van 't Schip in 1986 debuteerd in het Nederlands elftal beleeft hij in 1988 zijn grootste succes. Oranje verovert de Europese titel. Zijn laatste interland was op 7 juni 1995. 

Na zijn voetballoopbaan wordt van 't Schip assistent-trainer van Jong Oranje, trainer van de jeugd van Ajax en assistent-trainer van het eerste van Ajax, hoofdtrainer van FC Twente, trainer van Jong Ajax en assistent-bondscoach van het Nederlands elftal.