Stephen Pan se narodil v rodině, která byla v Číně proslulá uměleckým talentem. V pěti letech mu jeho dědeček Bo Yin Pan dal první lekci kresby a malby.
Přestože měl Pan blízký vztah k formálním čínským uměleckým tradicím, zamiloval se do renesančních a francouzských impresionistických obrazů. Již ve třinácti letech měl samostatnou uměleckou show a za krásné olejomalby získal první místo na národních cenách Art Excellence v Číně..
Pan začal učit v čínské Šanghaji ve věku 20 let. Aby pokračoval ve své umělecké kariéře, jeho strýc podporoval jeho imigraci do USA. Stephen Pan byl v roce 1997 nabídnut učitelský post na Akademii umění v San Francisku.