Estada als New Jersey Nets

Carter va ser transpasat als Nets al 2004 quan la seva mare (portaveu d'ell) va dir que ell volia ser transpasat, el mànager general dels Raptors Rob Babcock va traspassar Vince Carter a New Jersey Nets a canvi d'Alonzo Mourning, Eric Williams, Aaron Williams i dues futures eleccions de la primera ronda del draft. En aquest contracte hi havia l'opció de que, si Carter no exercia suficient, esdevindria Agent Lliure (jugador sense equip) l'estiu de 2007. Mesos després, Carter va tornar a Toronto com a jugador dels Nets el 15 d'abril de 2005. En aquell partit Carter va anotar 39 punts davant uns seguidors dels Raptors molt hostils que el xiulaven contínuament. Els Nets van acabar guanyant 101 a 90. En acabar el partit, Carter va restar dret amb la pilota del partit a prop de la banqueta firmement, "Això encara és casa meva!". Carter va guiar als Nets a la vuitena plaça pels Playoffs del 2005. El 8 de gener de 2006 Carter va tornar a Toronto per tercera vegada des del seu traspàs, i va ser rebut de la mateixa forma que les vegades anteriors en el Air Canadà Center. Carter va anotar un triple a falta de 0.1 segons pel final del partit que va fer guanyar el partit 104 a 102 als Nets; en aquell encontre va anotar 42 punts i va agafar 10 rebots. Carter considera aquest triple guanyador com la seva millor jugada de la seva carrera, tenint en compte l'ambient, la emoció i l'hostilitat del camp. Ja a la temporada 2005-2006, els Nets van acabar amb 49 victòries i campions de la Divisió Atlàntica. Van poder arribar a la segona, però van ser derrotats pels Miami Heat, que aquell any s'endurien l'anell. Carter va fer una mitjana de 29,6 punts, 7,0 rebots i 5,3 assistències en els 11 partits de playoffs.