Natickista, Massachusettsista kotoisin oleva John valittiin Washington Capitalsin toimesta vuoden 2008 NHL:n varaustilaisuudessa 27. pelaajana. Hän debytoi NHL:ssä Capitalsin riveissä vuonna 2009 ja on tunnettu yhtenä NHL:n huippupuolustajista. Kansainvälisesti Carlson toimi varakapteenina Yhdysvaltojen kultaa voittaneessa joukkueessa vuoden 2010 alle 20-vuotiaiden jääkiekon MM-kilpailuissa. Hänet nimettiin NHL.comin kaikkien aikojen nuorten MM-kisojen joukkueeseen. John edusti myös maataan USA:n miesten jääkiekkomaajoukkueessa vuoden 2014 olympialaisissa Sotšissa ja vuoden 2016 jääkiekon maailmancupissa Torontossa. Voitettuaan Stanley Cupin vuonna 2018 Carlson allekirjoitti kahdeksan vuoden ja 64 miljoonan dollarin jatkosopimuksen Capitalsin kanssa 24. kesäkuuta 2018.