A sus seis años, y similar a miles de personas en Puerto Rico a mediados del pasado siglo, Alfredo 'Butch' Lee se mudó con su familia (padres de Islas Vírgenes) a Harlem, New York, en busca del 'American Dream'.
Pese a ser un apasionado del atletismo, la cercanía de su hogar con la legendaria cancha Rucker Park, hizo que se decantara hacia el básquetbol, deporte que lo llevaría décadas más tarde a hacer historia en la NCAA y NBA.