Benedict Freedman è nato a New York City nel 1919 ed è figlio e nipote di scrittori. Fin da giovane età, Freedman ha mostrato grandi promesse accademiche ed è stato iscritto a corsi accelerati per ragazzi dotati durante le scuole superiori. Egli eccelleva in matematica e ha ricevuto una medaglia per i suoi risultati nel soggetto. Dopo la scuola superiore, Freedman ha frequentato la Columbia University come studente premed, ma è stato costretto a lasciare all'età di sedici anni a causa della morte improvvisa di suo padre.
Nonostante abbia dovuto lasciare il college, Freedman ha continuato a perseguire il suo interesse per la matematica attraverso lo studio privato. Il suo focus principale era sui giochi e sulla matematica ricreativa, ed ha anche assistito nella stesura di un testo sul soggetto. Oltre a questo, Freedman ha anche lavorato su problemi attuariali come un impiegato di un consulente attuario. La passione di Freedman per la matematica e il suo talento naturale per la materia gli ha permesso di apportare un significativo contributo al campo, nonostante non abbia completato un'istruzione formale nel soggetto.