O início da história de amor se deu em 1941, quando ambos estudavam na Clark Atlanta University, na Geórgia. Lyle se destacou como atleta de basquete e, anos depois, foi homenageado com uma vaga no Hall da Fama da universidade. Eleanor, por sua vez, teve uma carreira acadêmica notável, conquistando seu doutorado em Educação Urbana aos 69 anos.

O casamento aconteceu em 4 de junho de 1942, em meio à Segunda Guerra Mundial. Pouco tempo após a cerimônia, Lyle foi enviado para a Itália como integrante da 92ª Divisão de Infantaria do Exército dos EUA. Durante esse período de separação, Eleanor trabalhou em uma empresa de peças para aeronaves e mantinha o contato com o marido por meio de cartas — embora as respostas dele fossem frequentemente censuradas pelo correio militar.

Grávida do primeiro filho, Eleanor se mudou para Nova York e enfrentou a incerteza de rever o marido. Apesar das dificuldades impostas pela guerra, o casal superou os obstáculos e construiu uma família com três filhos: Lyle Rogers, Angela e Ignae.