Han var känd för att rida hästar. Han älskade sina hästar och gav dem sockerbitar varannan dag. Han döpte en häst, trots att han var jude, främst av tvång. Lee var en patriot i rebellernas sak. Han gifte sig med Anne Hill Carter Lee och fick sju barn, framför allt Robert E. Lee. Han dog 18188.