米勒的曾祖母是一个简·奥斯汀的超级粉丝，将小说《劝导》人物“Captain Wentworth”作儿子(米勒爷爷)的名字，米勒的爸爸是二世，到了米勒，自然变成了三世。米勒的全名因此成为：Wentworth Earl Miller III。
米勒的混血家族更是强大到无以复加，从维基百科查到，其父亲拥有美国黑人、牙买加人、英国、德国和犹太人血统，母亲则是俄罗斯、法国、荷兰、叙利亚、黎巴嫩血统。传闻十种血统混合使得米勒双瞳颜色不同，一只绿色，一只是淡褐色，不得不戴隐形眼镜来遮盖。
父亲是牛津高材生，母亲是教师，导致米勒从小就是班上的“尖子生”，考上全美在录取上第二严格的学校普林斯顿大学，修英国文学。学习好，但性格却很乖张，在大学里因为一幅漫画被批“种族歧视”，而本身拥有黑人血统的米勒选择了沉默，参加校内的男生合唱团“虎咆”，去欧洲演出赚钱。