出生于市区新建路人民路口的一个贫寒的六口之家，排行老二。父亲靠打零工挣钱，母亲是家庭妇女，靠卖血、捡柴贴补家用。但家境的困苦，并没有压倒胡兆海对艺术的追求，仅凭着一种艺术上的天赋，他就这样从吆喝声中接受了最早的艺术熏陶。
12岁那年，绍兴曲艺培训班招生，胡兆海一听说就去报名了。小家伙天真加滑稽的表演引起了大家的哄堂大笑，但大家笑的只是一个小孩子的烂漫，而他得到的也只是招考老师的一句玩笑话：等你长到高过了球桌，再来考吧！一直到16岁那年，绍兴第三届戏曲训练班招生，胡兆海再一次去赶考。当时竞争很激烈，1000多人报考只录取30多人，但胡兆海还是轻松通过了。进入科班的他如鱼得水，很快崭露头角。这一段的科班经历，也为他后来从事绍兴莲花落艺术奠定了扎实的基础。