胡八一是大财主的后人，其爷爷是胡国华。胡八一，福建人。原名胡建军，祖辈曾是煊赫一方的大财主，到其爷爷阶段家道中落，爷爷胡国华经几番人生百态以后拜阴阳眼孙国辅门下变成一代金点先生，在故乡洞庭湖畔的县里坐馆算命。

胡国华的孩子胡云轩在长沙读书时，触碰了革命思想，后参加革命，渡江战役后随三野军队南进入闽，是之后福州军区的师1级长官。1950年建军节，其孙子胡八一出世。本想起名胡建军，因在幼稚园时重名的人很多，一怒之下更名胡八一。文化大革命阶段，胡国华过世。

其恩师孙国辅生有一双阴阳眼，后被张三爷收做弟子。这人深明大义，才华横溢，一派道学想法，也就是说便是较为传统守旧，尽管学了全身本领，却不肯做倒斗取利的事情，也从来不参加绿林中分赃聚义的行为，因此他不管到哪都用真名实姓。原作小说中仅在有关人员的记忆里出现，初出场是主人公胡八一的爷爷胡国华给孙子讲叙当初自个被恩师孙国辅救下的历经，再出场是临近结局时作者从金算盘的笔记中获知了当初孙国辅等的有关历经。