庞统出身贫民，家无余财，父母都是普普通通的农民。庞家上数几代，也没有出过什么天下知名的人物。但庞家先祖曾经发下宏愿，设立家族公田，奖励后代读书，以改换门庭。

庞家百年的坚持却始终没有得到回报，几代人耕读传家，但没有一人能够被朝庭征辟为茂才。

庞统因长相丑陋，其父不愿再花钱供他读书（汉代读书人只有被举茂才一条路进入仕途，但长相也是茂才的选拔标准之一）。不过天无绝人之路，庞统相貌虽然丑陋，却智慧天授，观父兄和族人读书，过耳目而不忘，十岁时便将家族藏书全部倒背如流。

庞统的族叔庞德公外出游学，回来听族人说起庞统记忆能力超强，便劝说庞统父亲，让庞统就学。庞统父亲不愿，庞德公无奈，便收下庞统为弟子，亲自教庞统学问。

庞统也不负庞德公厚望，随庞德公读书十年，已有青出于蓝而胜于蓝之势。庞德公自觉已无知识教授庞统，又听说在外游学时结交的好友司马徽，来了荆州主持官学，便推荐庞统拜入司马徽门下。

司马徽考较庞统学问，大为惊喜，当场收下庞统为徒，并当着众弟子和家人的面夸赞庞统，称他身有奇才，可安天下。

庞统以才智自负，不以相貌为忧。但现实就是如此残酷，在东汉这个看脸的时代，他始终没能通过郡县举荐茂才的审核。这让庞统深受打击，渐渐变得有些侍才傲物，愤世骇俗。