邵雍的先祖是范阳（今河北涿州）人。后来为躲避战乱流落他乡。

    父亲名叫邵古，从小就喜欢读书，长大后更加刻苦，终于学有所成，对问文字，音韵卓有建树。虽读书为儒，但崇尚隐逸之风，始终没有做官。邵雍十二岁那年，跟随父亲来到共城（今河南辉县）苏门山。苏门山在那时已经成为一座名山，山上花红草绿，林深叶茂，环境幽美。山下是卫水之源百泉湖，湖中泉中喷涌，碧波荡漾。远远望去，湖光山色，相映成趣，美极了。正由于这个原因，许多文人学士都来这里游览，吟诗作赋，大为叹赏。有的甚至迷恋这里的山青水秀，便隐居下来。父亲邵古领着邵雍登上苏门山，站在山顶上俯视清澈的百泉湖水，过了好久，忽然回过头来，对邵雍说：“你听说过孙登的为人吗？”邵雍轻轻地摇了摇头。于是父亲便给他讲起了孙登的故事。孙登是西晋时一位隐士，为躲避战乱来到苏门山隐居。没有妻室儿女，整日与白云为伴。他住在山洞里，夏天穿自己编制的草衣，冬天披散着长长的头发来遮体御寒。他很少与外界来往，独自一人研读《易经》，困倦时就弹一弦琴音解乏自娱；闲来无事，便练习口技，摹仿各种鸟叫，每到这时百鸟都汇集到他的身边。

    有一次，阮籍来访孙登，与他交谈，他却一字不应。阮籍只好告辞出来。等来到半山腰时，上面传来鸾凤之音，抬头一看，原来是孙登在练习口技。孙登就是这样一位啸遨山林的隐士。讲完孙登的故事，父亲有些向往地对邵雍说：“我所追慕的就是孙登的遗风啊！”就这样，邵雍和父亲便在苏门定居下来。他们在西侧的山坳里搭起一座小小的茅屋，又在山前开出一片荒地，过起了耕读生活。这时，邵雍的生母刚刚亡故，家境十分困窘，穿粗布衣服，吃稀粥菜汤。邵雍每天在山中拾柴，回来后生火煮饭，奉养父亲。闲下来，邵雍便闭门读书。他虽然年幼，很有志向，又很有才气。读书十分刻苦，常常是拿起书本就忘记了一切。寒冬腊月，手脚冻得生疼也不知道生炉取暖，三伏天热得大汗淋漓也不知摇扇纳凉，他夜晚从不铺床放枕，读书实在困倦了，就席地而眠，这样苦学数年，学问大长。后来，有一天邵雍忽然叹息地说：“古人读书尚且广交朋友，而我却不问四方之事，这怎么能行啊！”他感到闭门读书，耳目闭塞，见识不广，所以几年之内，他渡过黄河、汾河，跨过淮水、汉水、到齐、鲁、宋、郑等地游览山川名胜，了解风土人情，探求历史掌故。然后重返苏门山，潜心读书，渐渐地，以才学而名闻乡里。