据文献记载，伏羲，又称太昊，是三皇之一。其母为华胥，在雷泽踩着了天神足迹，于是怀孕生下伏羲。伏羲有圣德，故代燧人氏而做了天下之王。也许他的圣德感动了天神，龙马负图出于河，将河图献给伏羲。除了伏羲氏时代外，传说这匹龙马还有另外几次负图而出。轩辕黄帝时，帝尧时，这种神迹都出现过。河图究竟是什么含义，他与八卦及文字究竟是什么关系，这些都是历代争论的话题。但相比而言，河图来历更是千古之谜。虽然古人对龙马负图而出是深信不疑的，但我们对这个事迹仍只能当神话看待。真实的历史往往可能很简单，就是河图不是上帝遣龙马所赐，而是河洛先民的伟大创造。
近年，有学者提出“河出图”的“河”不是黄河，而是活动于河洛地区的古老部族有河氏，“出”是奉上、进献的意思。意思是有河氏把这个部族创造的有着特殊含义的图献给了伏羲氏。这种观点的意义不在于结论是否成立，而是把河图请下了神坛。从考古发现看，原始的河图雏形出现的相当早。在陕西华县元君庙仰韶文化遗址出土的距今六千年左右的陶器上，有用锥刺成五十五个小圆点组成的三角图案。据专家研究，这个图案与古代有关河图著作所载的有关河图推演图极为相似，这可能就是原始的河图。1987年河南濮阳西水坡出土的形意墓，距今约6500多年。墓中用贝壳摆绘的青龙、白虎图像栩栩如生，与近代几无差别。河图四象、28宿俱全。其布置形意，上合天星，下合地理，且埋葬时已知必被发掘。同年出土的安徽含山龟腹玉片，则为洛书图像，距今约5000多年。可知那时人们已精通天地物理，河图、洛书之数了。据专家考证，形意墓中之星象图可上合二万五千年前。这说明邵庸等先哲认为“河图、洛书乃上古星图“，其言不虚。真伪图书亦称“河洛之争”。宋以来围绕河图洛书真伪、八卦是否据河洛而画等问题的论争。
《周易·系辞下》提出“河出图，洛出书，圣人则之”之说，先秦两汉至唐代文献基本持此观点。然河洛图式早已失传，至少唐末已不可见。宋初陈抟以河图、洛书及先天图、太极图传世，于是引起肯定派（图书派）与否定派（疑古派）的论争。图书派内部针对何谓河图、何谓洛书，有“图九书十”与“图十书九”的分歧，前者以刘牧为代表，王湜、朱震、郑樵、朱元升、李简、薛季宣、张理袭其说。后者以朱熹、蔡元定为代表。前者在宋元影响很大，后者则为后世通行说法。两者均坚信河出图、洛出书，圣人则之而画卦。疑古派则视河、洛为怪妄，并大肆攻击。其先驱为北宋欧阳修，其《易童子问》否定伏羲授河图画八卦，认为河图不在《易》之前。元钱义方《周易图说》认为图、书之书，是因《周易》而造易数，绝不是因图、书而出《周易》。元陈应润《周易爻变义蕴》指出，先天之图为道家假借《易》理以为修炼之术，不是《周易》本旨。清黄宗羲《易学象数论》、黄宗炎《图书辨惑》亦认为图书之说，实由道家而来，与作《易》无关。胡渭《易图明辨》认为洛书来源于《乾凿度》郑玄注及其九宫图，而河图亦为发挥《周易·系辞》“天地之数五十有五”而出。另明刘濂《易象解》、清毛奇龄《河图洛书原篇》、张惠言《易图条辨》等均以为《易》未遭秦火，图书亦不当失，其中或认为河洛为道家炼丹养生之图，或认为只是画卦中一事，并非则之而画卦。众难纷然。
与此同时，肯定派则极力崇尚河洛，不仅反驳疑古派言论，而且在河洛研究、破释方面取得不少成果。宋图书派坚持自己立场，并为此宏扬。另王安石、苏轼亦不赞成欧阳修观点。元胡一桂、吴澄等力驳疑古之论，并作有益分析。清代解析河洛著作甚多。李光地《周易折中》、胡煦《周易函书》、江永《河洛精蕴》均为上乘之作。民国至解放后，两派斗争依然持续不断。杭辛斋、黄元炳阐述河洛之意，多前人所未发。近代疑古派则顾颉刚为代表，其《三皇考·河图洛书的倒坠》彻底否定河洛。一九七七年春，在安徽阜阳县双古堆发掘的西汉汝阴侯墓出土文物中，发现“太乙九宫占盘”，其图式与洛书完全相符，说明宋人图书，绝非臆造。一般认为洛书至迟于西汉初年已经存在，然对河图的来源及图书与《周易》谁先谁后等问题仍有争议。
具体解析直观地考察河图洛书，不难发现，这两幅图具有数字性和结构对称性这两个明显特点：第一，数字性。数的概念直接而又形象地包含在图书之中。“○”表示1；“●●”表示2；……依次类推，河图含有1~10共10个自然数，洛书含有1~9共9个自然数。其中，由黑点构成的数为偶数，由白点构成的数为奇数，表达了数的奇偶观念。因此，数字性是河图洛书的基本内容之一。第二，对称性。两幅图式的结构分布形态对称，具体表现在二个层面：其一，由黑点或白点构成的每一个数的结构形态是对称的；其二，整体结构分布对称。河图，以二个数字为一组，分成五组，以[5，10]居中，其余四组[7，2]、[9，4]、[6，1]、[8，3]依次均匀分布在四周。洛书，以数5居中，其余8个数均匀分布在八个方位。进一步分析，河图洛书还包含着丰富的数理关系，下面分别论述。数理关系河图包括的数理关系1、等和关系。除中间一组数（5，10）之外，纵向或横向的四个数字，其偶数之和等于奇数之和。纵向数字：7、2；1、67+1=2+6横向数字：8、3；4、98+4=3+9并得出推论：河图中，除中间一组数[5，10]之外，奇数之和等于偶数之和，其和为20。2、等差关系。四侧或居中的两数之差相等。上（7—2）；下（6—1）；左（8—3）；右（9—4）；中（10—5），其差均为5。洛书包含的数理关系1、等和关系。非常明显地表现为各个纵向、横向和对角线上的三数之和相等，其和为15。2、等差关系。细加辨别，洛书隐含着等差数理逻辑关系。
1洛书四边的三个数中，均有相邻两数之差为5，且各个数字均不重复。上边[4、9、2]9-4=5下边[8、1、6]6-1=5左边[4、3、8]8-3=5右边[2、7、6]7-2=5显然这个特点与河图一样，反映出洛书与河图有着一定的内在联系。
2通过中数5的纵向、横向或对角线上的三个数，数5与其它两数之差的绝对值相等。纵向|5-9|=|5-1|或9-5=5-1横向|5-3|=|5-7|或5-3=7-5右对角线|5-2|=|5-8|或5-2=8-5左对角线|5-4|=|5-6|或5-4=6-5综合以上分析，我们可以清楚地发现，数理关系和对称性是河图洛书图的基本特点，河图洛书包含着基本的自然数之间“和或差”的算术逻辑关系，尽管两者有所差别，但是它们表示的数理关系有相似共同之处，有内在的必然联系。