冯·诺依曼理论的基本工作原理是，计算机由控制器、运算器、存储器、输入设备和输出设备五部分组成。核心是“存储程序”和“程序控制”。

冯·诺依曼的第一篇论文，与费希特合著，是切比雪夫多项式求根方法的费恩定理的推广，日期为1922，当时冯·诺依曼还不到18岁。另一篇文章讨论了用匈牙利语写的一致稠密级数。题目的选择和证明技术的简单性揭示了冯·诺依曼的代数技巧和集合论的直观结合。

1923年，冯·诺依曼在苏黎世读大学的时候，发表了一篇超过序数的论文。文章第一句就直言“这篇文章的目的是让康托尔的序数概念具体化、精确化”。他对序数的定义已被广泛采用。

强力探索公理化是冯·诺依曼的愿望。大约从l925年到l929年，他的大部分文章都试图贯彻这种公理精神，甚至在理论物理研究中也是如此。当时他对待集合论的表述特别不拘小节。他在1925关于集合论公理系统的博士论文中，开篇就说“这篇论文的目的是在逻辑上无可非议地给集合论以公理化的阐述”。

有趣的是，冯·诺依曼在他的论文中预见了任何形式的公理系统的局限性，这让人们隐约想起了后来哥德尔证明的不完全性定理。著名逻辑学家、公理集合论创始人之一弗兰克尔教授曾这样评价这篇文章:“我不能坚持说我已经理解了一切，但我可以有把握地说，这是一部杰出的作品，我可以通过他看到一个巨人”。

1928年，冯·诺依曼发表了《集合论的公理化》一文，是对上述集合论的公理化处理。系统非常简洁。它使用第一类型对象和第二类型对象来表示朴素集合论中的集合和集合的性质。写系统的公理需要一页多一点，足以建立朴素集合论的全部内容，从而建立整个现代数学。

冯·诺依曼的系统也许给出了集合论的第一个基础，并且所使用的有限公理具有像初等几何那样简单的逻辑结构。从公理出发，冯·诺依曼熟练运用代数方法推导集合论中许多重要概念的能力简直令人惊叹，这一切都为他日后对计算机的兴趣和“机械化”证明准备了条件。

20世纪20年代末，冯·诺依曼参与了希尔伯特的元数学项目，发表了几篇论文证明一些算术公理并不矛盾。1927年《论希尔伯特的证明》一文最受关注，其主题是讨论如何使数学摆脱矛盾。文章强调，希尔伯特等人提出并发展的这个问题非常复杂，在当时还没有得到满意的回答。并指出阿克曼消除矛盾的证明在经典分析中是无法实现的。为此，冯·诺依曼对子系统给出了严格的有限性证明。看来这离希尔伯特想要的最终答案不远了。恰在此时，1930哥德尔证明了不完全性定理。定理断言:在包含初等算术(或集合论)的不协调形式系统中，系统的不协调性在系统中是不可证明的。至此，冯·诺依曼只能停止这项研究。