在美国参与第一次世界大战后不久,杜鲁门加入了密苏里州国民警卫队担任军官,并在法国带领一支炮兵部队,名为炮兵连D组,隶属于第35师60旅的129野战炮队。在体能方面,杜鲁门右眼视力为20/50,而左眼是20/40,但由于他在体能测试前秘密地记诵了视力检查表,所以他仍可以通过测试从征。在前往法国之前,杜鲁门先在俄克拉何马州劳顿附近的锡尔堡接受训练。在受训期间,他被指派去打理军营的贩卖部(提供糖果、香烟、鞋带、梳打水、烟草和撰写发给士兵的文件),因此营中几乎每位士兵都认识杜鲁门。为了方便打理贩卖部,他征募了曾在堪萨斯城的一家服装店当过职员的犹太裔朋友爱德华·雅各布森中士前来帮忙。
此外,杜鲁门还在军营中认识了堪萨斯城政客汤姆·彭德格斯特的侄儿詹姆士·M·彭德格斯特(James M.Pendergast),而这位政客在战后对杜鲁门有一定的帮助。
在法国,杜鲁门上尉的炮兵连表现十分卓越,他们虽然在孚日山受到攻击,但他仍能够作出十分有效的抵抗。杜鲁门日后获擢升为国民警卫队的陆军中校,而他一直也为自己在军队服役的背景感到相当自豪,因为在他的带领下,炮兵团的炮兵连D组在大战中没有损失过任何人。