學者多數認為最早的火藥是人們在煉製丹藥時無意中配製出來的。當時煉丹所用的藥料，只能發生火，不會猛烈爆炸。這種「藥」容易起火，所以叫做「火藥」。

火藥最主要用於軍事方面。唐朝覆亡前夕，地方割據勢力互相攻伐，曾使用「飛火」攻城，即在箭桿上綁一個火藥團，燃點引信後發射出去。北宋的軍隊，為了平定南唐以及抗擊遼和西夏的入侵，先後使用過多種安裝了火藥的武器，如「火箭」、「火球」、「火蒺藜」。

南宋時，出現了「火槍」。這種武器是將火藥裝在巨大的竹管內，在臨陣交鋒時燃點，火噴出槍前丈餘。後來再安上「子窠」(子彈的前身) ，稱為「突火槍」，是最早能夠發射子彈的火槍。此外，又發明了「震天雷」，在生鐵鑄造的容器內，裝上火藥並加引線，點火後炸裂飛散，有如今日的炮彈或地雷。

元代進一步發明用鐵或銅製成的「火統」，這就是世界上最早的火炮。火統呈長筒形，統頭填塞石彈，統身裝上火藥，統尾有點燃引線用的火眼。以後，火藥被推廣於民間，用來製作爆仗和煙火。