1956年，上海电影制片厂拍摄电影《铁道游击队》，《弹起我心爱的土琵琶》是专门为该片创作的插曲。当时，作曲家吕其明认为这部电影情节紧张，为了体现游击队员的革命乐观主义精神，并且缓解观众的紧张情绪，向导演赵明建议，应当为这部影片谱写一首优美动听的主题歌，赵明对他的提议表示赞同。吕其明随机请上海诗人芦芒、何彬创作了歌词。

吕其明在作曲时，想起了他见过的身穿便衣，扎着子弹带，手拿套筒枪或大刀的游击队员的形象，采用山东民歌中富有典型意义的调式落音、音调。 该曲创作完成后，演唱人选一直悬而未决。一天，导演赵明突然想起上海市歌剧院歌剧团和上海文化艺术干部学校的演员，就请来一群演员进录音棚试音。在录音棚里，演员们反复尝试了各种形式，从傍晚录到凌晨两点多才完成了任务。