Käsipalloa pelattiin olympiakisoissa ensi kerran Berliinissä 1936, mutta kyseessä oli tuolloin lajin ulkopeliversio. Sisäpelinä käsipallo tuli ohjelmaan miehille Münchenissä 1972 ja naisille Montrealissa 1976. Kaikki tähänastiset miesten käsipallon olympiakullat ovat menneet entisiin sosialistimaihin. Voittovuoro on vaihtunut Neuvostoliiton (1988, IVY 1992, Venäjä 2000) ja Jugoslavian (1984, Kroatia 1996 ja 2004) perillisten välillä.
