Christiania Militære Samfund ble stiftet 1. mars 1825. Det var først i 1830 at de fikk gitt ut eget tidsskrift. Etter en dårligere periode med synkende medlemstall, tok det seg kraftig opp, og i 1866 besluttet Stortinget å yte gratis tomt til byggingen av et eget hus til organisasjonen. Christiania Militære Samfunds bygningskomité utnevnte den tyskfødte Andreas Friedrich Wilhelm von Hanno til arkitekt i 1876. Samme år ble grunnsteinen lagt, og to år senere ble lokalet tatt i bruk, rent formelt før det var helt ferdig.

Lokalene regnes oftest som nyromantiske i stil, men også nyromansk, tysk senhistorisme eller Rundbogenstil er begreper den omtales ved. Det viktigste er at bygget er bygget i en egen stil som skiller seg fra nabobygg og den dominerende 1600-tallsmuren til Akershus Festning som går langsmed byggene.

De norske og svenske prinsene fra og med kronprins Gustaf, og de norske kongene fra Haakon VII av har vært medlemmer av Samfundet. I 1906 ble Haakon VII hjertelig tatt imot som ny konge av Norge, og han ble en av Samfundets mest trofaste medlemmer. Hans sønn kronprins Olav ble tatt inn etter sin 21-årsdag i 1924, og han også var blant de mest ivrige medlemmene.

Året etter ble 100-årsjubileet feiret med blant annet tale av Fridtjof Nansen, og med Haakon VII og Olav til stede. Kort etter jubileet skiftet Samfundet navn til Oslo Militære Samfund et par måneder etter at resten av byen hadde gjennomført skiftet.

Med et opphold under krigen, der verdier ble enten skjult eller realisert, har Oslo Militære Samfund holdt på uavbrutt siden. Harald V ble opptatt i Samfundet i 1959, og kronprins Haakon ble tatt opp ved sin fullførte tid på Krigsskolen, og kronprins Haakon i 1997 da han hadde fullført sin militærtjeneste.

Lokalene til Oslo Militære Samfund brukes til egne arrangementer i tillegg til at de leies ut. Blant annet er det vanlig å arrangere nyttårsfest der.