历史上首次抵制奥运的事件要远远早于1980年的莫斯科奥运。最初两次抵制奥运的行动中包含体育竞技方面的缘由。1928年，英国女运动员集体抵制荷兰阿姆斯特丹的奥运会，理由是原本计划中10个女子竞技项目被缩减为五个。1936年，因为滑雪教练被认定为职业选手，从而被禁止参赛，瑞士和奥地利抵制了在德国滑雪胜地加米施-帕腾基兴举行的冬奥会滑雪项目。

首次由于政治原因而抵制奥运的行动发生在1956年，当时主办地是澳大利亚墨尔本。西班牙，荷兰和瑞士由于抗议苏联出兵匈牙利而拒绝参加奥运会，此外，由于爆发苏伊士运河战争，埃及，伊拉克，柬埔寨和黎巴嫩都没有参加该届奥运会。

1976年加拿大蒙特利尔奥运会遭遇了抵制奥运的高潮。当时，新西兰由于邀请仍处于种族隔离制度下的南非进行一场英式橄榄球比赛，从而遭到非洲国家的抗议。但是，由于英式橄榄球并非奥运会比赛项目，因此国际奥委会并未禁止新西兰参加蒙特利尔奥运会，这导致28个非洲国家抵制该届奥运。此外，由于无法使用"中国民国"的名义参赛，台湾运动员也没有出现在蒙特利尔赛场上。

1980年，莫斯科举办奥运会遭到美国，德国以及其他63个西方国家的集体抵制，以抗议苏联入侵阿富汗。但是仍有以英国和意大利位代表的16个西方国家参加了莫斯科奥运会。

四年之后，前苏联和14个东欧阵营国家对美国洛杉矶奥运会发起抵制行动。引人注意的是，罗马尼亚并没有参与1984年的联合抵制，并在洛杉矶奥运会奖牌榜上名列第二，仅次于东道主美国。

1988年，朝鲜拒绝参加韩国汉城奥运会，而为了显示团结精神，埃塞俄比亚，古巴和尼加拉瓜也拒绝参赛。