По инициативе брюссельского бюро в апреле 1919 года в узком составе была созвана конференция, на которой было решено в интересах развития рабочего спортивного движения вернуться к идее об интернационале, которая возникла еще в 1913 году. В соответствии с решением подготовительной конференции в сентябре 1920 года спортивные руководители социалистических и социал-демократических партий Бельгии, Чехословакии, Франции, Финляндии и Швейцарии основали в Люцерне международный союз физкультуры и спорта, который фактически действовал под именем Социалистического рабочего спортивного интернационала. Это было, безусловно, шагом вперед. Однако тот факт, что на учредительную конференцию не были приглашены представители III Интернационала, заранее предопределил организационный раскол рабочего спортивного движения.

В программе деятельности, опубликованной в виде манифеста, говорилось, что Спортивный Интернационал «является активной формой международного движения, признающего права и обязанности и поддерживающего членов интернационала». Спортивным объединениям — членам интернационала было предписано бороться за оплачиваемую возможность заниматься спортом, за строгое соблюдение продолжительности рабочего времени, за льготные поездки и за право на международные контакты. Было рекомендовано строить горные приюты, оздоровительные учреждения для рабочих. Особо важными были те положения люцернского манифеста, где говорилось, что членами интернационала могут быть только те, кто не состоит в буржуазных спортивных обществах, борется против шовинистического воззрения на спорт и против проявлений коммерческого подхода к рекордам. Ахиллесовой пятой этой во многих отношениях позитивной программы было положение относительно общественной роли движения, где говорилось, что «физическая культура помогает рабочему легче переносить тяготы капиталистической эксплуатации... В результате рабочий не чувствует вредного влияния однообразной деятельности...» Несомненно, что в период бурного развития рабочего движения выдвижение такой задачи несло в себе заряд возрастающих конфликтов между революционными силами и силами реформизма.

В письме по случаю опубликования «учредительного» манифеста особое внимание обращалось на то, что, борясь против капитализма, национализма и милитаризма средствами спорта, можно добиться результатов, только объединив свои силы; на деле же, однако, интернационал изолировал себя от революционно настроенных рабочих спортивных обществ, в том числе от совместных акций с советскими спортивными организациями. Когда же некоторые группы выступили против непоследовательности в политике СРСИ и потребовали изменить программу и организационный устав, руководители спортивного интернационала предприняли совместные шаги для исключения левой оппозиции.

Типичным примером этого явились события в Чехословакии, где была прекращена деятельность целого ряда левых рабочих союзов и оппозиционно настроенных секций. Однако исключенная оппозиция объединилась в новый рабочий спортивный союз. В результате был сорван запланированный на июнь 1921 года спортивный праздник, вместо него была организована рабочая олимпиада, а параллельно ей спартакиада.

Создание рабочего спортивного центра, действовавшего под руководством коммунистов, было связано с решением III Конгресса Коминтерна о физической культуре (12 июля 1921 г.). Это решение призывало революционных спортсменов, участников рабочего спортивного движения «покончить с зависимостью от буржуазии и социал-демократических соглашателей».

...На следующей неделе на Воробьевых горах в Москве, в помещении яхт-клуба собрались русские, немецкие, итальянские, французские, финские и голландские делегаты-коммунисты и основали Международный союз физкультурных организаций рабочих и крестьян — известный под именем Красный спортивный интернационал.

Во втором параграфе учредительной декларации говорится, что новая организация «Союз международных физкультурных организаций рабочих и крестьян объединяет все рабоче-крестьянские общества, которые стоят на позициях классовой борьбы пролетариата... сплачивает вокруг себя трудящиеся массы в городе и деревне с целью усиления их физической подготовки и физической культуры для того, чтобы они в качестве бойцов смогли принять участие в классовой борьбе пролетариата, поэтому физкультура, гимнастика и спортивные игры не являются их самоцелью, а средствами борьбы пролетариата».

Исполнительный Комитет Красного Спортивного Интернационала обратился ко всем рабочим мира с «Манифестом», в котором содержался призыв присоединиться к новой организации. Манифест обратил внимание коммунистических партий на то, что им необходимо подумать о формировании баз физической культуры и создании коммунистических секций в реформистских спортивных организациях.

Под воздействием этого обращения в норвежской, швейцарской, немецкой, французской, уругвайской, аргентинской, канадской, эстонской, латвийской, литовской и американской организациях Социалистического Рабочего Спортивного Интернационала образовались оппозиционные группы, которые ставили своей целью в первую очередь изменение спортивных программ в духе классовой борьбы и улучшение отношений с Советским Союзом. К советским, болгарским и чехословацким обществам, представлявшим ядро революционной спортивной организации, в 1921 году присоединились уругвайские, эстонские и литовские, в 1922 году — итальянские и норвежские, а в 1923 году — французские спортивные союзы. Менее чем за два года сформировался собственный спортивный профиль самостоятельной организации, которая подводила своих членов к вопросам рабочего движения в первую очередь через физическую культуру.