De historie van de IJ.V.V. De Zwervers is uitgebreid vastgelegd in het jubileumboek hetwelk werd uitgegeven ter gelegenheid van het 75-jarig bestaan van de club. Een kort uittreksel daaruit luidt als volgt :

De vereniging werd opgericht op 19 september 1919. Er werd achtereenvolgens op de volgende locaties gespeeld: Aan de Benedenrijweg tot 1920; aan de Steenplaats (Bovenstraat) tot 1937; aan de Kreekweg / Stadionweg tot 1942; op Varkenoord tot 1949; aan de C.D. Tuinenburgstraat tot 1965; op Varkenoord (interim-periode) tot 1966 en aan de Smeetslandseweg tot op heden. Er werd aanvankelijk in de Kantoor Voetbal Bond Rotterdam (KVOR) gespeeld, alvorens de vereniging in 1940 toetrad tot de Nederlandse Voetbal Bond.

Sportief gesproken ging de club van de 2e klasse RVB (1940) naar de KNVB (in 1958). In de jaren 1970 t/m 1977 ging het de club enorm voor de wind en promoveerde het standaardelftal van de 4e klasse naar de 1e klasse. In 1976 werd zelfs de KNVB-beker voor amateurs gewonnen, het absolute hoogtepunt in de historie van de vereniging. Na 1978 zakte de club terug naar de 3e klasse KNVB. In 1989 beleefde de vereniging een tweede hoogtepunt : Het eerste elftal speelde de finale om de RN-cup, welke helaas verloren ging. In het seizoen 2005-2006 promoveerde het standaardelftal via de nacompetitie naar de 2e klasse KNVB, waaruit het echter helaas alweer na 1 jaar degradeerde. In het seizoen 2007-2008 speelt De Zwervers dus in de 3e klasse KNVB.

In de beginjaren kon de club amper één elftal op de been brengen. In 1947 was de club zelfs op sterven na dood: er waren nog maar 7 leden over! Via actieve ledenwerving werd het vege lijf gered, waarna de club is gegroeid naar een ledental van ca. 640 leden per 1 september 2007. Daarmee lijkt, gezien de beschikbaarheid van velden en kleedkamers, ongeveer het maximum bereikt te zijn! Van die ca. 640 leden is ruim de helft jonger dan 18 jaar, veelal vertegenwoordigd in de groepen C, D, E en F. Zowel jongens als meisjes!

Voor wat betreft de historie moet nog worden vermeld dat de club vasthoudt aan de clubkleuren blauw en rood, uitgedrukt in een blauw shirt, een rode broek en blauwe kousen, welke kleuren verwijzen naar het wapen van IJsselmonde. De IJ van IJsselmonde staat hoog in het vaandel.

De ledenlijst geeft per juli 2006 een totaal aantal leden aan van 650. Dat bestand is als volgt opgebouwd : Pupillen 160; junioren 89; senioren 205; dames/meisjes 54; rustende leden inclusief leden van verdienste en ereleden 142. Buiten het aantal leden hebben we ook nog ca. 50 donateurs en 60 leden van de Club van Vijftig.