De oorsprong van deze familie ligt in Delfshaven, waar de oudste bewezen stamvader eind zestiende eeuw woonde en werkte als bakker en scheepsboekhouder. Mogelijk was hij zoon van een mede-eigenaar van een vissersschip aldaar, wat de familienaam zou kunnen verklaren. In de tweede generatie had een gereformeerd predikant als laatste standplaats Culemborg. Bartholomeus Visscher (IV, 1658-1719) was hier notaris en procureur en trouwde met Hillegonda Adrietta van Gaasbeeck, een burgemeestersdochter. Zij was bovendien een nicht van Jan van Riebeeck, de bekende stichter en commandeur van de Kaap. Ook andere van haar familieleden hadden hoge posities bij de VOC. Deze relaties zullen een rol hebben gespeeld bij de loopbaan van haar twee zoons, die beiden voor de VOC naar Oost-Indië gingen en er een hoge functies bekleedden. 
Van volgende generaties waren diverse leden prominent in de bestuurlijke en rechterlijke macht, voornamelijk te Utrecht.

In 2023 is de hier beschreven tak van de familie uitgestorven. Een midden achttiende eeuw afgesplitste tak Visscher van Gaasbeek leeft nog voort in het buitenland.
 

In groen drie zwemmende zilveren vissen boven elkaar, de koppen overtopt met een gouden kroon. Helmteken: een vis met de kop omhoog tussen een vlucht, alles zilver. Dekkleden: groen, gevoerd van zilver.

De oudst bekende wapenvoerder is Bartholomaeus Visscher (IV, 1658-1719), blijkens diens zegel als procureur op een gerechtelijk stuk d.d. 16 nov. 1703 (Regionaal Archief Rivierenland, Archief van de gerechtsbank van het graafschap Buren (toegang 1512), inv.nr. 372).
Als weduwe van Bartholomeus Visscher (A, Va, 1698-[1756]) zegelde Arnolda de Joncheere op 30 jan. 1758 met een gevierendeeld wapen: I en IV als boven; II en III een linkerschuinbalk vergezeld rechts van een met een ster beladen schildje (Van Gaasbeek) (Het Utrechts Archief, notarissen Utrecht, not. mr. J. Smit, inv.nr. 1507, akte 45).
In een aquarel uit omstreeks 1787, betreffende de begrafenis van mr. Cornelis Govert Visscher (B, VI,2, 1764-1787), wordt het veld in blauw weergegeven en zijn de kronen rechts voor de vissenkoppen geplaatst (Centraal Museum Utrecht, inv.nr. 1025). Op de herdenkingsprent van Leonard Jozef Ferrier uit 1787 ter nagedachtenis van dezelfde Cornelis Govert (Rijksmuseum, NG-657) is het veld echter schuin gearceerd, waarmee groen wordt bedoeld.
Ook wordt in J. Rietstaps Armorial Général (1884) de vlucht van het helmteken als groen beschreven, doch zonder persoonsvermelding of bron.
Een zegelstempel uit het begin van de 19de eeuw (eigendom van nazaten) toont een gevierendeeld wapen: I en IV als boven; II en III in zilver drie klaverbladen. De laatste zijn vermoedelijk een misinterpretatie van het familiewapen Boogaert: in zilver drie bomen. Mr. Gerardus Anthony Visscher (VIII, 1762-1827) trouwde in respectievelijk 1799 en 1809 met twee zusters Boogaert (van Alblasserdam).
 

Zie voor meer informatie over de naam Visscher de Nederlandse Familienamenbank.

N.B. De informatie aldaar kan ook een gelijknamige, niet-verwante familie (of families) betreffen.