La notion de service public s'utilise en droit administratif français depuis 1873. Vers 1900, elle est développée par l'"école de Bordeaux" qui y inclut l'administration proprement dite et les entreprises publiques, ainsi que les entreprises privées qui, produisant des biens et des services dans l'intérêt général, sont au bénéfice d'une concession (Secteur public). La notion française correspond, en droit administratif allemand et suisse alémanique, à celles d'établissement public (öffentlicher Anstalt) et d'assistance publique (öffentliche Fürsorge). C'est le juriste Fritz Fleiner qui, le premier, mentionna cette notion dans une note de bas de page de son œuvre, Institutionen des Deutschen Verwaltungsrechts (81928). En Suisse occidentale, la notion, implantée dans la langue administrative dès 1894, apparaît dans la version française du Code civil suisse de 1907. Jusque dans les années 1980, la version allemande des textes fédéraux la rendait par diverses expressions telles que öffentlicher Gebrauch, öffentlicher Dienst, Staatsdienst ou Grundversorgung. En Suisse italienne, service public est souvent synonyme de fonction publique.
Dans les années 1980, le concept de service public apparut aussi dans les textes législatifs et administratifs rédigés en allemand. Durant la décennie suivante, il connut, dans la foulée du mouvement contesté de libéralisation, dérégulation et privatisation du secteur public, un véritable engouement et devint un slogan politique. L'enjeu central portait sur le sort de prestataires de services alors soumis à de fortes pressions, comme les PTT, les CFF, les transports publics, les entreprises électriques. Alors qu'avant l'ère des réformes, le titulaire d'un service public et la prestation elle-même se confondaient le plus souvent, il fallut, à la fin du XXe s. et sous la pression de la politique de concurrence de l'Union européenne et de la mondialisation, dissocier de plus en plus ces deux aspects, les entreprises ayant perdu leur monopole. Le service public ne se prête que difficilement à une évaluation économique, notamment parce que de nombreux employés (comme ceux des transports publics ou des chaînes publiques de la radio et de la télévision) ne sont statistiquement pas comptés parmi le personnel du secteur public.