Zanim powstał SSH, administratorzy systemów Unix polegali na Telnecie i rloginie. Telnet, stworzony w 1983 roku, był protokołem tekstowym, który przesyłał wszystkie dane - w tym nazwy użytkownika i hasła - w postaci niezaszyfrowanej. Każdy, kto miał dostęp do sieci (np. poprzez narzędzie takie jak tcpdump czy Wireshark), mógł przechwycić dane logowania. rlogin, choć wygodniejszy (wspierał zaufanie między hostami), borykał się z tymi samymi problemami - brakiem szyfrowania i podatnością na fałszowanie adresów IP. Dopiero Tatu Ylönen, fiński programista, po wykryciu ataku sniffingowego na swojej uczelni, stworzył pierwszą wersję SSH (SSH-1) w 1995 roku. Protokół ten szyfrował całą sesję, uwierzytelniał serwer i klienta oraz zapewniał integralność transmisji. W 2006 roku grupa robocza IETF opublikowała SSH-2 (RFC 4251-4256), który jest obecnie standardem. SSH-2 wprowadził silniejsze algorytmy kryptograficzne, obsługę tunelowania oraz oddzielenie warstwy transportowej od uwierzytelniania.