Pierwowzorem Toastmasters była seria spotkań szkoleniowych, przeprowadzonych w 1903 r. przez Raplha C. Smedleya w ramach działalności w YMCA. Jako dyrektor do spraw edukacji w placówce YMCA w Bloomington, w stanie Illinois, Smedley zdał sobie sprawę z zapotrzebowania na naukę publicznego przemawiania. Zorganizował klub, którego nazwę, Toastmasters, zasugerował mu generalny sekretarz YMCA, George Sutton. Na każdym spotkaniu klubu następowała rotacja obowiązków. Członkowie kolejno obejmowali role mówców i sędziów. Wygłaszane mowy oceniał przede wszystkim sam Smedley wraz z doświadczoną ekipą ewaluatorów. Do ekipy tej zapraszani byli również młodsi klubowicze, w celu nauki dawania innym informacji zwrotnych. W ten sposób uczono zarówno przemawiania, jak i postaw liderskich.
W 1910 r., po objęciu przez Ralpha Smedleya posady generalnego sekretarza YMCA w Rock Island w stanie Illinois, klub przeniósł się do nowej siedziby i szybko rozrósł się do 75 członków (oddział w Bloomington przetrwał jeszcze rok). Gdy Smedley opuścił Rock Island, klub zniknął razem z nim. Kolejny krótki epizod w historii Toastmasters to trzyletnia działalność klubu (1919-1922) w San José, w stanie Kalifornia, zakończona przeprowadzką Smedleya do Santa Ana.
W 1924 r. Ralph Smedley powołał w Santa Ana w stanie Kalifornia nowy klub Toastmasters, nazwany Klubem nr 1 (ang. Club No. 1), działający pod skrzydłami YMCA. Pierwsze spotkanie przeprowadzono 22 października. Jesienią 1925 roku J. Clark Chamberlain odwiedził Santa Ana i dwa miesiące później założył drugi oddział Toastmasters w Anaheim. Idea klubu szybko zaadaptowała się w Los Angeles, Long Beach oraz innych miastach południowej Kalifornii. Reprezentanci poszczególnych klubów postanowili wówczas powołać wspólną organizację.
Nowa organizacja potrzebowała nazwy. Z racji, że jej działalność sięgnęła już kanadyjskiego miasta Kolumbia Brytyjska, postanowiono o wyborze Toastmasters International. W 1930 r. nastąpiło zrzeszenie 30 klubów, organizacja otrzymała swój oficjalny status 19 grudnia 1932 r. Ralph Smedley objął w niej funkcję sekretarza i edytora materiałów szkoleniowych (wcześniej przygotował podręcznik zawierający 10 lekcji publicznego przemawiania).
W 1941 r. Smedley zrezygnował z działalności w YMCA aby poświęcić więcej czasu na Toastmasters International. W czasie II wojny światowej zarządzał organizacją ze swojego małego biura w Santa Ana. Po wojnie zastąpił go nowy sekretarz, Ted Blanding. Raplh Smedley do końca życia pozostał prezesem ds. edukacji i stałym członkiem zarządu.
Ralph Smedley umarł w 1965 r.. Dziesięć lat później prezesem został Terrence McCann, olimpijski zapaśnik, pełniący swoją funkcję aż do emerytury w 2001 roku. Kolejni prezesi to Donna Groh (2001–2008) oraz Dan Rex (od 2008 r. do dnia dzisiejszego).
W 1990 roku organizacja stała się zbyt duża dla swojej siedziby w Santa Ana, zadecydowano wówczas o przeprowadzce do Rancho Santa Margarita w stanie Kalifornia.