自古以來，手語是聾人群體的自然溝通媒介，跟聾校教育關係密切，可是歷史上不難看到它的發展受到窒礙。最大的影響是在意大利米蘭 1880 年第二屆國際聾人教育會議中，與會者認為手語學習會妨礙聾人接受教育及融入「正常」社會，便通過取消手語教學，取而代之以口語教學作為聾教育的主導方式。從那時開始，全球的聾校陸續放棄手語教學，聾人當老師的機會便日漸式微。

有關香港手語起源的初步記載可以在香港聾人福利促進會一九八七年出版的《香港手語源流發展》找到一些線索。較詳細的紀錄亦刊載於中大施婉萍教授和一批聾人研究員 (2012)* 的文章中。簡單來說，五十年代内地到港聾校老師創立華僑聾啞學校，是香港手語發展的重要里程碑。他們把上海和南京手語揉合發展中的香港手語，發展成今天的香港手語。在六十年代，香港政府也曾經成立了幾間為聾童而設、以手語為溝通媒介的聾童會。

到了七十年代，由於對手語的誤解日增，香港政府開始支持口語教學政策。與 1880 年米蘭國際聾人教育會議的看法相似，香港聾校改為鼓勵口語教學。其後加上政府大力推動主流學校開展融合教育，聾校從四間減少到目前一間，因此香港手語的發展及聾童的手語使用也相應減少，令香港手語逐漸成爲一種接近「消失」的語言。

2010 年出現了很大的轉捩點，就是在加拿大舉行的第21屆國際聾人教育會議終於推翻了1880年米蘭國際聾人教育會議的決定，認為聾人都應擁有使用手語的權利，因此鼓勵全球聾校重新開始採用手語教學。

2018 年聯合國殘疾人權公約也列明締約國需為聾學生提供有聾同伴和聾成人榜樣的手語學習環境，又需於私營和公共場合提升資訊通達，為聾人提供手語說明和專業手語傳譯。

* 施婉萍、路駿怡、盧瑞華、朱君毅。2012。〈香港早期聾人教育與香港手語的源流的關係〉。《教育學報》。第 39 卷第 1-2 期，頁 139-156.