1940年出生於重慶，戰後隨父母定居台灣新竹，中學畢業保送上台灣大學物理系。大學時期深入思考信仰問題，1962年台灣大學物理系畢業，1964年受洗成為基督徒。1969年獲美國康乃爾大學物理學博士學位。

1969-1973年，任教於若歌大學物理系。1973-1976年，美國匹茲堡大學訪問學者。1976-1998年，擔任美國艾克桑石油公司研究部門物理企劃主管，並從事研究工作。1990年，獲德國普朗克研究獎，並獲選為美國物理學會會士。1998-2009年，美國普林斯頓大學資深研究員。2009-2012年，美國普林斯頓神學院訪問學者。

除了在物理學界的成就外，黃小石同時以長老身分在美國新澤西州的若歌教會事奉，為若歌教會創始人之一。曾任華福科技佈道事工主任、眾聖徒協會董事、基督使者協會董事會主席等職。多年來經常應邀到世界各地講演，反應熱烈。黃小石勤於筆耕，相關論著見於各刊物。