司昌龄熟读经史,才高八斗,却终生未入仕途。在雍正末年,有朝中大员推荐他任“鸿博”,他谢绝不赴。乾隆三年,在众人劝说下,他曾去应试。到太原后,因在朋友家发现了傅山先生的一篇佚文,觉得是难得的佳作,他就日以继夜地抄写副本,竟然误了考期,从此再也不去参加应试。乾隆十九年,他被选为后补儒学训导,可一直到老也未有机会补缺。
据说,司昌龄的先世司痒,在宋代时曾任西台御史。司痒为官清正廉洁,对于贪官污吏,嫉恶如仇。某年,司痒回家省亲,路过新乡,听说当地一贪官是朝中一皇子的亲戚,此人仗凭是皇亲国戚,一贯贪赃枉法,他将朝廷下拨的赈灾款私吞过半,并私铸金佛一尊赠予皇子。他怕事情败露,竟残忍的杀死了铸佛的工匠。
司痒得知此事,气愤不已,随即半路停下,扮作农夫暗地察访。在掌握了大量的真凭实据之后,立即返回京城,连夜写好折子上奏皇上,不料奏章被朝中宰辅截留,转给了皇子,皇子大发雷霆,指使一批官员捏造罪名,嫁祸于司痒,打入监牢,迫害致死。
司痒的儿子收尸时,发现司痒的舌头被割掉,从此立下誓言:司家子弟,为农为商决不为官。从此,司家子弟代代相传,或为农,或经商,从不为官。到了明朝,晋商崛起,司家人更是重商轻仕。司昌龄的祖父,生意做得很大,做到了江浙,成为一方富翁。司昌龄的父亲,亦耕亦读,亦儒亦商。司昌龄秉承父教,牢记祖训,深知官场险恶,故而不入仕途。