香玉山的经历也颇为传奇，他的父亲乃“赌神”香贵。
香贵有一好友，乃阴葵派的天字号长老，这位阴葵派长老来做客的时候，无意中透漏了魔教的秘密。
阴癸派长老为了杀人灭口，便传授了一门魔功给香贵。
香贵的赌术虽然精湛绝伦，但自问不是练武的材料，于是便将这门魔功传给了香玉山，也就导致香玉山走火入魔，落下内伤。
后来香玉山遇上了寇仲和徐子陵，两小强觉得香玉山很讲义气，称其为义气山，并以《长生诀》为他治愈了内伤。
香玉山为了控制这两个奇才，不惜骗取两小强的旧识，素素的感情，使素素嫁给了他。
成亲之后，香玉山却又始乱终弃，致素素含恨而死。
素素死后，香玉山知道两小强不会放过自己，便投入突厥国师，“魔帅”赵德言的门下。
他屡次帮赵德言出谋划策，欲除两小强而后快，但都被两小强一一化解。
最终，寇仲以离间计挑唆，使香玉山死在其师赵德言手上，间接为素素报了仇。
李乘风也没想到，来到这扬州城后，竟遇上了香玉山的搭讪，他也就顺水推舟，受到了香玉山的热情款待。
这里是一座规模极大的赌场，人来人往，非常热闹，至少有上千人聚在这里，传出一阵阵的喧嚣之声。
“这里是扬州城最大的赌场！”香玉山得意洋洋的道。
徐子陵皱眉道：“我们没说要赌钱？”
李乘风却道：“既然是香兄为我们安排的，进去玩两把又何妨？”
香玉山哈哈一笑：“这是自己家的场子，赢了算你们的，输了就入我的帐，这边请！”
寇仲与徐子陵相视一眼，立即明白这个香玉山不简单。
他们作为扬州城的小混混，哪里不知道赌场这种生意，没有强硬的背景，谁敢沾手？
不论赌场还是青楼，那都是八帮十会的买卖！
殊不知李乘风应了下来，便是因为香玉山和他的父亲香贵，有着八帮十会的背景。
隋国境内的八帮十会，乃巴陵帮、海沙帮、水龙帮、巨鲲帮等八帮，以及彭梁会、鹰扬派、青霜派、黄山派、祈山派、大江会等十会。
香玉山的老爹香贵，便是巴陵帮的核心人物。
巴陵帮主要经营赌馆和青楼生意，有三百多间赌馆，两百多家青楼，遍布隋国各地。
同时这巴陵帮暗地里帮着杨广，从事贩卖人口的生意。
香玉山主动搭讪，多半不是因为李乘风几人相格不凡，而是看上了绾绾，替杨广搜罗美人！