这句话与咸丰初年两广总督叶名琛有关。有如下说法:
一、当叶名琛由广东巡抚升任两广总督，其官署设于广州 一德路，法国教堂石室旧址，他所留下来的巡抚职位，由满州人贵柏继任，官署设于广州惠爱路，第一公园旧址。因总督和巡抚的官署都设在广州，所以很多事都由总督叶 名琛决定，不必经由巡抚柏贵。
二、叶名琛及其父亲均极迷信扶乩，事无大小都要问于乩 手。叶名琛替他父亲健了一座长春仙馆，让他住在里面。 馆内供奉了吕洞宾和李太白。甚至一切日常军枢机的行动 亦取决于扶乩。在英、法联军进攻广州，他亦问扶乩，乩 语说过了十五日便可无事，因此其下属虽多次求他设防他 亦不答应，结果广州在十四日后开始被攻陷。后来便有人,说是洋人收买了乩手阿贵，但因为这事甚么秘密，详细情 况世人没法知道。
三、“唔使问阿贵啦”这个阿贵，是南宋时珠玑巷38姓98户举家南徙的领导者、组织者——罗贵。
罗贵对开拓南疆作出了重大贡献，千万后裔至今仍不忘800多年前贵祖率众履险南迁的家史。
公元1132年（南宋高宗绍兴元年），得官府批准后，罗贵率众大举南迁（逃建炎苏妃召之难），此次迁徙跋涉千里，时经两月，备受艰险。走水路者斩竹结筏，从正月十六日沙水解缆，出浈水，下北江，漂流二个月，三月十六日到达冈州（新会），子孙繁衍，历宋、元、明、清、民国，迄今800多年，一派远播，后裔遍布珠江三角洲一带，散居广东、广西、海南各地。在不断迁徙中，后裔们养成了开拓进取精神，不株守家园。“唔使问阿贵啦”这句话就这样诞生，并流传开来。“唔使问阿贵啦”所蕴涵的，是大迁徙时期“克绍箕裘，开拓进取”的精神。大迁徙后，历代子孙都能审时度势，不失时机地择土而居，寻求新的发展。鸦片战争之后，后裔走出国门，在东南亚、欧美各国创家立业，足迹遍及世界各地。 “唔使问阿贵啦，一定系甘样！”（不用问阿贵了，这样一定没错！”