1987年，留学八年后，40岁的江上舟获得了博士学位，没在瑞士做任何停留，他便匆忙回到了祖国。“这是第一批出国留学人的特色，都想着回国。”到了国内，他才发现，他的移 动 通 信专业搞的单位太少了，英雄一时难有用武之地。“谁能想到移 动 通 信能发展得这么迅速呢？！” 在上海徘徊了两个月，精通德语和英语的他只好听从朋友的劝告，抛弃了自己多年的专业，去了国家经委的外资企业管理局，走入仕途。
1987年9月，和一个中国社科院的朋友去东北出差，路上听到海南要建省，于是向朋友建议：海南建省这样一个大事，你们社科院应该出力啊。筹建中的海南也想到了中国社科院，请他们派专家搞经济规划。朋友知道江上舟曾提过建议，将他也拉了过去。一次偶然的谈话，让江上舟成为十万人才下海南中的一员。
1988年，在海南考察、调研并参与了规划过后三个月，国家经委撤并，没了单位的江上舟只好留在了海南，筹建刚从县级市升格的三亚市。彼时的三亚，有着江上舟想不到的落后——电话号码竟然只有三位！留洋八年的他看不懂：难道大伙装的都是分机？——当时整个三亚安装的电话也不超过1000部。艰苦，江上舟是不怕的。小时候，身为福建省委书记的父亲江一真被政治斗争批判过，人情的冷暖他已经见识，又在最基层的工厂干过8年，吃苦算得了什么。
但官场不是工厂，他有些不适应——1989年三亚选举副市长时，他落选了！现在看来，原因很简单：选举时，别人都争着拉票，他却跑到外地代别人开都不愿意去的民兵会。更要命的是，多年的读书生涯使得他当时并未意识到与下面各乡镇领导熟识的重要性。“现在想来，即便是在发达国家，争取选民支持也是很重要的，可那时候，从政经验太少。”江上舟现在心态已经很平和了。
1991年，再次选举时，他高票当选了三亚市副市长。之后，他大展拳脚：在全国第一个建立了土地交易中心，明确了“要土地不要找市长，要找市场”，实行土地公开拍卖。这一招不仅搞活了土地市场，也为三亚拿到了基础设施建设需用的资金；分管环保的他大力发展三亚的旅游产业，修了十条路建了三座桥。
1993年，亚龙湾已经被列为11个国家级旅游度假区之一。他的认真，他主张的政企分开，无疑会让一些人反感，因为，这断了他们的财路。而他又是为谁呢？妻子吴启迪在上海同济大学教书，他孤身一人在中国的最南端工作，繁忙的工作中他也会想到家。