从专业角度讲，日本漫画很多是借鉴浮世绘的东西，不管是在颜色的运用，还是在画面的构成上。而浮世绘本身是版画，而你学的水墨和版画从绘画材料、工具和技巧上都有很大的差别，水墨讲究的是使用毛笔的表现力来突出画的美象。笔触、风格差别较大。所以我的理解是，从绘画美学的角度艺术都是相通的，但是具体到绘画技巧上还是很有大差别。可能一些绘画经验就不能生搬硬套了。
学漫画不要太着急，一个问题一个问题的解决。看你问题中提到“尝试临摹了几幅但是感觉不对劲，人物比例色彩都不像”，建议先从草图开始，草图从人物开始，人物从头部开始，头部从面部及五官开始，能够完成草图并比较熟练之后，再开始练习上色部分。其实上色看起来简单，但是真正要画好真的不容易，我就见过很多草图高手，但是一到上色马上就哑火了。所以色彩部分不要急，放在最后学习，没错的。
其实你的速写和水墨绘画基础对你画漫画肯定有大帮助，只是你还没有掌握漫画自身的一些特点而已。比如速写一般比较写实，而漫画里面有很多的夸张表现，就拿人物比例来讲，漫画里面1~9头身都可能出现，这个在其他绘画类型中可能就很少见了。鉴于你有基本的绘画基础，建议你重点找出他们的***通处的同时，特别也要区分漫画绘画的自身特点，可能会事半功倍吧。
看到你追问有没有漫画学习的图书，这个也是我正想说的，初学漫画真的需要专业书籍的指点，漫画的自身特点很多，如果有一套好的图书指点，相信你会在漫画的道路上走的更远。如果从基础入门一点的角度，我推荐三本图书《漫画素描技法从入门到精通——基础篇》（高性价比）、《漫画技法圣经》（权威）、《日本大师讲漫画——基础篇》（专业），前两本是国内最好的漫画技法图书的作者，C·C动漫社出版的最经典的入门书，最后一本是相对难一点的日本漫画家的作品。C·C动漫社的两本书适合比较基础的读者，内容照顾周全，看起来很贴心，绘画中的疑问点都有解答，最重要的是性价比高，书都非常厚，但价格算是公道吧。《漫画技法圣经》稍微贵一些，但是里面是彩色印刷，说是学习效果能提高很多，并且超级厚，印刷很好。日本作者的书相对就要难一点，不太在基础方面下太多的笔墨，更从漫画创作的角度出发，角色设定、故事脚本等高级一点内容涉及更多。提供三书的封面供楼主参考吧，当当网就应该有卖的。
画漫画最重要的是多加练习，熟练了就不难了，一开始是临摹别人的，慢慢的也就能形成自己的画风了，写了这么多全是因为热爱漫画，同时希望对楼主有所帮助