殷知道这哥哥现在也没多大用了，不想再见到此人，说道:“卿难道真想留在此处为间？”伟听着心中又是一怵，急急告辞了。
此时，桓玄派出的郭铨、苻宏已经击败了殷派出的在西江口屯兵七千抵御的殷遹，遹败奔。桓玄也已经兵至巴陵，吃在巴陵留下的食粮。殷又急急派出遣杨广、侄子殷道护率兵抵抗。
不久，殷又收到了杨佺期的回信，在桓玄派兵占领巴陵之时，他就向杨求助了。杨的意思是荆州缺少军粮，难以守住，希望殷能屈尊，二人共守襄阳。
殷仲堪在荆州已有八载，不想弃州而走，于是骗杨，说粮草已经准备得差不多了。而实际上，他现在也只能用胡麻犒赏自己的部队。
在巴陵的桓玄终于见到了半年多未见的索元，那家伙还是一样欢乐，他在荆州的表现让他很满意，也更加器重他了。玄问他独自在这边累不累，索元点点头，笑骂灵宝太绝情。
接下来，面对杨广和殷道护的进攻，桓玄又问他下一步做什么，索元说道:“南郡和冯将军领几千兵在巴陵，我带些兵迎战。等我胜后，南郡再紧随而上。”
桓玄反对道:“这样分散了兵力，而且让你一人带兵，太危险了。”
“灵宝大哥放心，这些人不是我敌手，你是主帅，不可妄动。”索元说道。
最后，经过一番的考虑，桓玄最终决定让冯该和索元一同先进兵，自己紧随其后，如果不同，可以给前方援助。当然，桓玄并没有出手，当他赶上时，索元等已经在收拾殷、杨留下的残兵。
屡屡取胜，江陵一带皆为震惊。桓玄乘胜进兵，屯至零口，这里离江陵只有二十里。离江陵越近，桓玄越紧张，殷仲堪，自己该以什么姿态面对他，索元见桓玄面有忧‘色’，问道:“灵宝哥哥怎么了？”
“没什么，我只是在想殷荆州，多年的老友了。”
“荆州也信奉天师道，向鬼神祈祷祭祀时从不吝惜财物，又时对急需帮助的人却过于小气，不是灵宝大哥的对手啦。”索元说道。
桓玄苦笑，说道：“仲堪优点也多，常常亲自替别人把脉诊治。”
“他就会‘弄’些小恩休，工于心计，谋略却短。”一旁的冯该说道，他向来不喜欢殷仲堪。
这些人都是自己的手下，这样说也不奇怪，但也有点道理，可是，让他矛盾的并不是他和殷的优劣问题。
桓玄正犹豫下一步，杨佺期已经领着八千步骑兵来援助了，据说他领的都是‘精’兵，气势如虹。可是，等他到江陵后，却发现殷仲堪只能用米饭犒赏他的军队，明白上了殷的当，再看看这里的惨淡状况，说道：“此战必败。”生气地连殷仲堪也不见，再加上粮草问题，就和兄长直接进攻桓玄。
听闻杨的进攻，桓玄见他势头正盛，下令退兵，索元不服，说道：“胜负不定，不能撤兵？”
桓玄解释道：“佺期兵势旺，一鼓作气攻过来，我们恐怕难以抵挡，即使挡住了，也会损失大半，先避开。”冯该也赞同他的决定。
于是，桓玄退兵至马头，并叫冯该等做好准备，他估计杨会转而进攻郭铨等人。索元显得比较兴奋，立刻嚷着要去，桓玄却叫他留下来看江陵城外的部队，密切关注那里举动。
见桓玄兵退，果然佺期第二天就领兵紧急进攻西江口的郭铨、苻宏等人，佺期勇猛，几乎要生擒郭铨。这时，桓玄、冯该等带着兵马赶到，杨的士兵猝不及防，被桓玄打得大败，佺期逃奔襄阳。
桓玄也不容他逃，立刻叫冯该追捕杨佺期和杨广。