公元618年(唐高祖武德元年)，北海郡(今山东潍坊、盖都等地)的明经(官位名)刘兰成投降了起义军首领綦公顺。
投降后的第二天，刘兰成向綦公顺请战：“让我挑选150名壮士，去袭击北海郡城。”綦公顺心中好笑：“带这么少的兵去攻打，岂不是以卵击石?今天倒要见识一下刘兰成的手段。”他脸露微笑：“好，满足你的要求!” 到了第二天早晨，城里士兵远望没有敌人踩起的烟尘，马上快快活活出城打柴放牧。接近中午，太阳光越来越毒，刘兰成率领10个人直扑城门下。城上卫兵大惊失色，立即击鼓传报。刘兰成布置下的那80名游动士兵耳听鼓声，迅速四出活动，大抢牲畜，活捉正在打柴、放牧的一些敌兵后立即离开。
城下的刘兰成估计自己的人已经得手，突然放慢了脚步，领着那10名士兵大摇大摆离开城门，从容不迫地返回。城里冲出了大批将士，可看到刘兰成逛街一样安稳，生伯有埋伏，哪还敢轻举妄动。他们远远地跟在后面，尾随观察动静。一会儿，他们看到前面战旗飘扬，更远的地方冒起大团大块的浓烟。这批官军个个胆战心惊：不好，烟尘飞扬，准有大批伏兵!马上掉头返回。
刘兰成不费吹灰之力，俘获了那些敌兵和牲畜，并达到了以小股部队骚扰大批敌人的目的。