第二天早上，老秀才要走了，对韦应物说：“少年人，要是想读书，就去找书读，别怕晚，只要肯学，总能学会。”
老秀才走后，韦应物看着手里的《论语》，心里下了个决心：“我要读书，我要学写诗，我不能再当那个只会耍无赖的韦三卫了！”
读书哪有那么容易？他“一字都不识”，连名字都写得歪歪扭扭。一开始，他找别人帮忙认字，遇到识字的人，就凑过去请教，不管人家烦不烦；后来，他找到一本旧字典（《说文解字》的残本），就抱着字典，一个字一个字地查，查一个记一个，记不住就写在手上、胳膊上，连吃饭、走路都在念叨。
没有纸和笔，他就捡树枝在地上写；没有灯油，他就借着月光读；饿了，就啃口干硬的窝头，边啃边读。有一回，他在河边练字，写着写着，认出了“韦应物”三个字，他高兴得跳起来，对着河大喊：“我认识我的名字了！我会写字了！”
路过的人以为他是疯子，都躲着他，可他不在乎——他终于找到“活下去”的希望了，这种高兴，比以前赌赢了钱、撩到了姑娘还强烈。
他后来在诗里自嘲“读书事已晚”——是啊，别人十几岁就饱读诗书，他24岁才开始认字，确实晚了。他没放弃，别人读一遍，他读十遍；别人写一篇，他写十篇，凭着一股“不服输”的劲儿，硬是把“目不识丁”的底子，一点点补了起来。
韦应物一开始读书，为了“混口饭吃”，读着读着，他发现“诗”这东西，不仅能换饭吃，还能“装下”他的苦、他的痛、他的思念。
他先是“抄诗”。找到别人的诗稿，就一笔一划地抄下来，抄李白的“天生我材必有用”，抄杜甫的“朱门酒肉臭，路有冻死骨”，抄王维的“空山新雨后”。抄着抄着，他就有了想法：“我也能写，我要把我的日子，我的感受，都写进诗里。”
他写的第一首诗，是《逃难》，写的就是他逃亡的日子：“避乱逢乱世，他乡客思深。衣冠迷故国，黎庶尽知音。”虽然写得简单，有点粗糙，这是他第一次，用文字把“苦”说出来，写完后，他哭了——积压在心里的委屈、痛苦，好像都随着笔墨流走了。
后来，他开始给人“写碑文”“题咏”换饭吃。有户人家办丧事，让他写篇碑文，他就根据人家的描述，写逝者的生平，写得情真意切，家属看了哭了，给了他两斗米；有个酒楼开业，让他写首题咏诗，他就写“酒楼高百尺，俯瞰大江流。宾客盈门至，笙歌满座秋”，老板看了高兴，给了他一壶
…。。