张居正是政治家，李贽是哲学家，他们同样追求自由，有志于改革和创造，又同样为时代所扼止李贽近于马基雅弗利，但是他的环境不容许他像霍布斯洛克一样，从个人主义和唯物主义出发构成一个新的理论体系他察觉到自己有自私自利的一面，别人也是如此，但他不能放弃孔子所提倡的仁这样，他只好在形而上学中找到安慰——世间的矛盾，在“道”的范畴中得到调和而且消失这在心学中也有类似的理论，即至善则无形，至善之境就是无善无不善
这样的唯心主义已经带上了神秘的色彩，很难成为分析历史现象的有效工具而另一方面，他思想中唯物主义的部分也并不彻底这使李贽不可能从根本放弃以伦理道德为标准的历史观，因之自相矛盾的评论随时会在他笔下出现比如他赞成寡妇守节殉夫，但对卓文君的私奔，又说是“归风求凰，安可诬也”他斥责王莽、张角，但又原谅了很多历史人物，有如五代史中的冯道这些人物的所作所为和当时的道德规范不相符合，李贽认为情有可原因为，从长远来看，他们为国家人民带来了更多的利益这些以远见卓识指导自己行动的人物，足以称为“上人”，而李贽自己能作出这种评论，则成了“上人”之上的“上上人”
这些在理论上缺乏系统性的观点，集中在他编订的《藏书》之中李贽对这部书自视甚高，称之为“万世治平之书，经筵当以进读，科场当以选士，非漫然也”，并且预言“千百世后”，此书必行他认识到，他的观点不能见穿于他所处的社会，然而这个社会需要如何改造才能承认他的观点，在书中却不着一字在今天的读者看来，他心目中的“千百世后”，皇帝仍然出席经筵，科场仍然根据官方所接受的历史观取士，则仍为一个矫饰的社会
1601年初春，芝佛院被一场人为的火灾烧得四大皆空据说纵火者乃是当地官吏和缙绅所指使的无赖这一案情的真相始终未能水落石出，但却肯定与下面的一个重要情节有所关联
李贽在麻城的支持者梅家，是当地数一数二的大户，家族中的代表人物梅国桢又正掌理西北军事梅国桢有一个孀居的女儿梅澹然曾拜李贽为师，梅家的其他女眷也和李贽有所接触这种超越习俗的行动，在当时男女授受不亲的上层社会里，自然引起了众人的侧目而视但是李贽对舆论不加理睬，反而毫无顾忌地对澹然和她的妯娌大加称赞他和她们往来通信，探讨学问他著作中所提到的“澹然大师”、“澄然”、“明因”、“善因菩萨”等等，就是这几位女士他说：“梅澹然是出世丈夫，虽是女身，男子未易及之”又说：“此间澹然固奇，善因、明因等又奇，真出世丈夫也他在著作中，理直气壮地辩解自己和她们的交往完全合于礼法，毫无“男女混杂”之嫌，但是又不伦不类地写下了“山居野处，鹿系犹以为嬉，何况人乎”这些话他把澹然比为观世音，并把和这几位女士谈论佛学的文稿刊刻，题为《观音问》他还有一首题“绣佛精舍”的诗：“闻说澹然此日生，澹然此日却为僧僧宝世间犹时有，佛宝今看绣佛灯可笑成男月上女，大惊小怪称奇事陡然不见舍利佛，男身衰隐知谁是？我劝世人莫浪猜，绣佛精舍是天台天欲散花愁汝着，龙女成佛今又来！”
写作这些诗文函件的时候，李贽已年近七十，而且不断声称自己正直无邪，但是这些文字中所流露的挑战性，无疑为流俗和舆论所不能容忍反对者举出十余年前李贽狎妓和出入于孀妇卧室的情节，证明他的行止不端具有一贯性；对这种伤风败俗的举动，圣人之徒都应该呜鼓而攻之
事情还有更为深刻和错综的内容李贽的这种行动，在当时的高级官僚看来，可以视为怪僻而不必和公共道德相联系但下级地方官则不能漠然置之因为他们负责基层的行政机构，和当地绅士密切配合，以传统思想作为社会风气的准则，教化子民他们的考成也以此为根据李贽的言行既然有关风化，也就是和官僚绅士的切身利益有关然而如果把问题仅仅停留在这一点上，也还是皮相之谈因为对官僚绅士自己来说，行为不检甚至涉及淫乱，本来是所在多有，毫不足怪如果他们本人不事声张，旁人也可以心照不宣李贽究竟无邪还是有邪，可以放在一边不管，关键在于他那毫无忌惮的态度他公然把这些可以惹事生非的情节著为文字，而且刊刻流传，这就等于对社会公开挑战，其遭到还击也为必然而且，他的声名愈大，挑战性就愈强烈，地方官和绅士也愈不能容忍，对他进行惩罚已属责无旁贷这些人雇佣地痞打手焚烧芝佛院，行为可谓卑劣怯弱，但在他们自己看来，则属于卫道
这次事件已经早有前兆5年之前，即1596年，有一位姓史的道台就想驱逐李贽仅仅因为李贽的朋友