司马芝，字子华，河内郡温县人。年轻时以书生身份避乱荆州，在鲁阳山遭遇贼寇。同行的人纷纷丢下老弱逃亡，唯有司马芝守护在母亲身边不肯离去。贼寇持刀逼近，司马芝叩头哭求：“母亲年老，恳请诸位放过她！”贼寇感叹：“这是个孝子，杀他不合道义。”司马芝因此幸免于难，随后用简陋的鹿车推着母亲继续逃亡。他在南方隐居十多年，亲自耕种，坚守节操。
曹操平定荆州后，任命司马芝为菅县县长。当时天下初定，很多人不遵守法度。菅郡郡主簿刘节是地方大族，为人豪侠，家中宾客千余家，这些人在外为盗，在内扰乱吏治。司马芝到任后，派遣刘节的门客王同等入伍当兵。掾史劝阻道：“刘节家从未服过徭役，这次必定会藏匿门客，给县里留下隐患。”司马芝不予理睬，写信给刘节：“您是地方大族，又身兼郡中要职，却纵容宾客从不服役，百姓早已怨声载道，甚至流言传到上级那里。如今征调王同等入伍，请及时遣送。”
士兵在郡中集结后，刘节果然将王同等藏匿起来，还指使督邮以军事为由责难菅县。县中掾史走投无路，请求代替王同服役。司马芝却快马疾驰至济南，向太守详细陈述刘节的罪状。太守郝光一向敬重司马芝，竟下令让刘节代替王同入伍。青州百姓为此称赞司马芝“能让郡主簿去当兵”。
后来司马芝调任广平令。征虏将军刘勋深受曹操宠信，为人骄横，又是司马芝的同乡旧识。他的宾客子弟在广平境内多次犯法，刘勋写信给司马芝（信中不署姓名），多方请托包庇。司马芝不予回复，一概依法处置。后来刘勋因谋逆被诛杀，与他交往的人大多获罪，唯独司马芝因公正执法受到称赞。（《魏略》记载：刘勋字子台，琅邪人，中平末年任沛国建平县长，与曹操有旧交。后任庐江太守，被孙策击败后归附曹操，封列侯。刘勋自恃与曹操旧情，日益骄横，多次犯法并诽谤朝政，被李申成告发后处死，其侄刘威也被免官。）
司马芝升任大理正（司法长官）时，有人盗窃官藏丝织品丢在厕所旁，官吏怀疑是织女所为，将其逮捕入狱。司马芝指出：“施用刑罚若有过失，往往因苛暴而起。如今先查获赃物再逼供，如果犯人经不起刑讯，就可能被迫认罪。靠刑讯得到的供词，不足以断案。况且简明易从，才是治理的大道。不放过有罪之人，只是平庸的治世之道。如今宽宥可疑之人，弘扬简易的道义，不也是可行的吗？”曹操采纳了他的建议。
此后，司马芝历任甘陵、沛国、阳平太守，所到之处皆有政绩。黄初年间，他入朝担任河南尹，抑制豪强，拒绝私人请托。一次，有宦官想通过司马芝的妻子的伯父董昭（时任朝廷重臣）说情，董昭竟也畏惧司马芝，不敢代为通融。司马芝还向下属发布教令：“君主能设立法度，却不能保证官吏不犯法；官吏可能犯法，却不能保证君主不察觉。设立法度却有人触犯，是君主的不足；犯法而被察觉，是官吏的灾祸。上有不足，下有灾祸，政事怎能清明？大家务必自我约束！”下属官吏从此无不勤勉自励。