仙公为上古明君葛天氏之后裔，故尊姓葛，讳玄，字孝先，句容（今江苏省镇江市西南部）人，是著名道教大师葛洪的从祖。仙公之父乃汉朝山阴令大尚书，仙公生于汉延熹七年四月初八日。其时有自然道士支道纪来看仙公之宝相，谓其父曰：“此儿有紫气覆之，状如宝盖，神光焕耀，当为神仙。”果不其然，仙公天生俊秀聪颖，天资卓越，博古通今，三坟五典无不概览，深得父母喜爱。
仙公八岁时，父母亲相继去世，仙公尽节孝道。每当看到父亲生前的笔迹，内心便悲痛不已，仰天哭泣。心想：“这世间有不死之道，为什么不学呢？”遂生出世之心，每好弹琴，诵《道德》、《南华》二经，安闲淡泊，清静自守。仙公年十六岁便名震江左，州府郡侯想推举仙公入仕为官，仙公笑着推辞道：“粗茶淡饭、简单的生活是我的乐趣，怎么可以拿荣华富贵与我交换呢？”于是仙公隐居到赤城山，静思学道，经常服食饵药，能够成年累月不吃不喝也不觉得饥饿。
汉朝光和二年，正月初一日，仙公在天台上虞山感郁罗翘、光妙音、真定光，玄一三位真人，将三洞四辅经箓、修行秘诀等传授给葛仙翁。后又遇左慈真人，得受《白虎七变经》《太清九鼎金液丹经》《三元真一妙经》等。三年之后，仙公证道成真，遨游山川，周旋于括苍、南岳、罗浮诸山。
后来汉室倾覆，三国战乱，仙公慈悯众生疾苦，云游度世。有一年大旱，仙公与吴主孙权一同坐在城楼上，看见百姓们成群结队焚香祈祷，在向老天求雨。孙权说：“百姓们企盼下雨，您能让他们免遭干旱之苦吗?”仙公说：“这不难，雨很容易得到的。”仙公画了一张符，贴在祭土地神的庙里。顷刻间，浓云密布，天色阴暗，倾盆大雨，从天而降，道路上的雨水便流成尺余深的小河，孙权又问说：“能使水中有鱼吗?”仙公又画了一道符扔到水里，忽然间成百条鱼在水里游来游去。
葛仙公道法通神，已达炉火纯青的地步，他有许多道术常显于人。一天，仙公和客人一起宴饮，当客人询问变幻的法术，仙公说：“你们想现在就能看到吗?”他边说边吃，把嘴里的饭漱了漱，吐了出来，只见上百只大蜂从他口里飞了出来，说也奇怪，这些蜂全都落在客人身上，但不螫人，过了片刻，仙公张开嘴，那些大蜂又全都飞进他的嘴里，慢慢地嚼了一下，就还原成原来的饭粒。严冬季节，仙公施变术能为客人备上一盘盘新鲜的瓜果；骄阳似火的夏天，他又为客人取来冰雪。
吴嘉禾二年（公元233年），仙公在阁皂山东峰建立卧雪庵，筑坛立灶，烧炼金丹。仙公炼丹时，手里拿着数珠，每天坐在丹炉旁，念诵玉皇大天尊全号一万遍。不久，仙公金丹已成，藏之于东崖石室之中，发愿说：“等我广积功德，超度群灵，酬谢天地，然后再服用丹药，这样位列仙班，我才无愧于心啊！”
仙公常念孤魂野鬼沉沦幽冥地狱，于是编纂灵宝经法、咒诀、符箓，专为度化幽冥鬼魂之用。每于三元五腊、四时八节这些斋日，仙公都会为这些孤魂施食、说法、授戒，度化亡魂托生净土天宫。后世道教的炼度之法无不宗于灵宝，正是由于是葛仙公流传下来的缘故。
仙公一日对弟子张恭说：“我被吴主孙权主所逼留，来不及作大药了，我会在八月十三日中时羽化仙去。”到了这一天，葛玄衣冠整齐进入室中，卧而气绝，颜色不变。弟子烧香守着他，三日三夜。半夜忽起大风，声响如雷。风停再点燃蜡烛时，已失去了仙公的踪影，只见他的衣服委放在床上，衣带都未解开。早晨问邻人，都说没有大风，大风只在这一个屋子里才有。原来仙公已经羽化仙去，仙公住世八十一岁，位证天机内相太极左宫仙公。