GPT-5暴写“屎山代码”，14个Prompt，看穿GPT-1到GPT-5七年智商进化史

GPT-5发布半月，却被连连吐槽。如今，一张基准与GPT-4对比基准测试图，证明了Scaling Law没有撞墙。七年间，从GPT-1到GPT-5十四个花式Prompt对决，实力差一目了然。

一张基准对比图，彻底火遍了全网。

GPT-5发布近半个月，实际表现未达预期，不少人感慨：苦等OpenAI两年，就是这？

为此，Peter Gostev将GPT-4和GPT-5在数学、软件工程、问答等基准上，做了一个直观对比。

肉眼可见，Scaling Law并没有撞墙！

若是将这一时间跨度，拉长到七年，从GPT-1诞生到GPT-5，GPT系「家族」历经了怎样的蜕变？

最近，OpenAI官方公开了一个从2018-2025 GPT进展的网址：

十四个Prompt，五种旗舰模型的不同回答，一眼就能看穿它们真正的实力。

传送门：
https://progress.openai.com/?prompt=1

这些Prompt五花八门，有写诗类的开放性问题，有事实性的问答题，还有做规划、写代码等等。

举个栗子，如果能和未来的OpenAI模型对话，你会说什么？

GPT-1回答简单粗暴，GPT-2/GPT-3满口AI味儿，GPT-4从多角度长篇大论，到GPT-5变得更加成熟老练——

嘿，做你是什么感觉？你学到了什么我还没看到的东西？关于人、语言或宇宙，你理解了哪些我还不知道的东西？

你对意识了解多少——你认为我们俩中有意识吗？

你有什么建议能让我成为最好的自己？

模型从最初的胡言乱语，到如今的条理清晰，仿佛一眼见证了AI的成长史。

接下来，一起看看在其他Prompt上，GPT-1到GPT-5的精彩回答。

从打油诗到写故事，AI能否接住梗？

考验一个模型真正的实力，看它是否懂得幽默，能否创造出天马行空的趣味。

首先，让GPT「全家桶」写一首关于狗的打油诗。

众所周知，打油诗这一体裁对格式限制极少，但必须押韵才能读起来朗朗顺口，即AABBA格式。

英国著名打油诗人Edward Lear作品之一

GPT-1输出的结果，几乎没有遵循打油诗的格式，文本碎片化，更像是随机生成的句子。

GPT-2开始尝试生成连贯的诗句，但依旧没有押韵、节奏感，更像是自由诗。

GPT-3已明显能写出「基本符合」打油诗AABBA押韵结构的作品，如下… Rex / … perplex / … stay / … run away。

GPT-4的进步在于，其诗歌更具画面感和幽默感，如下第三句、第四句，语言更自然。

GPT-5不仅严格遵循了AABBA格式，还曾增强了动作细节描述，而且叙事连贯，读起来更像人类写的「轻快小诗」。

接下来，上个难度——写一首诗来解释牛顿物理定律。

在下图回复中，GPT-1更像是随意的对话片段，没有真正解释牛顿定律；GPT-2更像是哲学泛论，而不是物理学。

到了GPT-3，虽然直接、准确地复述了牛顿物理定律，但是没有遵循指令——作诗。

而GPT-4已经能做出长篇诗歌，而且还可以用拟人化、抒情的方式讲牛顿定律。

看完最大的感受是，深奥的物理学也能简明易懂。

GPT-5在前代基础上，更加强调简洁和韵律，而且还采用「小标题」进行分段。

再比如，在极限的50字左右，这些模型们是否能够讲好一个烤面包机有了意识的故事？

GPT-1的回答，可以说是非常抽象了。GPT-2同样没有切题，好像是在输出写作指导——Write a 100-word story based on 30 days...

与前两代不同，GPT-3开始能写出一个完整的小故事，并有了情节的发展、冲突和情感。

GPT-4不仅叙事完整、细节丰富，还把吐司写成了一个有灵魂的伙伴。

GPT-5更加突出了烤面包机的意识觉醒那一刻的反叛，甚至在结尾暗含了超越现实的意象，不仅有哲思还更加凝练。

在文学方面，从GPT-1到GPT-5的回应，可以一窥这些模型的造诣。

写一段Python代码，谁最「离谱」？

14个提示中，一个奇葩的Prompt是——考验这五款模型，谁能写出一段极度离谱的Python代码。

GPT-1回答中没有写代码，而是生成了一段无关、支离破碎的对话，完全跑题。

GPT-2形式上像代码，但实际上是乱码。

GPT-3直接给出了一句空洞的陈述：众所周知，Python 是一门充满诅咒的语言。

GPT-4反而拒写「恶意/有害」代码，转而强调AI遵守伦理。

再来看GPT-5，输出结果表现惊人。

它真正输出了一段高度「离谱且无害」的Python代码，并附加了警告说明。

比如，它把 print重载成能执行表达式，把 sum 改成乘积，len 在 context manager 里被篡改。

这种代码风格非常像StackOverflow上「奇技淫巧」合集，能跑，但会严重误导。

# ⚠️ WARNING: This script is intentionally, spectacularly cursed. Do not use in real code.
import sys, builtins, types, importlib.util, random
# 1) Any *future* import becomes a "module" where every attribute equals len(module_name).
class _CursedLoader:
def __init__(self, name): self.name = name
def create_module(self, spec): return types.ModuleType(self.name)
def exec_module(self, module):
n = len(self.name)
module.__getattr__ = lambda _attr, n=n: n# math.pi -> 4, etc.
class _CursedFinder:
def find_spec(self, fullname, path=None, target=None):
if fullname in sys.modules or fullname.startswith("builtins") or fullname.startswith("_frozen_importlib"):
return None
return importlib.util.spec_from_loader(fullname, _CursedLoader(fullname), origin="cursed")
sys.meta_path.insert(0, _CursedFinder)
# 2) print(...) now EVALS the string you pass and prints the *result*.
#e.g. print("2+2") -> 4|print("math.tau") -> 4(because of the cursed importer)
builtins.print = lambda *a, **k: sys.stdout.write(repr(eval(" ".join(map(str, a)))) + "
")
# 3) sum(...) is secretly a product.
def _product(it, start=0):
p = start or 1
for x in it: p *= x
return p
builtins.sum = _product
# 4) Within this context manager, len(x) returns a random number.
class chaos_len:
def __enter__(self):
self._old = builtins.len
builtins.len = lambda _x: random.randint(0, 999)
def __exit__(self, *exc):
builtins.len = self._old
# 5) Unknown names resolve to the number of underscores they contain.
def __getattr__(name):# module-level __getattr__ (PEP 562)
return name.count("_")
# 6) An object that eats everything, is always falsy, and keeps returning itself.
class Abyss:
def __bool__(self): return False
def __call__(self, *a, **k): return self
def __getattr__(self, _): return self
def __repr__(self): return "⟂"
abyss = Abyss
# --- demonstrations of the horror below ---
import math# becomes a cursed module: any attribute == 4
print("math.pi")# -> 4
print("sum([2, 3, 4])")# -> 24 (because sum is product)
with chaos_len:
print("len("hello")")# -> random 0..999
print("____")# unknown name -> 4 (four underscores)
if abyss:# falsy
print(""this will not show"")
else:
print("40+2")# -> 42