talkie：实践指南

如果把talkie放进候选清单，不能只看热度；它的定位是talkie 是 1930 年的老式语言模型。对日常自动化任务来说，输入边界、依赖和失败处理如果不清楚就很难稳定复用往往决定它能否落地，不能只用安装成功来判断。与其反复读介绍，不如用一项范围明确的真实任务完成最小试跑，再依据配置时间、输出质量、异常信息和维护痕迹做取舍。它更像给愿意先做小范围验证并复查原始文档的团队准备的可审查方案，是否长期使用应由试跑数据决定。

talkie - 1930 年的 13B 复古语言模型

talkie 是由 Alec Radford、Nick Levine 和 David Duvenaud 开发的有声 13B 语言模型系列的推理库。

talkie-1930-13b-base 是一个在 1931 年之前的英语文本上训练的 13b 语言模型。

talkie-1930-13b-it 已使用根据 1931 年之前的参考著作（包括礼仪手册、书信写作手册、百科全书和诗歌集）构建的新颖的指令遵循数据集进行指令调整。它还使用在线 DPO 进行了强化学习，以提高指令跟踪能力。

我们还提供了一个“现代”基础模型 talkie-web-13b-base，其架构和训练 FLOPs 与 talkie-1930 相同，但在 FineWeb 上进行训练，以便在现代模型和复古模型之间进行受控比较。请注意，我们需要谨慎对待我们对比模型的行为和功能所做的声明，因为时间覆盖范围并不是预训练语料库中的唯一差异。例如，主题的分布差异很大。

有关详细信息，请参阅我们的 博客文章。

该包提供了简单的Python API 和 CLI 从 HuggingFace 下载模型并运行推理。

型号

名称	HuggingFace	风格	描述
talkie-1930-13b-base	talkie-lm/talkie-1930-13b-base	基地	1930 时代的基础语言模型
talkie-1930-13b-it	talkie-lm/talkie-1930-13b-it	IT	1930 时代指令调整模型
talkie-web-13b-base	talkie-lm/talkie-web-13b-base	基地	与 talkie-1930 相同的架构，但在 FineWeb 上进行训练

安装

git clone https://github.com/talkie-lm/talkie.git
cd talkie
uv sync

要求

• Python >= 3.11
• PyTorch >= 2.1
• CUDA GPU 且 >= 28 GB VRAM（bfloat16 推理）
• 每个型号 ~26-50 GB 磁盘空间

快速入门

Python API

from talkie import Talkie

# Load a base model (downloads from HuggingFace on first use)
model = Talkie("talkie-1930-13b-base")

# Generate a completion
result = model.generate("If scientists discover life on other planets,", temperature=0.7, max_tokens=300)
print(result.text)

# Stream tokens
for token in model.stream("The effects of the automobile on public morality have"):
    print(token, end="", flush=True)

聊天（指令调整模型）

from talkie import Talkie, Message

model = Talkie("talkie-1930-13b-it")

# Single-turn
result = model.generate("Write an essay predicting what life will be like in the year 1960.", max_tokens=600)
print(result.text)

# Multi-turn chat
messages = [
    Message(role="user", content="What were the causes of the French Revolution?"),
]
result = model.chat(messages, temperature=0.7)
print(result.text)

# Stream a chat reply
messages.append(Message(role="assistant", content=result.text))
messages.append(Message(role="user", content="Which of those causes was the most significant?"))
for token in model.chat_stream(messages):
    print(token, end="", flush=True)

预下载模型

from talkie import download_model

# Download before loading (useful for setup scripts)
download_model("talkie-1930-13b-base")

CLI

# Generate text
uv run talkie generate "Once upon a time" --model talkie-1930-13b-base -t 0.8

# Interactive chat
uv run talkie chat --model talkie-1930-13b-it

# Download a model
uv run talkie download talkie-1930-13b-base

# Download all models
uv run talkie download all

# List available models
uv run talkie list