一些程序丛书合辑：
(from Kindle)
O'REILLY 动物书
https://m.readhub.one/shelf/1
Maning 人物书
https://m.readhub.one/shelf/4
PACKT
https://m.readhub.one/shelf/2
SAMS & Teach Yourself
https://m.readhub.one/shelf/3
(from Kindle)
O'REILLY 动物书
https://m.readhub.one/shelf/1
Maning 人物书
https://m.readhub.one/shelf/4
PACKT
https://m.readhub.one/shelf/2
SAMS & Teach Yourself
https://m.readhub.one/shelf/3
来自频道: @lover_links
谈起俄国作家，一定无法绕过陀思妥耶夫斯基。如果说托尔斯泰像泰山一样引人注目，那么陀思妥耶夫斯基就像华山，虽然没有泰山那样巍峨，但若是攀登过华山，就会为其险峻折服，甚至为之着迷。
许多作家都评论过陀氏，纪德、茨威格可以说是其拥趸。此前曾在《三大师》读后感中提过，我从未看到有人评价陀氏如茨威格那样精确。现在我读毛姆，他则从另一个角度解读陀氏──他品行恶劣、堕落放荡、嫉妒成性，究其一生都被自己的激情所摆布。倘若他并非如此睿智，抑或如此扭曲邪恶的话，这激情足以让他变得荒唐而可悲。
这段对陀氏的表述真实地展现了毛姆的毒舌。陀氏的一生充满了悲剧，入狱、癫痫、沉迷赌博、负债累累……这些经历让他堕入深渊，也成就了他。毛姆精辟地点评为「就像施过粪肥的地里长出的西瓜最为甜美一样，创造力唯有在掺杂了种种邪恶品质的土壤中才能茁壮生长。」
https://weiyexing.noto.so/2023-02-09
许多作家都评论过陀氏，纪德、茨威格可以说是其拥趸。此前曾在《三大师》读后感中提过，我从未看到有人评价陀氏如茨威格那样精确。现在我读毛姆，他则从另一个角度解读陀氏──他品行恶劣、堕落放荡、嫉妒成性，究其一生都被自己的激情所摆布。倘若他并非如此睿智，抑或如此扭曲邪恶的话，这激情足以让他变得荒唐而可悲。
这段对陀氏的表述真实地展现了毛姆的毒舌。陀氏的一生充满了悲剧，入狱、癫痫、沉迷赌博、负债累累……这些经历让他堕入深渊，也成就了他。毛姆精辟地点评为「就像施过粪肥的地里长出的西瓜最为甜美一样，创造力唯有在掺杂了种种邪恶品质的土壤中才能茁壮生长。」
https://weiyexing.noto.so/2023-02-09
来自频道: @lover_links
来自频道: @lover_links
我们的中文互联网不足以提供高质量的训练数据。什么是高质量的数据？比如维基百科、高质量的活跃论坛、专业新闻、学术论文、高质量代码、图书。
我们看看GPT–3的训练数据是什么。权重最大的数据集是OpenWebText（开源版本）,数据是从Reddit论坛上收集的URL，再把内容抓取下来。Common Crawl是一个开放的互联网数据存档（英文占一半，中文大概5%）。其他一些代表性的数据包括Wikipedia维基百科，Books开放图书，Stack Exchange 技术问答社区，Github 代码，ArXiv论文，RealNews 新闻存档，PubMed 医疗数据。可以看到，由中文互联网产生的数据，比例低到可以忽略。这也是困扰很多试图训练中文大模型的问题，但实际上，ChatGPT的用中文沟通的能力，已经远超那些专门的中文大语言模型了，背后原因是GPT隐式学到的翻译能力。
没有好的中文数据，我们就只能搭全球互联网的数据顺风车。上面这些优质数据的产生，需要开放的社区，我们似乎无解。
我们看看GPT–3的训练数据是什么。权重最大的数据集是OpenWebText（开源版本）,数据是从Reddit论坛上收集的URL，再把内容抓取下来。Common Crawl是一个开放的互联网数据存档（英文占一半，中文大概5%）。其他一些代表性的数据包括Wikipedia维基百科，Books开放图书，Stack Exchange 技术问答社区，Github 代码，ArXiv论文，RealNews 新闻存档，PubMed 医疗数据。可以看到，由中文互联网产生的数据，比例低到可以忽略。这也是困扰很多试图训练中文大模型的问题，但实际上，ChatGPT的用中文沟通的能力，已经远超那些专门的中文大语言模型了，背后原因是GPT隐式学到的翻译能力。
没有好的中文数据，我们就只能搭全球互联网的数据顺风车。上面这些优质数据的产生，需要开放的社区，我们似乎无解。
来自频道: @lover_links