我的编程空间,编程开发者的网络收藏夹
学习永远不晚

用python写个博客迁移工具

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

用python写个博客迁移工具

前言

最近不少写博客的朋友跟我反馈博客园的一些文章下架了,这让我联想到去年简书一样,我之前写的博客都被下架不可见了。

我最开始接触的博客网址是 csdn、思否、简书还有博客园等,但是后期发现,单论博客的生态感觉做的越来越不行,干货虽然很多,但是垃圾、标题党很严重,我自己也有一些博文被莫名的搬走直接标为原创。

虽然搜问题在上面还是能搜到很多解决方案,但写作的欲望降低了很多。

综上我从去年入驻掘金,并以掘金作为博客的主平台。个人感觉掘金团队对个人原创的保护是非常好的,同时也在不断的听取用户的建议而去改进。有问题与建议能随时与掘金的同学讨论、沟通,非常方便。

掘金的成长

最开始的时候,掘金也是面试、标题党满天飞,但是掘金的运营大佬逐步整顿起来之后,文章的质量有了显著的提高,并且也不断推出有利于新手作者、高质量博文的各种活动,鼓励新人创作、老人分享。

同样在我入驻掘金之后,作为一个长期用户,新人作者,也是见证了这段时间以来掘金为了社区活跃,博客质量而做的种种努力。

而最开始使用掘金的 markdown,能吐槽的地方还是很多,但掘金的研发也非常给力,吸纳了用户的建议后,最新升级的 markdown 编辑器也是广受好评,使用过你就知道真相定律是什么了。

掘金在使用的时候,一直有种特殊的感觉,是一种很纯粹的 coding 情怀。并不仅仅只是一个单纯的博客平台,而是一直致力于社区共建、开源项目、掘金翻译计划等等的建设,为技术社区打造一片纯粹干净的后花园。

搬家命令行工具

那么作为程序员,手动搬文章显然是略 low 的

所以写了一个简单的 python 脚本,有兴趣的同学可以使用它将 cnblogs 上面已有或者创作中的草稿转移到掘金来。

如果有兴趣可以试试改造的更完美点,但不建议泄露自己的隐私信息

环境配置

脚本跑起来需要 python3 环境,所以先安装一下 python 环境

请在 cookie.json 中补充博客园与掘金的 cookie

使用 python3 main.py -h 查看使用说明

作为程序员应该都了解 cookie 是啥,也知道从哪里捞出来吧

使用方法

还是上个获取 cookie 的图吧,哈哈

请先在 cookie.json 中替换 cookie_cnblogs 与 cookie_juejin 为自己在对应站点上的 cookie


请自行替换user_name与blog_id
// 下载单篇文章到默认目录'./cnblogs' 并输出日志到'./log'
python3 main.py -m download -a https://www.cnblogs.com/{{user_name}}/p/{{blog_id}}.html --enable_log 

// 下载用户所有文章到目录'/Users/cnblogs_t'
python3 main.py -m download -u https://www.cnblogs.com/{{username}} -p /Users/cnblogs_t

// 上传单篇文章到掘金草稿箱
python3 main.py -m upload -f ./cnblogs/{{blog_id}}.html

// 上传'./test_blogs'下所有的html文件到掘金草稿箱
python3 main.py -m upload -d ./test_blogs

main.py

新建 main.py 文件,将下述 python 代码复制进去


# coding=utf-8
import requests
import os
import argparse
import sys
import json
from lxml import etree
from urllib.parse import urlparse
import logging
reload(sys)
sys.setdefaultencoding('utf-8')

parser = argparse.ArgumentParser()
args_dict = {}
list_url_tpl = 'https://www.cnblogs.com/%s/default.html?page=%d'
draft_url = 'https://api.juejin.cn/content_api/v1/article_draft/create_offline'
jj_draft_url_tpl = 'https://juejin.cn/editor/drafts/%s'
cnblog_headers = {}
log_path = './log'

def myget(d, k, v):
 if d.get(k) is None:
  return v
 return d.get(k)

def init_parser():
 parser.description = 'blog move for cnblogs'
 parser.add_argument('-m', '--method', type=str, dest='method', help='使用方式: download下载 upload上传到草稿箱', choices=['upload', 'download'])
 parser.add_argument('-p', '--path', type=str, dest='path', help='博客html下载的路径')
 parser.add_argument('-d', '--dir', type=str, dest='rec_dir', help='制定要上传的博客所在文件夹')
 parser.add_argument('-f', '--file', type=str, dest='file', help='指定上传的博客html')
 parser.add_argument('-u', '--url', type=str, dest='url', help='个人主页地址')
 parser.add_argument('-a', '--article', type=str, dest='article_url', help='单篇文章地址')
 parser.add_argument('--enable_log', dest='enable_log', help='是否输出日志到./log', action='store_true')
 parser.set_defaults(enable_log=False)

def init_log():
 root_logger = logging.getLogger()
 log_formatter = logging.Formatter('%(asctime)s [%(levelname)s] %(pathname)s:%(lineno)s %(message)s')
 console_handler = logging.StreamHandler(sys.stdout)
 console_handler.setFormatter(log_formatter)
 root_logger.addHandler(console_handler)
 if myget(args_dict, 'enable_log', False):
  if not os.path.exists(log_path):
   os.mkdir(log_path)
  file_handler = logging.FileHandler('./log/debug.log')
  file_handler.setFormatter(log_formatter)
  root_logger.addHandler(file_handler)
 root_logger.setLevel(logging.INFO)
 
def download():
 cookies = json.load(open('cookie.json'))
 headers = {'cookie': cookies.get('cookie_cnblogs', '')}

 dir_path = myget(args_dict, 'path', './cnblogs')
 if dir_path[len(dir_path)-1] == '/':
  dir_path = dir_path[:len(dir_path)-1]
 if not os.path.exists(dir_path):
  os.mkdir(dir_path)
 
 article_url = myget(args_dict, 'article_url', '-1')
 if article_url != '-1':
  logging.info('article_url=%s', article_url)
  try:
   resp = requests.get(article_url, headers=headers)
   if resp.status_code != 200:
    logging.error('fail to get blog \'%s\', resp=%s', article_url, resp)
    return
   tmp_list = article_url.split('/')
   blog_id_str = tmp_list[len(tmp_list)-1]
   with open(dir_path+'/'+blog_id_str, 'w') as f:
    f.write(resp.text)
   logging.info('get blog \'%s\' success.', article_url)
  except Exception as e:
   logging.error('exception raised, fail to get blog \'%s\', exception=%s.', list_url, e)
  finally:
   return

 raw_url = args_dict.get('url')
 rurl = urlparse(raw_url)
 username = (rurl.path.split("/", 1))[1]
 page_no = 1
 while True:
  list_url = list_url_tpl%(username, page_no)
  logging.info('list_url = %s', list_url)
  try:
   resp = requests.get(list_url, headers=headers)
   if resp.status_code != 200:
    break
  except Exception as e:
   logging.error('exception raised, fail to get list \'%s\', exception=%s.', list_url, e)
   return
  html = etree.HTML(resp.text)
  blog_list = html.xpath('//div[@class=\'postTitle\']/a/@href')
  if len(blog_list) == 0:
   break
  for blog_url in blog_list:
   tmp_list = blog_url.split('/')
   blog_id_str = tmp_list[len(tmp_list)-1]
   blog_resp = requests.get(blog_url, headers=headers)
   if resp.status_code != 200:
    logging.error('fail to get blog \'%s\', resp=%s, skip.', blog_url, resp)
    continue
   with open(dir_path+'/'+blog_id_str, 'w') as f:
    f.write(blog_resp.text)
   logging.info('get blog \'%s\' success.', blog_url)
  page_no += 1

def upload_request(headers, content, filename):
 body = {
  "edit_type": 0,
  "origin_type": 2,
  "content": content
 }
 data = json.dumps(body)
 try:
  resp = requests.post(draft_url, data=data, headers=headers)
  if resp.status_code != 200:
   logging.error('fail to upload blog, filename=%s, resp=%s', filename, resp)
   return
  ret = resp.json()
  draft_id = ret.get('data', {}).get('draft_id', '-1')
  logging.info('upload success, filename=%s, jj_draft_id=%s, jj_draft_url=%s', filename, draft_id, jj_draft_url_tpl%draft_id)
 except Exception as e:
  logging.error('exception raised, fail to upload blog, filename=%s, exception=%s', filename, e)
  return
 

def upload():
 cookies = json.load(open('cookie.json'))
 headers = {
  'cookie': cookies.get('cookie_juejin', ''),
  'content-type': 'application/json'
 }
 filename = myget(args_dict, 'file', '-1')
 if filename != '-1':
  logging.info('upload_filename=%s', filename)
  try:
   with open(filename, 'r') as f:
    content = f.read()
    upload_request(headers, content, filename)
   return
  except Exception as e:
   logging.error('exception raised, exception=%s', e)
 
 rec_dir = myget(args_dict, 'rec_dir', '-1')
 if rec_dir != '-1':
  logging.info('upload_dir=%s', filename)
  try:
   g = os.walk(rec_dir)
   for path, dir_list, file_list in g:
    for filename in file_list:
     if filename.endswith('.html'):
      filename = os.path.join(path, filename)
      with open(filename, 'r') as f:
       content = f.read()
       upload_request(headers, content, filename)
  except Exception as e:
   logging.error('exception raised, exception=%s', e)
  return


if __name__ == '__main__':
 init_parser()
 args = parser.parse_args()
 args_dict = args.__dict__
 init_log()

 empty_flag = True
 for k, v in args_dict.items():
  if k != 'enable_log' and v is not None:
   empty_flag = False
 if empty_flag:
  parser.print_help()
  exit(0)

 if args_dict.get('method') == 'upload':
  upload()
 else:
  download()
 pass

cookie.json

本地新建 cookie.json 文件,与 main.py 同级


{
 "cookie_cnblogs": "请替换为博客园cookie",
 "cookie_juejin": "请替换为掘金cookie"
}

github 地址

最后附上 github 地址,里面除了 demo 的 源码之外也有录制好的一个视频,有兴趣的同学可以下载使用或者研究研究,脚本有问题或者写的不好改进的地方也可以互相探讨下。有意见也可以随时留言反馈

以上就是用python写个博客迁移工具的详细内容,更多关于python 博客迁移的资料请关注编程网其它相关文章!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

用python写个博客迁移工具

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

python利用文件读写编写一个博客

本文实例为大家分享了python利用文件读写编写一个博客的具体代码,供大家参考,具体内容如下 代码展示import random import json import time import osdef zhuce():print("***
2022-06-02

怎么用python编写一个图片拼接工具

本文小编为大家详细介绍“怎么用python编写一个图片拼接工具”,内容详细,步骤清晰,细节处理妥当,希望这篇“怎么用python编写一个图片拼接工具”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。代码展示这里写了两
2023-06-28

使用python怎么编写一个本地应用搜索工具

这篇文章主要介绍了使用python怎么编写一个本地应用搜索工具,此处通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考价值,需要的朋友可以参考下:python可以做什么Python是一种编程语言,内置了许多有效的工具,Pyt
2023-06-06

使用Python编写并实现一个具备人工智能的聊天机器人(包含代码和步骤)

聊天机器人是一种人工智能,它通过应用程序或消息来模拟与用户的对话。本文我们将使用Pytho的chatterbot库来实现聊天机器人。该库生成对用户输入的自动响应。响应基于库中实现的机器学习算法。机器学习算法使聊天机器人在收集用户响应时更容
使用Python编写并实现一个具备人工智能的聊天机器人(包含代码和步骤)
2024-01-22

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录