なろうをスクレイピングしてみた。

「小説家になろう」は普通にダウンロードできるので wgetを使います。

wget –wait=5 –recursive –level=1 –no-parent –include-directories=n8139dg https://ncode.syosetu.com/n8139dg/

–wait=5 ウェイトをかけないと Too many access で切られます
–recursive 小説のインデックスからダウンロードするので、再帰します
–level=1 インデックス配下のみでよい
–no-parent 親は不要
–include-directories=n8139dg インデックスには他の小説のリンクが張られているので固定します

ダウンロードできたら整形します。
出力ファイルは以下のようになっているので、スクリプトでディレクトリ移動・ファイル名変更を行います。
n8139dg/1/index.html
n8139dg/2/index.html
n8139dg/3/index.html
(以下略)

(n8139dgをカレントにして)
for fil in * ; do
if [ -d “$fil” ]; then
fil2=`printf “%04d.html” $fil`
echo $fil2

mv “$fil/index.html” “$fil2”
rm -rf “$fil”
fi
done