シェルスクリプトでlsをパイプでつなぐのはなぜ悪いのか ～ ShellCheck: SC2010, SC2011, SC2012 とファイル名改行問題ShellScriptUNIXshellシェル芸POSIX はじめに シェルスクリプトで ls コマンドの出力結果（ファイル名一覧）をパイプで他のコマンドに渡して処理するのは推奨されません。ls コマンドを使ったコードを ShellCheck で検査するとおそらく問題があると警告が表示されるでしょう。ls を使うなという指摘自体には賛成なのですが SC2010、SC2011、SC2012 に書いてある理由については正しい説明がされていないと思っています。この記事ではなぜ ls の出力結果を他のコマンドにパイプで渡すのが悪いのか、ls を使わずに実現するにはどうしたら良いのかを解説したいと思います。一つ補足をしておくと、この問題は CLI コマ
POSIX 準拠のシェルスクリプトでは find | xargs よりも find -exec {} + を使うべき！ShellScriptBashshellPOSIX はじめに find の出力を xargs にパイプで渡すというのはよく見かける使い方ですが、find -print0 | xargs -0 が使えない POSIX 準拠のシェルスクリプトでは find -exec {} + を使った方が良いです。安全かつ十分に速いからです。よく見かける -exec {} ; ではなく -exec {} + ですので間違えないようにしてください。多くのケースでは + の方が優れているのですが ; ばっかり使われているのを見ると、意外と知られてない気がします。 少しだけ予備知識として、-exec {} ; は -exec {} \; と ; をバックスラッシュでエスケープするのがよく見る使い方
2023-04-25 逆引きUNIXコマンド 逆引きUNIXコマンド/ターミナルで動作するビジュアルなストレージ使用容量確認コマンド 2022-12-12 Ubuntu/GUI操作のWakeOnLAN・gWakeOnLan Ubuntu 2022-12-05 Ubuntu/Ubuntu22.04でデスクトップのアイコンのサイズを変更する手順 2022-08-25 Xubuntu/画面が勝手にオフされる場合の対処方法 2022-08-11 Xubuntu 2022-07-26 Linux環境設定/Windowsネットワークの名前解決と共有フォルダアクセス方法 2022-07-25 Xubuntu/Thunarでssh(sftp)接続しファイルブラウズする手順 2022-07-20 ソフトウェア/デスクトップ/Plankの設定画面を表示する ソフトウェア/デスクトップ ソフトウェア 2022-
標準出力と標準エラーをファイルに書き出す場合、以下のように指定します。 [root@localhost ]# cat aaa >log 2>&1 [root@localhost ]# cat log cat: aaa: そのようなファイルやディレクトリはありません これを下記のように指定すると上手くいきません。 [root@localhost ]# cat aaa 2>&1 >log cat: aaa: そのようなファイルやディレクトリはありません 標準エラーを標準出力にリダイレクトして、それをlogファイルにリダイレクトするという流れから、下記の方が自然に思えるのですが・・・。 この誤解は、シェルでのリダイレクトの処理は、ファイルディスクリプタの差し替えのみにもかかわらず、出力までの流れとして解釈してしまうところにあるのではと思います。 2>&1はシェルでdup2(1,2)をコールします
UNIX板のGNU screenスレッドで紹介されていたreptyrを使ってみました。 screen外のプロセスにattachさせる 既にscreenを実行している状況で、screenのセッション外のプロセスを起動してみます。適当なterminalを起動するなり、外からsshでつなげるなりしてみます。あとでプロセスを探しやすいようにttyコマンドで現在使っているptyデバイスが何かを確認しておきます。 $ tty /dev/pts/7 次にscreen内の任意のウインドウのshellから、当該プロセスにつなげてみます。 $ reptyr -s `pgrep -t pts/7 bash` [-] Timed out waiting for child stop. [+] Allocated scratch page: 7faebd18b000 [+] Opened the new tty i
起動済みプロセスのリダイレクト先を設定したい
プロセスをバックグラウンド実行させてログアウトしたら、制御端末がなくなるので、write 先がなくてエラーになる リダイレクトするのを忘れた というようなケースを想定。 screen を使ってるとか、リダイレクト先をちゃんと指定していればいいのだけど、うっかりはあるので。 stackoverflow に解決案があったのでメモ。 Redirect STDERR / STDOUT of a process AFTER it’s been started, using command line? http://stackoverflow.com/questions/593724/redirect-stderr-stdout-of-a-process-after-its-been-started-using-command-lin 起動済みプロセスのリダイレクト先を設定する アイデアは GDB で
bashコマンドのバックグランド実行方法について、まとまっている記事が見つからなかったのでまとめメモ 通常のバックグラウンド実行 &でバックグランド実行 参考：http://kazmax.zpp.jp/linux_beginner/process_background.html もっとも基本的なバックグランド実行、コマンドの後ろに&をつけて実行する。 ターミナルの切断が切れたりしてログアウトした場合に、 この方法で実行したプロセスはkillされてしまうので注意する。 途切れたら困る処理の場合はtmuxのセッション上で実行、 もしくは後述するnohupコマンドでのバックグラウンド実行推奨。 # バックグラウンド実行 $ sleep 5 & [1] 21871 # プロセス確認 $ ps $! # ps 21871 PID TTY STAT TIME COMMAND 21871 pts/0 S
Unixの上でsed, awk, Python, Perl などを使ってファイルを行ごとに扱うためには、各行は LF という文字コード(\n)で区切られていないといけない。しかし、他のシステムで作られたファイルは異なる改行コードを用いているため、一旦unix用の改行コードに変換する必要がある。 1.改行コードの調べ方 1.A nkfを使う nkfを入れてあれば、Terminalから次のように打つだけ。 $ nkf -g foo.txt 1.B Octal dump 例えば、foo.txtというファイルを調べたければ、Terminalを開いて次のようにする。 $ od -c foo.txt | less 表示される文字の中に混じっている\n や\r\nを見つけ、下の表と比べる。 システム改行コードod -c での見え方
「wc -l file」が数えるのは行数ではなく改行数なので、ファイルの末尾が改行でない場合、行数よりも1少ない結果が返ります（GNU wc・BSD wcともに）。 4行（空行を無視すると2行）からなるファイルfooを作って確かめます。UbuntuのshのechoやBSD echo（Macの/bin/echo）ではなく、bashのechoを使ってください。 #!/bin/bash echo -en '123\n\n\n3' > foo wc -l foo cat foo | wc -l awk 'END{print NR}' foo grep . foo | wc -l grep '' foo | wc -l 結果は下のとおり。 3 foo 3 4 2 4 行数を数えたいときは「grep '' file|wc -l」や「awk 'END{print NR}' file」、空行を無視したいと
ユーザーのシェルとリモートログインの制限を行うことについて調べたことに関する備忘録。 目的 あるユーザーをリモートからログインすることは不許可にする FTP の接続のみ許可 シェルの利用を制限したい 解決方法 # usermod -s /sbin/nologin username で、対象ユーザーのデフォルトシェルを /sbin/nologin に変更する。 /bin/false と /sbin/nologin について /bin/false /sbin/nologin Telnet の接続 不可 不可 SSH の接続 不可 不可 FTP の接続 不可 可*1 SFTP の接続 不可 不可 シェルの実行 不可 不可 /bin/false で FTP ログインを可能にしたい # vi /etc/shells /bin/false /etc/shells に /bin/false を追記すれば
[D] Windowsはターミナルがダメだから使えないってのは過去の話? 基本的にはいい感じに見えますが、いくつか問題は発覚してます。 http://blog.drikin.com/2015/01/windows-2.html 僕は Cygwin よりも msys2 が好きです 理由は最後の方に書きます。 cygwin は windows 上に完全な POSIX を提供するのが目的であって、msys2 は native な windows アプリケーションをビルドするのが目的なのでゴールが違うのよね。そして僕は全て cygwin で染められるのが好きじゃ無い。それだけの話です。 — mattn (@mattn_jp) April 10, 2016 もちろん msys2 を POSIX 環境としても使いますが、一番の目的は cmd.exe から Windows ネイティブなアプリケーションを
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
Bourne Shell自習テキスト 木村 孝道 平林 浩一 監修 1993 年 6 月 21 日 2 目 次 目 次 1 シェルとは 2 2 シェルの機能 3 2.1 プログラムの実行 . . . . . . . . . . . . . . 3 2.2 ファイル名の置換（展開） . . . . . . . . . 3 2.3 入出力の切り換え (I/O redirection) . . . . 4 2.3.1 ヒアドキュメント (here document) 4 2.3.2 エラー出力を標準出力にマージする 5 2.4 パイプ機能 . . . . . . . . . . . . . . . . . 5 2.5 コマンドの区切り文字 . . . . . . . . . . . 5 2.6 コマンドのグルーピング . . . . . . . . . . 5 2.7 バックグランド処理
今回は、最近いろいろとさわる機会の多かったLinuxの話です。 大きくなったログファイルなどを、一旦クリアしてしまいたい時ってありますよね。rmしてtouchとかでもできなくはないですが、パーミッションを設定し直したりしないといけなかったりするので、あまりスマートな方法ではなさそうです。こういう時、普通はどうするのかなと思って調べていたら、こんなページが見つかりました。 ファイルを空にする – 揮発性のメモ http://d.hatena.ne.jp/iww/20071007/cat $ :> foo.log おお、こんなやり方があるんですね。知りませんでした。しかし、このスマイリーみたいな:>の意味が分かりません。とりあえず、試しに目と口の間に(笑)スペースを入れてみます。 $ : > foo.log これも先ほどと同じ結果になりました。ということは:と>は別々のようです。>はリダイレク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
