BLOGKID

google.co.jp 新デザインをテスト中！？

Thu, 14 Aug 2008 18:33:03 +0900

今回で２回目です。北京オリンピックイヤーということでホリデーロゴが通常とは違います。

Hadoopで遊んでみる。（その１）

Fri, 21 Mar 2008 22:45:37 +0900

詳しくは、
　Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける

本家
　http://hadoop.apache.org/core/

・・・遊んでみよう！

=============================
インストール＆設定

Hadoop構成：
　

　server1 : JobTracker + NameNode
　server2 : SecondaryNameNode
　server3 : TaskTracker + DataNode
　server4 : TaskTracker + DataNode

環境：
　Java
　　　　/usr/local/java
実行ユーザ： hadoop
　Hadoopインストールルートディレクトリー
　　　　・・・ http://hadoop.apache.org/core/ よりダウンロード（Ver 0.16.1）
　　　　/home/hadoop/hadoop
Hadoopファイルシステム
　　　　/home/hadoop/filesystem

　各サーバ間でSSH接続が出来る事。

環境構築：
　server1 でパスフレーズなしのキーペアを作成。
　% ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　生成されたid_dsaファイルを名前を変えてserver2 からserver4へコピー
　コピー先：/home/hadoop/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys　　　←パーミッションを変更

設定ファイル：
　ファイル：/home/hadoop/hadoop/conf/hadoop-env.sh
　内容：JAVA_HOMEを設定

　　export JAVA_HOME=/usr/local/java

設定ファイル：
　ファイル：/home/hadoop/hadoop/conf/hadoop-site.xml
　内容： sever1,2,3,4共通

                fs.default.name
                server1:9000


                mapred.job.tracker
                server1:9001


                dfs.name.dir
                /home/hadoop/filesystem/dfs/name


                dfs.data.dir
                /home/hadoop/filesystem/dfs/data


                mapred.system.dir
                /home/hadoop/filesystem/mapred/system


                mapred.local.dir
                /home/hadoop/filesystem/mapred/local


                dfs.replication
                1

　ファイル：/home/hadoop/hadoop/conf/masters
内容： server1のみ

server2

　ファイル：/home/hadoop/hadoop/conf/slaves
内容： server1のみ

server3
server4

ファイルシステムを構築：
　＃server1 上で実行　

$ cd /home/hadoop/hadoop
$ bin/hadoop namenode -format

　　※ /home/hadoop/filesystem　配下にHadoopのファイルシステムが構築

起動：
　＃server1 上で起動させる。
　$ cd /home/hadoop/hadoop
　$ ./bin/start-all.sh　　　　　（停止は、stop-all.sh）

　各サーバ上で確認（Javaのjpsコマンドで確認。jps自体も表示されるが省略）
　server1 :
　　　% jps
　　　7808 NameNode
　　　7942 JobTracker

　server2 :
　　　% jps
　　　8255 SecondaryNameNode

　server3,4
　　　4328 DataNode
　　　4414 TaskTracker

=============================
ファイルを格納：

例としてインストールした hadoopを格納（hadoop_putという名前で格納）
　$ cd /home/hadoop
  $ ./hadoop/bin/hadoop dfs -put hadoop hadoop_put

　確認
  $ ./hadoop/bin/hadoop dfs -ls
　Found 1 items
　/user/hadoop/hadoop_put
           2008-03-25 17:47

　取り出し（hadoop_getという名前で取り出し）
　$ ./hadoop/bin/hadoop dfs -put hadoop_put hadoop_get

ファイルシステム（NameNode ）の状況を確認：
　　　WEBブラウザより確認（server1のポート50070 へアクセス）
　　　http://server1:50070

=============================
Jobを投入：

例１：Sudoku (サンプルデータ：puzzle1.dta　を解析）
$ cd /home/hadoop/hadoop
$ ./bin/hadoop jar hadoop-0.16.1-examples.jar sudoku src/examples/org/apache/hadoop/examples/dancing/puzzle1.dta

8 5 1 3 9 2 6 4 7
4 3 2 6 7 8 1 9 5
7 9 6 5 1 4 3 8 2
6 1 4 8 2 3 7 5 9
5 7 8 9 6 1 4 2 3
3 2 9 4 5 7 8 1 6
9 4 7 2 8 6 5 3 1
1 8 5 7 3 9 2 6 4
2 6 3 1 4 5 9 7 8

例２：円周率
$ cd /home/hadoop/hadoop
$ ./bin/hadoop jar hadoop-0.16.1-examples.jar pi 10 10000

Number of Maps = 10 Samples per Map = 10000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
08/03/25 20:09:45 INFO mapred.FileInputFormat: Total input paths to process : 10
08/03/25 20:09:46 INFO mapred.JobClient: Running job: job_200803251837_0002
08/03/25 20:09:47 INFO mapred.JobClient: map 0% reduce 0%
08/03/25 20:09:50 INFO mapred.JobClient: map 20% reduce 0%
08/03/25 20:09:52 INFO mapred.JobClient: map 60% reduce 0%
08/03/25 20:09:53 INFO mapred.JobClient: map 80% reduce 0%
08/03/25 20:09:54 INFO mapred.JobClient: map 100% reduce 0%
08/03/25 20:10:01 INFO mapred.JobClient: map 100% reduce 100%
08/03/25 20:10:02 INFO mapred.JobClient: Job complete: job_200803251837_0002
08/03/25 20:10:02 INFO mapred.JobClient: Counters: 9
08/03/25 20:10:02 INFO mapred.JobClient:   Job Counters
08/03/25 20:10:02 INFO mapred.JobClient:     Launched map tasks=10
08/03/25 20:10:02 INFO mapred.JobClient:     Launched reduce tasks=1
08/03/25 20:10:02 INFO mapred.JobClient:     Data-local map tasks=7
08/03/25 20:10:02 INFO mapred.JobClient:   Map-Reduce Framework
08/03/25 20:10:02 INFO mapred.JobClient:     Map input records=10
08/03/25 20:10:02 INFO mapred.JobClient:     Map output records=20
08/03/25 20:10:02 INFO mapred.JobClient:     Map input bytes=240
08/03/25 20:10:02 INFO mapred.JobClient:     Map output bytes=320
08/03/25 20:10:02 INFO mapred.JobClient:     Reduce input groups=2
08/03/25 20:10:02 INFO mapred.JobClient:     Reduce input records=20
Job Finished in 16.432 seconds
Estimated value of PI is 3.14412

Map/Reduce（JobTracker ）の状況を確認：
　　　WEBブラウザより確認（server1のポート50030 へアクセス）
　　　http://server1:50030

　　　前例の円周率は時間がかかるので、この間管理画面より状態が解る。　　　

官公庁の内閣ＷＥＢサイトの検索エンジン

Wed, 09 Jan 2008 17:31:07 +0900

宮内庁のWEBページの検索エンジンがNamazuだったので他の内閣はどんなエンジンを使っているか調べてみた。

Namazu（ふーん）
　宮内庁：http://www.kunaicho.go.jp/
　人事院：http://www.jinji.go.jp/
　総務省：http://www.soumu.go.jp/
　法務省：http://www.moj.go.jp/
　経済産業省：http://www.meti.go.jp/
　防衛省：http://www.mod.go.jp/

Google アプアライアンス（たぶん・・・）
　農林水産省：http://www.maff.go.jp/

・・・以下不明な検索エンジン（Inktomiかと思ったり思わなかったり・・・）

不明ソフトウェアの検索エンジンその１
　内閣官房：http://www.cas.go.jp/
　文部科学省：http://www.mext.go.jp/
　外務省：http://www.mofa.go.jp/mofaj/

不明ソフトウェアの検索エンジンその２
　内閣法制局：http://www.clb.go.jp/
　内閣府：http://www.cao.go.jp/
　公正取引委員会：http://www.jftc.go.jp/
　金融庁：http://www.fsa.go.jp/
　環境省：http://www.env.go.jp/

不明ソフトウェアの検索エンジンその３（Javaベース）
　国家公安委員会：http://www.npsc.go.jp/
　警察庁：http://www.npa.go.jp/

不明ソフトウェアの検索エンジンその４（PHPベース）
　財務省：http://www.mof.go.jp/

不明ソフトウェアの検索エンジンその５
　厚生労働省：http://www.mhlw.go.jp/

不明ソフトウェアの検索エンジンその６
　国土交通省：http://www.mlit.go.jp/

・・・
※参考までに、このサイトで横断的に検索出来ます。

Google新デザインをテスト中？

Fri, 05 Oct 2007 23:31:01 +0900

　家のMac+FireFoxでGoogleの検索に「新デザインに切り替える」ボタンがついた。　このボタンを押すとデザインが変わったので、会社で普通にMacユーザと話したところあまり信じてもらえなかったので、画像をアップロード！　もちろんiGoogleではないし、Google関係の拡張機能といえばToolbarを入れているぐらい。　あまり良く調べていませんが新デザインのテスト中かな？ 「新デザインに切り替える」ボタンがある。 新デザインの画面。　タブでメニューが見やすくなっている。

ＨＥＲＯとレミーのおいしいレストランを観てきた。

Mon, 10 Sep 2007 19:23:02 +0900

久しぶりに一人になる時間が出来たので、ＨＥＲＯとレミーのおいしいレストランを観てきた。
　
HERO はドラマも全て観ていたのとストーリーのテンポが好きだったので映画版も観にいきましたが、感想は懐かしかったものの松たか子の髪型が変わってしまった事が非常に気になった。　当初のテレビ版でも昨年のスペシャルでも変えていなかったのに何故劇場版ではばっさりと切ってしまったのだろうか？　一応楽しめたものの個人的にはスペシャル版が一番好きです。

この日は１本だけ見ようと思い行きましたが都合により時間が空いてしまったので、もう１本レミーのおいしいレストランも見ましたが案の定子供だらけ。　そこへおじさんが一人で、、、怪しいと思われても仕方ないと思いましたが最後まで鑑賞しました。　見た感想ですがコンピュータ感を感じさせず、もはやCGとは思わせないピクサーの技術に関心し、内容も大人ながらに感動し非常に良かったです。　家に帰ってから奥さんに話したところ是非見たいと言っていたので年末にはDVDで販売されるとの事なので買ってやろうと思いました。

Purple Include

Tue, 21 Aug 2007 19:30:32 +0900

面白かったのでエントリー
Purple Include Test of Blogger Integration

↑このページの説明に従ってJavaScriptを埋め込み、以前書いたエントリー
http://www.blogkid.com/weblog/archives/001498.html　から
「Google Talk Gadget」の文字列というか最初に出現するH1タグの情報を取得する場合は次のような書き方をすれば取得出来ます（他にも色々な取得方法があります）

href="http://www.blogkid.com/weblog/archives/001498.html#xpath(//h1[1])"
>

↓こんな感じで取得できます。

※JavaScriptとサーバサイドのプログラムで実現しています。
※日本語は化けます。サーバ側のプログラムを変更しないとたぶん無理です。

ツールを使ってJavaScriptを圧縮

Thu, 16 Aug 2007 19:50:54 +0900

Introducing the YUI Compressor のツールで prototype.js （ 96311 バイト）を圧縮すると。

% java -jar yuicompressor-1.0.jar prototype.js

prototype-min.js( 58672 バイト )というファイル名に変換され約４割圧縮する事が出来た。 jscsscomp というツールも試してみましたが、私の環境では、prototype.js の圧縮でエラーになった。　しかしこのツール本来であれば複数のCSSやJavaScriptを１つにまとめる事も出来るのでなかなか面白い。

MacBook Proを購入

Wed, 15 Aug 2007 00:06:09 +0900

　奥さんのPCが７年目に入りかなりガタがきていたのでVISTAが動くPCを検討していましたが、Windowsに飽きたり友達でMacユーザが多い事等に影響されMacBook Proを購入しました。　本当は新型のiMacも勧めましたがリビングには大きすぎるという事で結局ノート型になりました。　しかし奥様のパソコンとはいえ当面は私が毎日遊びます。アップル、MacBook Proをアップデート

MovableType4 へバージョンアップ

Fri, 10 Aug 2007 19:58:18 +0900

８月８日にシックス・アパートからリリースされました、MovableType4 へバージョンアップへバージョンアップしました。
Movable Type 4 を出荷開始します

バージョンアップはダウンロードから２分程度で完了し、デザインはVOXにあるデザインを使えますがいろいろと、ごにょごにょすること３０分、悩む事もなく簡単に３列デザインへ変更できました。

使ってみての感想ですが操作性が非常に良くWYSIWYGはもちろん、テンプレートを個別での管理やインクルードしているテンプレートの視覚化とリンクなど・・・ＭＴ３から大幅に変更されましたが違和感なく使えました。

cfengineでhostsファイルを同期させる。

Fri, 10 Aug 2007 12:05:48 +0900

稀に聞かれるのでメモ・・・ cfengineで/etc/hostsファイルを１時間毎に同期させる手順。 ○環境例

* cfengineのサーバホスト名　　　　：cfserver * cfengineのクライアントホスト名　： cfclient * ネットワークセグメント　　　　　　　： 192.168.0.0/24

ダイハード４．０とハリポッター最新作

Mon, 23 Jul 2007 01:08:20 +0900

先週の土曜日（２１日）に奥様の友達が家に遊びに来ると言う訳で、１日映画館へ避難しました。久しぶりの映画鑑賞でしたが、どうしても観たかったダイハード４．０と、ハリーポッタの最新作、不死鳥の騎士団の２本連続して観ました。　まずはダイハード。　非常にいいです。何がいいかってストーリー、アクション、どんぱち度全てのバランスが良いです。　ブルースウィルスも歳をとりましたがそんなの一切感じられない演技でした。次はハリーポッター。　前作より死者が出ていますが今回も死者が出ることと、ハッピーエンドでは終わりません。　大人の私はいいですが、もはや子供向けの映画とは思えない感じです。　あと２作で完結ですが、ここまで来るとたぶん又劇場に足を運ぶでしょう！そういえば、作者のＪ・Ｋ・ローリングさん。　今は知りませんが４年前はエリザベス英女王より資産が多かったんですね。　いやーすごい！　

DRBDで遊んでみる。

Tue, 12 Jun 2007 01:55:31 +0900

最近なんとなく気になって１回も遊んだ事がなかったDRBDを簡単に試してみた。 http://www.drbd.org/ DRBDとは何ですか? から抜粋

DRBDはブロックデバイスで、ハイアベイラビリティクラスタを構築するように設計されています。これはブロックデバイス全体をネットワーク(専用ネットワーク)経由でミラーリングすることによって実現されます。いわゆるネットワークRAID1として考えることができるでしょう。

Google Gearsで遊んでみる。

Fri, 08 Jun 2007 02:08:25 +0900

Google Developer Dayで発表になりました、Google GearsですがGoogle Codeにサンプルがあったので、今更ですがダウンロードして遊んでみた。　http://code.google.com/apis/gears/tools.html 　http://code.google.com/apis/gears/GoogleGears_SamplesAndTools.zip 　※WEBから登録したデータがローカルDB（SQLite)へストアされるデモです。　　⇒このテクノロジーに対してセキュリティへの心配がある人はここから先の操作はしないで下さい。　　○まずはGoogle Gearsをインストールする。　　○そして次のURLへアクセス。セキュリティーのポップアップが表示されるますが、これを許可。　http://www.blogkid.com/googlegears/samples/hello_world_database.html 　　⇒適当に３ワード登録する。　　○クエリーを発行するツールへアクセス。セキュリティーのポップアップが表示されるますが、これを許可。　http://www.blogkid.com/googlegears/tools/dbquery.html 　　⇒ select * from sqlite_master　のSQLが左上に表示されるの、Execute ! 　　⇒ Demoテーブルがあるのが確認できる。　○Demoテーブルの中を見てみる。　　⇒ 先ほどの結果の下側にある、"Enter SQL statement here"を押す。　　⇒ 文字が消えるので、"select * from Demo;" と入力し、Execute ! 　　⇒ 前に登録した文字列の結果が表示される。　　⇒ ブラウザをオフラインの状態にしても同様の結果が解る。　○基本的にSQLであれば一般的な事が出来るので、SELECT / DELETE / NSERTなどは可能　○私の環境はWindowsXP + IE7 ですが、この場合次の場所へDBが構築される。

　　C:\Documents and Settings\[USERNAME]\Local Settings\Application Data\Google\Google Gears for Internet Explorer\www.blogkid.com\http_80\database-demo#database

　　⇒[USERNAME]はログインしている環境　　※クライアントの環境により構築される場所は変わります。　　　　　http://code.google.com/apis/gears/api_database.html#directories 　　---- 　何かこれを使った面白いアイデアはないかな・・・　　関連：　　【ハウツー】"ブラウザ+Gears"でここまでできる! Google GearsのDB機能を使ってみよう

Google Developer Day 2007 - 東京へ行ってきました。

Fri, 01 Jun 2007 02:08:03 +0900

仕事の都合、残念ながらレセプションパーティーへ参加する事は出来ませんでしたが、グーグルのイノベーションを肌で感じることが出来た楽しい１日でした。　Google Developer Day 2007 - 東京　グーグルの人たちのブログ　午前は基調講演でGreg Steinからオープンソースへの取り組みを聞きましたが、全ての人達（エンジニア）が幸せになる為に貢献している事がとても良く理解する事ができました。　次は、はてなの伊藤直也さんの公演でしたが、はてなのサービス作りの基盤の説明や私はコミュニーティーにおける「清濁混合」と言う言葉が印象的でした。　次はグーグルの及川卓也さん、終始淡々とした説明でしたが、ここにサプライズがありました。　突然 Google Gears ( http://gears.google.com/ ) の話しをしましたが、これが凄い！オフラインでも作業可能なようにクライアント側へSQLiteを入れてそこでデータを入れて、アクセス可能なようにする。　そのうちクライアント間でもこのデータをコピーしたり共有出来るようにもなれば面白いですね。　午後はセッションが選べ私は次のセッションに参加し主な感想。　⇒ Google Maps API Introduction　：　クリス・アテナシオさん 　　　・まだＡＰＩを使った事のない初心者の方にも解かりやすいセッションだったと思う。　　　・サンプルページのコードの表示の切り替え/実行などのデモに感心。　　　・新しいＡＰＩの表示するマーカー数を指定出来るのは知らなかった。 ⇒ KML-Geographical Format For Earth & Maps　：　Bruno Bowdenさん 　　　・日本語での挨拶に会場が盛り上がった。　　　・地図上のデータだけでなく、時系列でデータを観測できるのは知らなかった。　　　・kmzフォーマットについて理解できた。 ⇒Intro to Google Data APIs...： Ryan Boydさん 　　　・GDataはあまり使った事はありませんでしたが認証画面の存在などで興味が沸いた。　　　・なんでもかんでも出来る魔法のＡＰＩという事が理解できた。 ⇒Software Engineer in Google　：鵜飼文敏さん 　　　・スーパーエンジニアの集団である事を改めて認識。　　　・ソフトウェアは、PerForceで管理している。　　　　他のに変えようなんて話もある。　　　・コード・レビューには、Mondorian というPythonベースのウェブソフトウェアを使っている。　久しぶりに一日がかりのセミナーで疲れましたが、ホント有意義な一日でした。　帰りにお土産のＴシャツの頂き、ありがとうございました。　スタッフの皆さんお疲れさまでした。。。

Wii コントローラで Google Maps を操作

Fri, 06 Apr 2007 19:04:29 +0900

Wii の Opera ブラウザのボタンを認識するJavaScriptを見つけたので、試しにGoogle Maps へ対応させてみた。

http://www.blogkid.com/googlemaps-wii/
　
以下ボタン操作説明

十字キー：スクロール
Ｂボタン：表示モード切替（地図→航空写真→地図＋航空写真）
＋：縮小
－：拡大
１：表示している場所を記憶させる
２：記憶させた場所へ移動

ＩＥでは動作しないが、一応FireFoxではこのテストサイトにある、キーバインドで動きます（Wii用に作ったので細かいところまでは対応していません。）
　　
正直なところ作ってみたものの、あまり面白くはなかった。　Wii　コントローラの傾きを検知する事ができれば少しは面白くなったと思いますが、そんな事できるのかな？