大学院の有志チームで参加していたRICOH & Java developer challenge2011でRICOH賞をいただきました。
アプリケーション機能は非常にシンプルでしたが、顔認識技術とビジネスモデルとの組み合わせ、アプリケーションとしての完成度が評価されたのではと思います。また、水着の三愛がリコーの傘下といこともあり、画像解析 × ファッションレポート のアプリケーションが受け入れられたのもあるようです。
グランプリの北陸先端技術大学院さんも顔画像技術を使用されており、エンタープライズアプリケーションにおいてもこれらの技術は注目されているのだと感じました。
また、他チームのアイデアや実装は素晴らしく、若い方々の発想力に驚きました。もう少しブラッシュアップすればRICOHからアプリケーションとして出ても良いのではと思われるアプリケーションもあり良い刺激をもらえました。
約8ヶ月ほど、チームで活動をしてきましたが、最後に良い結果が出て良かったです。チームの皆さんありがとうございました。
大学院の有志メンバと参加しているRICOH & Java Developer Challenge 2011の最終選考に提出できました。
9月末に１次選考（Emulator編）を無事通過し、最終選考へ向けて実機上でMFPアプリケーションを開発してきました。
5月にチームを発足してから半年以上と長期に渡って活動してきましたが、ようやくシンプルながらも面白いモノが完成しました。
このプログラミングコンテストからは技術的な部分のみでなく、チーム活動の進め方という点に関しても多くの得る事あった為、参加して良かったと思います。
最終選考は2012/1/12（木）です。あと、Ustreamでも放送があるそうです。
Lesson3, Lesson5, Lesson6で開発したプログラムをもとに、Lesson7用の仕様を追加していきます。
これにより、自身の計測値さえあれば、開発に対する多少のブレを含めた上での見積時間と見積総行数を見積もることが出来ます。
※ なお、Lesson5, 6に関しては、クラスとして利用出来るよう変更してください。
Lesson7: 「線形回帰パラメータと予測区間を計算する」
● プログラム仕様スクリプト
ASGKIT PROG7を参照のこと
● 実行結果
線形回帰パラメータと予測区間を計算する
rxy: 0.954497 r2: 0.911064 tail area: 0.000018 β0: -22.552533 β1: 1.727932 yk: 644.429384 range: 230.001974 UPI: 874.431357 LPI: 414.42741
● ソースコード
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.math.BigDecimal;
import java.text.DecimalFormat;
import java.util.Iterator;
import java.util.LinkedList;
/**
* PSP Lesson7:
* 線形回帰パラメータと予測区間を計算する
*
*/
public class Program7 {
private int size;
private double[] data1;
private double[] data2;
private double sumData1;
private double sumData2;
private double avgData1;
private double avgData2;
private double powData1;
private double powData2;
private double sumMulti;
private double beta0;
private double beta1;
private double r;
private double r2;
private double y;
private double tailArea;
private double p;
private double x;
private double deviation;
private double ran;
private double range;
private double upi;
private double lpi;
public static void main(String[] args) {
Program7 pg7 = new Program7();
try {
File f = new File(args[0]);
FileInputStream fi = new FileInputStream(f);
BufferedReader br = new BufferedReader(new InputStreamReader(fi,
"UTF-8"));
// 分析対象となるデータ行を指定する
int data1 = Integer.parseInt(args[1]);
int data2 = Integer.parseInt(args[2]);
// 分析対象のLOC
long num = Long.parseLong(args[3]);
LinkedList<Double> linkData1 = new LinkedList<Double>();
LinkedList<Double> linkData2 = new LinkedList<Double>();
String line;
while ((line = br.readLine()) != null) {
String[] strrec = line.split("t");
linkData1.add(Double.parseDouble(strrec[data1 - 1]));
linkData2.add(Double.parseDouble(strrec[data2 - 1]));
}
pg7.size = linkData1.size();
pg7.data1 = new double[pg7.size];
pg7.data2 = new double[pg7.size];
// 合計値を計算する
pg7.sumData1 = pg7.calcSum(linkData1);
pg7.sumData2 = pg7.calcSum(linkData2);
// 合計値から平均値を計算する
pg7.avgData1 = pg7.calcAvg(pg7.sumData1);
pg7.avgData2 = pg7.calcAvg(pg7.sumData2);
// X, Yの二乗の合計値、X*Yの合計値を計算する
pg7.powData1 = pg7.calcSumPow(linkData1);
pg7.powData2 = pg7.calcSumPow(linkData2);
pg7.sumMulti = pg7.calcSumMulti(linkData1, linkData2);
// β1 を計算する
pg7.beta1 = pg7.calcBeta1();
// β0 を計算する
pg7.beta0 = pg7.calcBeta0();
// R, R2 を計算する
pg7.r = pg7.calcR();
pg7.r2 = pg7.calcR2();
// tail areaを計算する
pg7.tailArea = pg7.calcTail();
// yを計算する
pg7.y = pg7.calcY(num);
// xを計算する
pg7.x = pg7.calcX();
// 標準偏差を計算する
pg7.deviation = pg7.calcDeviation();
// Rangeを前計算する
pg7.ran = pg7.calcRan(num);
// Rangeを計算する
pg7.range = pg7.calcRange();
// UPIを計算する
pg7.upi = pg7.calcUPI();
// LPIを計算する
pg7.lpi = pg7.calcLPI();
System.out.println("rxy: " + pg7.changeScale(pg7.r, 6));
System.out.println("r2: " + pg7.changeScale(pg7.r2, 6));
System.out.println("tail area: "
+ new DecimalFormat("0.#######").format(pg7.changeScale(
pg7.tailArea, 8)));
System.out.println("β0: " + pg7.changeScale(pg7.beta0, 6));
System.out.println("β1: " + pg7.changeScale(pg7.beta1, 6));
System.out.println("yk: " + pg7.changeScale(pg7.y, 6));
System.out.println("range: " + pg7.changeScale(pg7.range, 6));
System.out.println("UPI: " + pg7.changeScale(pg7.upi, 6));
System.out.println("LPI: " + pg7.changeScale(pg7.lpi, 6));
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* 合計値を計算する
*
*/
private Double calcSum(LinkedList<Double> linkArray) {
double sum = 0;
for (Iterator i = linkArray.iterator(); i.hasNext();) {
sum = sum + Double.parseDouble(i.next().toString());
}
return sum;
}
/**
* 平均値を計算する
*
*/
private Double calcAvg(Double sum) {
return sum / size;
}
/**
* X, Yの2乗合計値を計算する
*
*/
private Double calcSumPow(LinkedList<Double> linkArray) {
double sum = 0;
for (Iterator i = linkArray.iterator(); i.hasNext();) {
sum = sum + Math.pow(Double.parseDouble(i.next().toString()), 2);
}
return sum;
}
/**
* X*Yの合計値を計算する
*
*/
private Double calcSumMulti(LinkedList<Double> linkData1,
LinkedList<Double> linkData2) {
double sum = 0;
int i = 0;
while (linkData1.size() != 0 || linkData2.size() != 0) {
data1[i] = linkData1.pop();
data2[i] = linkData2.pop();
sum = sum + (data1[i] * data2[i]);
i++;
}
return sum;
}
/**
* β1 を計算する
*
*/
private Double calcBeta1() {
double num1 = (sumMulti - (size * avgData1 * avgData2));
double num2 = (powData1 - (size * avgData1 * avgData1));
return num1 / num2;
}
/**
* β0 を計算する
*
*/
private Double calcBeta0() {
return avgData2 - (beta1 * avgData1);
}
/**
* R を計算する
*
*/
private Double calcR() {
double num1 = (size * sumMulti) - (sumData1 * sumData2);
double num21 = (size * powData1) - (sumData1 * sumData1);
double num22 = (size * powData2) - (sumData2 * sumData2);
return num1 / (Math.sqrt(num21 * num22));
}
/**
* R2 を計算する
*
*/
private Double calcR2() {
return r * r;
}
/**
* Tail Area を計算する
*
*/
private Double calcTail() {
double num1 = r * Math.sqrt(size - 2);
double num2 = Math.sqrt(1 - r * r);
Tdist tDist = new Tdist();
tDist.start(num1 / num2, size - 2);
p = tDist.getP();
return (double) (1 - 2 * p);
}
/**
* Y を計算する
*
*/
private Double calcY(long num) {
return beta0 + beta1 * num;
}
/**
* PからXを計算する
*
*/
private Double calcX() {
RevTdist RevTdist = new RevTdist();
RevTdist.start(0.0, size - 2, 0.35);
double x = RevTdist.getX();
return x;
}
/**
* 標準偏差を計算する
*
*/
private Double calcDeviation() {
double sum = 0;
for (int i = 0; i < data1.length; i++) {
sum += Math.pow((data2[i] - beta0 - beta1 * data1[i]), 2);
}
double dist = sum / (size - 2);
double dev = Math.sqrt(dist);
return dev;
}
/**
* Rangeを前計算する
*
*/
private Double calcRan(long num) {
double num1 = Math.pow(num - avgData1, 2);
double num2 = 0;
for (int i = 0; i < data1.length; i++) {
num2 += Math.pow(data1[i] - avgData1, 2);
}
double sq = 1 + (double) 1 / size + (double) (num1 / num2);
return Math.sqrt(sq);
}
/**
* Rangeを計算する
*
*/
private Double calcRange() {
return x * deviation * ran;
}
/**
* UPIを計算する
*
*/
private Double calcUPI() {
return y + range;
}
/**
* LPIを計算する
*
*/
private Double calcLPI() {
return y - range;
}
/**
* 四捨五入を行う
*
*/
private double changeScale(double val, int i) {
BigDecimal bd = new BigDecimal(val);
return bd.setScale(i, BigDecimal.ROUND_HALF_UP).doubleValue();
}
}
Lesson5で開発したプログラムをもとに、Lesson6用の要件を追加します。
Lesson6: 「t分布関数を0.0からxの範囲で積分した結果がpとなるようなxを求める」
● プログラム仕様スクリプト
ASGKIT PROG6を参照のこと
● 実行結果
正しい積分結果値よりxをを絞り込みながら調整しつつ、シンプソン法の最適幅、積分結果、t分布関数値を得る
OK! [W=2] Result P: 0.0 NG! [W=2] 0.062143 NG! [W=4] 0.000017 OK! [W=8] Result P: 0.178335 NG! [W=2] 0.116564 NG! [W=4] 0.000061 OK! [W=8] Result P: 0.31305 NG! [W=2] 0.145412 NG! [W=4] 0.00164 OK! [W=8] Result P: 0.396 NG! [W=2] 0.139119 NG! [W=4] 0.008551 NG! [W=8] 0.000075 OK! [W=16] Result P: 0.441942 NG! [W=2] 0.10295 NG! [W=4] 0.021035 NG! [W=8] 0.000398 OK! [W=16] Result P: 0.466616 NG! [W=2] 0.048413 NG! [W=4] 0.035425 NG! [W=8] 0.001493 OK! [W=16] Result P: 0.480029 NG! [W=2] 0.014094 NG! [W=4] 0.047057 NG! [W=8] 0.003926 NG! [W=16] 0.00001 OK! [W=32] Result P: 0.487552 NG! [W=2] 0.077696 NG! [W=4] 0.052655 NG! [W=8] 0.007991 NG! [W=16] 0.00004 OK! [W=32] Result P: 0.491935 NG! [W=2] 0.13875 NG! [W=4] 0.050897 NG! [W=8] 0.013594 NG! [W=16] 0.000132 OK! [W=32] Result P: 0.494589 NG! [W=2] 0.195789 NG! [W=4] 0.041945 NG! [W=8] 0.020339 NG! [W=16] 0.000344 OK! [W=32] Result P: 0.496255 NG! [W=2] 0.13875 NG! [W=4] 0.050897 NG! [W=8] 0.013594 NG! [W=16] 0.000132 OK! [W=32] Result P: 0.494589 NG! [W=2] 0.167808 NG! [W=4] 0.04727 NG! [W=8] 0.016859 NG! [W=16] 0.000218 OK! [W=32] Result P: 0.495514 NG! [W=2] 0.153413 NG! [W=4] 0.049303 NG! [W=8] 0.015197 NG! [W=16] 0.000171 OK! [W=32] Result P: 0.495078 NG! [W=2] 0.146114 NG! [W=4] 0.050156 NG! [W=8] 0.014388 NG! [W=16] 0.000151 OK! [W=32] Result P: 0.49484 NG! [W=2] 0.149772 NG! [W=4] 0.049743 NG! [W=8] 0.01479 NG! [W=16] 0.000161 OK! [W=32] Result P: 0.494961 NG! [W=2] 0.151592 NG! [W=4] 0.049525 NG! [W=8] 0.014993 NG! [W=16] 0.000165 OK! [W=32] Result P: 0.49502 NG! [W=2] 0.150681 NG! [W=4] 0.049634 NG! [W=8] 0.014892 NG! [W=16] 0.000162 OK! [W=32] Result P: 0.49499 NG! [W=2] 0.151136 NG! [W=4] 0.049578 NG! [W=8] 0.014943 NG! [W=16] 0.000164 OK! [W=32] Result P: 0.495005 NG! [W=2] 0.150912 NG! [W=4] 0.049609 NG! [W=8] 0.014916 NG! [W=16] 0.000164 OK! [W=32] Result P: 0.494998 NG! [W=2] 0.151025 NG! [W=4] 0.049595 NG! [W=8] 0.014929 NG! [W=16] 0.000163 OK! [W=32] Result P: 0.495001 NG! [W=2] 0.150967 NG! [W=4] 0.049602 NG! [W=8] 0.014923 NG! [W=16] 0.000163 OK! [W=32] Result P: 0.495 Result X: 4.60400390625
● ソースコード
import java.math.BigDecimal;
import java.text.DecimalFormat;
/**
* PSP Lesson6:
* t分布関数を0.0からxの範囲で積分した結果がpとなるようなxを求める
*/
public class Program6 {
private double x;
private int dof;
private double p;
private double d;
private int W;
private int initW;
private double E;
private int checkF1;
private int checkF2;
private long adjustCount;
public Program6() {
initW = 1;
W = initW;
E = 0.00001;
d = 0.5;
checkF1 = 0;
checkF2 = 0;
adjustCount = 0;
}
public static void main(String[] args) {
Program6 pg6 = new Program6();
Double doubleArray[] = new Double[2];
// 実行時引数からx(trial value), dof, pを取得する
pg6.x = Double.parseDouble(args[0]);
pg6.dof = Integer.parseInt(args[1]);
pg6.p = Double.parseDouble(args[2]);
boolean loopF = true;
while (loopF) {
for (int i = 0; i < 2; i++) {
doubleArray[i] = (double) 0;
// wを計算する
double w = pg6.x / pg6.W;
for (int j = 0; j <= pg6.W; j++) {
// p2を計算する
double p2 = 1 + (Math.pow((double) w * j, 2) / pg6.dof);
p2 = pg6.changeScale(p2, 6);
// p3を計算する
double p3 = Math.pow(p2, -(double) (pg6.dof + 1) / 2);
p3 = pg6.changeScale(p3, 6);
// p4を計算する
double p4 = pg6.calcP4(p3, pg6.dof);
p4 = pg6.changeScale(p4, 6);
// p5を計算する
double p5 = p3 * p4;
p5 = pg6.changeScale(p5, 6);
// p6を計算する
double p6 = pg6.calcP6(w, p5, j);
doubleArray[i] += p6;
}
doubleArray[i] = pg6.changeScale(doubleArray[i], 6);
if (i == 0) {
pg6.W = pg6.W * 2;
} else {
if ((doubleArray[i - 1] - doubleArray[i]) < pg6.E
&& (doubleArray[i] - doubleArray[i - 1]) < pg6.E) {
System.out.println("OK! [W=" + pg6.W + "]");
System.out.println("Result P: " + doubleArray[i]);
if (doubleArray[i] != pg6.p) {
pg6.adjustD(doubleArray[i]);
pg6.x += pg6.d;
pg6.W = pg6.initW;
i = -1;
} else {
System.out.println("Result X: " + pg6.x);
loopF = false;
}
} else {
if (doubleArray[i - 1] > doubleArray[i]) {
System.out.println("NG! [W="
+ pg6.W
+ "] "
+ new DecimalFormat("0.######")
.format(doubleArray[i - 1]
- doubleArray[i]));
} else {
System.out.println("NG! [W="
+ pg6.W
+ "] "
+ new DecimalFormat("0.######")
.format(doubleArray[i]
- doubleArray[i - 1]));
}
// 結果保持
doubleArray[i - 1] = doubleArray[i];
// シンプソン法適用時の幅拡張
pg6.W = pg6.W * 2;
i = 0;
}
}
}
}
}
/**
* dを調整する
*
*/
private void adjustD(Double result) {
adjustCount += 1;
double w = (double) (result - p);
if (d < 0) {
d = -d;
}
if (adjustCount == 1) {
if (w > 0) {
checkF1 = -1;
checkF2 = -1;
} else {
checkF1 = 1;
checkF2 = 1;
}
}
// 正しい積分結果値(P)を通り越えるまでは、0.5ポイント単位で増減させる
// 通過後は、より詳細に増減させて積分結果値(P)に近づくように調整する
if (checkF1 == checkF2) {
if (w > 0) {
d = -0.5;
checkF2 = -1;
} else {
d = 0.5;
checkF2 = 1;
}
} else {
if (w > 0) {
d /= 2;
d = -d;
} else {
d /= 2;
}
}
}
/**
* p4を計算する
*
*/
private Double calcP4(Double p3, int dof) {
double base = fact(((double) (this.dof + 1) / 2) - 1);
double frac = fact((double) this.dof / 2 - 1.0);
return base / (Math.pow(this.dof * Math.PI, 0.5) * frac);
}
/**
* p6を計算する
*
*/
private Double calcP6(Double w, Double p5, int i) {
int multi = 0;
if (i == 0 || i == this.W) {
multi = 1;
// 偶数の場合はmulti = 2
} else if (i % 2 == 0) {
multi = 2;
// 奇数の場合はmulti = 4
} else {
multi = 4;
}
return (double) (w / 3) * multi * p5;
}
/**
* 階乗計算
*
*/
private double fact(double i) {
if (i == 1) {
return 1;
} else {
if (i == 0) {
return i;
} else if (i < 1) {
return i * Math.sqrt(Math.PI);
} else {
// 再帰呼び出しする
return i * fact(i - 1);
}
}
}
/**
* 四捨五入を行う
*
*/
private double changeScale(double val, int i) {
BigDecimal bd = new BigDecimal(val);
return bd.setScale(i, BigDecimal.ROUND_HALF_UP).doubleValue();
}
}
Lesson5: 「シンプソン法を使用して、t分布関数を数値的に分析する」
● プログラム仕様スクリプト
ASGKIT PROG5を参照のこと
● 実行結果
シンプソン法の幅をより詳細に設定していき、差分が0.00001以下であれば適切な幅とみなし終了する。
NG! [W=2] 0.094385 NG! [W=4] 0.02666 NG! [W=8] 0.000162 OK! [W=16] Result: 0.494999
● ソースコード
import java.math.BigDecimal;
import java.text.DecimalFormat;
/**
* PSP Lesson5:
* シンプソン法を使用して、t分布関数を数値的に分析する
*/
public class Program5 {
private double x;
private int dof;
private int W;
private double E;
public static void main(String[] args) {
Program5 pg5 = new Program5();
Double doubleArray[] = new Double[2];
// 実行時引数からx, dof, Wを取得する
pg5.x = Double.parseDouble(args[0]);
pg5.dof = Integer.parseInt(args[1]);
pg5.W = Integer.parseInt(args[2]);
pg5.E = 0.00001;
for (int i = 0; i < 2; i++) {
doubleArray[i] = (double) 0;
// wを計算する
double w = pg5.x / pg5.W;
for (int j = 0; j <= pg5.W; j++) {
// p2を計算する
double p2 = 1 + (Math.pow((double) w * j, 2) / pg5.dof);
p2 = pg5.changeScale(p2, 6);
// p3を計算する
double p3 = Math.pow(p2, -(double) (pg5.dof + 1) / 2);
p3 = pg5.changeScale(p3, 6);
// p4を計算する
double p4 = pg5.calcP4(p3, pg5.dof);
p4 = pg5.changeScale(p4, 6);
// p5を計算する
double p5 = p3 * p4;
p5 = pg5.changeScale(p5, 6);
// p6を計算する
double p6 = pg5.calcP6(w, p5, j);
doubleArray[i] += p6;
}
doubleArray[i] = pg5.changeScale(doubleArray[i], 6);
if (i == 0) {
pg5.W = pg5.W * 2;
} else {
if ((doubleArray[i-1] - doubleArray[i]) < pg5.E
&& (doubleArray[i] - doubleArray[i-1]) < pg5.E) {
System.out.println("OK! [W=" + pg5.W + "]");
System.out.println("Result: " + doubleArray[i]);
} else {
if (doubleArray[i-1] > doubleArray[i]) {
System.out
.println("NG! [W="
+ pg5.W
+ "] "
+ new DecimalFormat("0.######")
.format(doubleArray[i-1]
- doubleArray[i]));
} else {
System.out
.println("NG! [W="
+ pg5.W
+ "] "
+ new DecimalFormat("0.######")
.format(doubleArray[i]
- doubleArray[i-1]));
}
// 結果保持
doubleArray[i - 1] = doubleArray[i];
// シンプソン法適用時の幅拡張
pg5.W = pg5.W * 2;
i = 0;
}
}
}
}
/**
* p4を計算する
*
*/
private Double calcP4(Double p3, int dof) {
double base = fact(((double) (this.dof + 1) / 2) - 1);
double frac = fact((double) this.dof / 2 - 1.0);
return base / (Math.pow(this.dof * Math.PI, 0.5) * frac);
}
/**
* p6を計算する
*
*/
private Double calcP6(Double w, Double p5, int i) {
int multi = 0;
if (i == 0 || i == this.W) {
multi = 1;
// 偶数の場合はmulti = 2
} else if (i % 2 == 0) {
multi = 2;
// 奇数の場合はmulti = 4
} else {
multi = 4;
}
return (double) (w / 3) * multi * p5;
}
/**
* 階乗計算
*
*/
private double fact(double i) {
if (i == 1) {
return 1;
} else {
if (i == 0) {
return i;
} else if (i < 1) {
return i * Math.sqrt(Math.PI);
} else {
// 再帰呼び出しする
return i * fact(i - 1);
}
}
}
/**
* 四捨五入を行う
*
*/
private double changeScale(double val, int i) {
BigDecimal bd = new BigDecimal(val);
return bd.setScale(i, BigDecimal.ROUND_HALF_UP).doubleValue();
}
}
Lesson4: 「ファイルから数値データのリストを読み込み、相対規模表を作成する」
● プログラム仕様スクリプト
ASGKIT PROG4を参照のこと
● 実行結果
シンプソン法の幅をより詳細に設定していき、差分が0.00001以下であれば適切な幅とみなし終了する。
Very Small: 6.3375 Small: 8.4393 Medium: 11.2381 Large: 14.965 Very Large 19.928
● ソースコード
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.math.BigDecimal;
import java.util.Iterator;
import java.util.LinkedList;
/**
* PSP Lesson4:
* ファイルから数値データのリストを読み込み、相対規模表を作成する
*/
public class Program4 {
private int size;
private LinkedList<Double> linkArray;
private LinkedList<Double> logArray;
private double vs;
private double s;
private double m;
private double l;
private double vl;
public static void main(String[] args) {
Program4 pg4 = new Program4();
try {
File f = new File(args[0]);
FileInputStream fi = new FileInputStream(f);
BufferedReader br = new BufferedReader(new InputStreamReader(fi,
"UTF-8"));
LinkedList<Double> linkData1 = new LinkedList<Double>();
LinkedList<Double> linkData2 = new LinkedList<Double>();
String line;
while ((line = br.readLine()) != null) {
String[] strrec = line.split("t");
linkData1.add(Double.parseDouble(strrec[1]));
linkData2.add(Double.parseDouble(strrec[2]));
}
pg4.size = linkData1.size();
// アイテム当たりの規模を計算する
pg4.linkArray = new LinkedList<Double>();
pg4.calcVol(linkData1, linkData2);
// アイテム毎のln(x)を計算する
pg4.logArray = new LinkedList<Double>();
Double lnSum = pg4.calcLn();
// ln(x)の平均値を計算する
Double lnAvg = pg4.calcLnAvg(lnSum);
// 平均からの対数値の分散を計算する
double lnPowSum = pg4.calcSumPow(lnAvg);
// 標準偏差を計算する
double lnDeviation = pg4.calcDeviation(lnPowSum);
// 規模範囲を計算する
pg4.calcScale(lnAvg, lnDeviation);
System.out.println("Very Small: " + pg4.vs);
System.out.println("Small: " + pg4.s);
System.out.println("Medium: " + pg4.m);
System.out.println("Large: " + pg4.l);
System.out.println("Very Large " + pg4.vl);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* アイテム当たりの規模を計算する
*
*/
private void calcVol(LinkedList<Double> linkData1,
LinkedList<Double> linkData2) {
double i = 0;
double j = 0;
while (linkData1.size() != 0 || linkData2.size() != 0) {
i = linkData1.pop();
j = linkData2.pop();
this.linkArray.add(this.changeScale(i / j, 4));
}
}
/**
* アイテム毎のln(x)を計算する
*
*/
private Double calcLn() {
double j = 0;
double logSum = 0;
for (Iterator i = linkArray.iterator(); i.hasNext();) {
j = this.changeScale(
Math.log(Double.parseDouble(i.next().toString())), 6);
this.logArray.add(j);
// 合計値も計算する
logSum += j;
}
return this.changeScale(logSum, 5);
}
/**
* ln(x)の平均値を計算する
*
*/
private Double calcLnAvg(Double sum) {
return this.changeScale(sum / size, 6);
}
/**
* 平均からの対数値の分散を計算する
*
*/
private Double calcSumPow(double calclnAvg) {
double sum = 0;
for (Iterator i = logArray.iterator(); i.hasNext();) {
sum = sum
+ Math.pow(Double.parseDouble(i.next().toString())
- calclnAvg, 2);
}
return this.changeScale(sum, 6);
}
/**
* lnの標準偏差を計算する
*
*/
private Double calcDeviation(Double sum) {
return this.changeScale(Math.sqrt(sum / (size - 1)), 6);
}
/**
* 規模範囲を計算する
*
*/
private void calcScale(double lnAvg, double deviation) {
vs = this.changeScale(Math.exp(lnAvg - (2 * deviation)), 4);
s = this.changeScale(Math.exp(lnAvg - deviation), 4);
m = this.changeScale(Math.exp(lnAvg), 4);
l = this.changeScale(Math.exp(lnAvg + deviation), 4);
vl = this.changeScale(Math.exp(lnAvg + (2 * deviation)), 4);
}
/**
* 四捨五入を行う
*
*/
private double changeScale(double val, int i) {
BigDecimal bd = new BigDecimal(val);
return bd.setScale(i, BigDecimal.ROUND_HALF_UP).doubleValue();
}
}
Lesson1, Lesson3に続いて、進めていきます。
各回のスクリプトはSoftware Engineering Instituteよりダウンロード可能です。
Lesson3: 「ファイルから数値データのリストを読み込み、相関係数と線形回帰パラメータを計算し、時間等の見積を行う」
● プログラム仕様スクリプト
ASGKIT PROG3を参照のこと
● 実行結果
β0: -22.54 β1: 1.7279 r: 0.9545 r2: 0.9111 y: 644.4294
● ソースコード
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.math.BigDecimal;
import java.util.Iterator;
import java.util.LinkedList;
/**
* PSP Lesson3:
* ファイルから数値データのリストを読み込み、相関係数と線形回帰パラメータを計算し、時間等の見積を行う
*/
public class Program3 {
private int size;
private double sumData1;
private double sumData2;
private double avgData1;
private double avgData2;
private double powData1;
private double powData2;
private double sumMulti;
private double beta0;
private double beta1;
private double r;
private double r2;
private double y;
public static void main(String[] args) {
Program3 pg3 = new Program3();
try {
File f = new File(args[0]);
FileInputStream fi = new FileInputStream(f);
BufferedReader br = new BufferedReader(new InputStreamReader(fi,
"UTF-8"));
// 分析対象となるデータ行を指定する
int data1 = Integer.parseInt(args[1]);
int data2 = Integer.parseInt(args[2]);
// 分析対象のLOC
long num = Long.parseLong(args[3]);
LinkedList<Double> linkData1 = new LinkedList<Double>();
LinkedList<Double> linkData2 = new LinkedList<Double>();
String line;
while ((line = br.readLine()) != null) {
String[] strrec = line.split("t");
linkData1.add(Double.parseDouble(strrec[data1 - 1]));
linkData2.add(Double.parseDouble(strrec[data2 - 1]));
}
pg3.size = linkData1.size();
// 合計値を計算する
pg3.sumData1 = pg3.calcSum(linkData1);
pg3.sumData2 = pg3.calcSum(linkData2);
// 合計値から平均値を計算する
pg3.avgData1 = pg3.calcAvg(pg3.sumData1);
pg3.avgData2 = pg3.calcAvg(pg3.sumData2);
// X, Yの二乗の合計値、X*Yの合計値を計算する
pg3.powData1 = pg3.calcSumPow(linkData1);
pg3.powData2 = pg3.calcSumPow(linkData2);
pg3.sumMulti = pg3.calcSumMulti(linkData1, linkData2);
// β1 を計算する
pg3.beta1 = pg3.calcBeta1();
// β0 を計算する
pg3.beta0 = pg3.calcBeta0();
// R, R2 を計算する
pg3.r = pg3.calcR();
pg3.r2 = pg3.calcR2();
// 最終的な結果を得る
pg3.y = pg3.calcY(num);
System.out.println("β0: " + pg3.beta0);
System.out.println("β1: " + pg3.beta1);
System.out.println("r: " + pg3.r);
System.out.println("r2: " + pg3.r2);
System.out.println("y: " + pg3.y);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* 合計値を計算する
*
*/
private Double calcSum(LinkedList<Double> linkArray) {
double sum = 0;
for (Iterator i = linkArray.iterator(); i.hasNext();) {
sum = sum + Double.parseDouble(i.next().toString());
}
return sum;
}
/**
* 平均値を計算する
*
*/
private Double calcAvg(Double sum) {
return this.changeScale(sum / size, 2);
}
/**
* X, Yの2乗合計値を計算する
*
*/
private Double calcSumPow(LinkedList<Double> linkArray) {
double sum = 0;
for (Iterator i = linkArray.iterator(); i.hasNext();) {
sum = sum + Math.pow(Double.parseDouble(i.next().toString()), 2);
}
return sum;
}
/**
* X*Yの合計値を計算する
*
*/
private Double calcSumMulti(LinkedList<Double> linkData1,
LinkedList<Double> linkData2) {
double sum = 0;
double i = 0;
double j = 0;
while (linkData1.size() != 0 || linkData2.size() != 0) {
i = linkData1.pop();
j = linkData2.pop();
sum = sum + (i * j);
}
return sum;
}
/**
* β1 を計算する
*
*/
private Double calcBeta1() {
double num1 = (sumMulti - (size * avgData1 * avgData2));
double num2 = (powData1 - (size * avgData1 * avgData1));
return this.changeScale(num1 / num2, 4);
}
/**
* β0 を計算する
*
*/
private Double calcBeta0() {
return this.changeScale(avgData2 - (beta1 * avgData1), 2);
}
/**
* R を計算する
*
*/
private Double calcR() {
double num1 = (size * sumMulti) - (sumData1 * sumData2);
double num21 = (size * powData1) - (sumData1 * sumData1);
double num22 = (size * powData2) - (sumData2 * sumData2);
return this.changeScale(num1 / (Math.sqrt(num21 * num22)), 4);
}
/**
* R2 を計算する
*
*/
private Double calcR2() {
return this.changeScale(r * r, 4);
}
/**
* Y を計算する
*
*/
private Double calcY(long num) {
return this.changeScale(beta0 + beta1 * num, 4);
}
/**
* 四捨五入を行う
*
*/
private double changeScale(double val, int i) {
BigDecimal bd = new BigDecimal(val);
return bd.setScale(i, BigDecimal.ROUND_HALF_UP).doubleValue();
}
}
前回に続いて、Lesson2を実施しました。
分析結果は特に載せていませんが、簡単なプログラムでもバグがあったり、結構時間を食ったりしました。
なお、PSPではコーディングに凝り過ぎる必要は無いと明記していますので、大まかな感じでOKです。
但し、コーディングフェーズを終了する際は要件が確実に含まれているか、コードエラーがないかなどのチェックを設けてる必要があります。
Lesson2: 「ソースファイルの行数、クラ数数、メソッド数をカウントする」
● プログラム仕様スクリプト
ASGKIT PROG2を参照のこと
● 実行結果
Part Name: Program3 Number of Items: 11 Part Size: 112 Total Size: 122
● ソースコード
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.Reader;
import java.io.StreamTokenizer;
import java.util.ArrayList;
/**
* PSP Lesson2:
* ソフトウェア開発プロセス特論 演習1 Date 2011/10/13 ソースファイルの行数、クラス数、メソッド数をカウントする
*/
public class Program2 extends StreamTokenizer {
private Boolean wordBool = false;
private String beforeWord = null;
private String className = null;
private int lineSize = 0;
private int totalSize = 0;
private int methodCnt = 0;
ArrayList<String> classArray = new ArrayList<String>();
ArrayList<String> methodArray = new ArrayList<String>();
public Program2(Reader r) {
super(r);
this.eolIsSignificant(true); // 改行コードを検出する
this.slashStarComments(true); // /* */ 型のコメント処理を有効にする
this.slashSlashComments(true); // //型コメントの処理を有効にする
this.wordChars('_', '_'); // 英数字の他に識別子に使える文字の定義
this.parseNumbers(); // 数値リテラルを解析する
classArray.add("class");
classArray.add("interface");
methodArray.add("void");
}
public static void main(String[] args) {
Reader reader = null;
try {
reader = new BufferedReader(new FileReader(new File(args[0])));
Program2 pg2 = new Program2(reader);
pg2.checkCnt();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
void checkCnt() throws IOException {
while (this.nextToken() != TT_EOF) {
switch (this.ttype) {
case TT_EOL: // 改行コードの検出
if (this.wordBool == true) {
this.lineSize++;
this.wordBool = false;
}
this.beforeWord = "r";
break;
case TT_WORD: // 語の検出（キーワードを含む）
this.wordBool = true;
if (this.beforeWord != null) {
// method件数をカウントする (コンストラクタは対応出来ていない）
if (this.methodArray.contains(this.sval)
|| this.beforeWord.equals("return")) {
this.methodCnt++;
}
// class名を取得する, 複数class対応
if (this.classArray.contains(this.beforeWord)) {
this.className = this.sval;
if (this.totalSize > 0) {
this.print();
}
this.initialize();
}
}
this.beforeWord = this.sval;
break;
default: // その他のトークン {}()[]+-=*/<>,;:
this.wordBool = true;
this.beforeWord = "symbol";
break;
}
}
// 最終行に改行が無いケースの対応
if (this.beforeWord.equals("symbol")) {
this.lineSize++;
}
this.totalSize += this.lineSize;
this.print();
System.out.println("Total Size: " + this.totalSize);
}
private void print() {
System.out.println("Part Name: " + this.className);
System.out.println("Number of Items: " + this.methodCnt);
System.out.println("Part Size: " + this.lineSize);
}
private void initialize() {
this.totalSize += this.lineSize;
this.lineSize = 0;
this.methodCnt = 0;
}
}
PSP: Personal Software Process とは、ソフトウェア開発効率の向上の為に、個人毎のソフトウェア開発プロセスを見直しする枠組みです。
PSPはグローバルに多くの大学やソフトウェア開発会社で適用しており、マイクロソフトやボーイングでも使用しているそうです。
個々がPSPによって、自分の開発時の癖やパフォーマンスを把握・改善を行い、開発効率向上を行います。
最終的には全チームメンバがPSPを実施し、TSP:Team Software Process へと発展させます。
今回はPSPガイドブック ソフトウェアエンジニア自己改善 (IT Architects’ Archive)
に沿いながら、8本ほどのプログラムを開発し、開発プロセスの見直しをしました。
各プログラムは小さいものばかりで、コーディング自体は2時間程あればコーディング出来ると思います。
今回使用する言語はJAVAを選択しましたが、PHPやPascal、Cでも何でも大丈夫です。
但し、狙いはコーディングではなく、実装前の全体計画や設計、テスト、バグの傾向等を含めた事後分析と多岐に俯瞰する必要があります。
なお、各回のスクリプトはSoftware Engineering Instituteよりダウンロード可能です。
Lesson1: 「ファイルから数値データのリストを読み込み、データの平均値と標準偏差を計算する」
● プログラム仕様スクリプト
ASGKIT PROG1を参照のこと
● 実行結果
Average: 60.32 Standard Deviation: 62.26
● ソースコード
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.math.BigDecimal;
import java.util.Iterator;
import java.util.LinkedList;
/**
* PSP Lesson1:
* ファイルから数値データのリストを読み込み、データの平均値と標準偏差を計算する
*/
public class Program1 {
private LinkedList<Double> linkArray;
private double resultAvg;
private double resultStgDeviation;
public static void main(String[] args) {
Program1 pg1 = new Program1();
try {
File f = new File(args[0]);
FileInputStream fi = new FileInputStream(f);
BufferedReader br = new BufferedReader(new InputStreamReader(fi,
"UTF-8"));
pg1.linkArray = new LinkedList<Double>();
String line;
while ((line = br.readLine()) != null) {
pg1.linkArray.add(Double.parseDouble(line));
}
pg1.calcAvg();
pg1.calcStgDeviation();
System.out.println("Average: " + pg1.resultAvg);
System.out.println("Standard Deviation: " + pg1.resultStgDeviation);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* 平均値を計算する
*
*/
private void calcAvg() {
double avg = 0;
for (Iterator i = linkArray.iterator(); i.hasNext();) {
avg = avg + Double.parseDouble(i.next().toString());
}
resultAvg = this.changeScale(avg / linkArray.size(), 2);
}
/**
* 標準偏差を計算する
*
*/
private void calcStgDeviation() {
// 1. データ毎に平均値との差分を２乗し合計値を取る
// 2. 合計値をデータ個数-1で除算し、平方根を計算する
double wkStg = 0;
for (Iterator i = linkArray.iterator(); i.hasNext();) {
wkStg = wkStg
+ Math.pow(Double.parseDouble(i.next().toString())
- resultAvg, 2);
}
resultStgDeviation = this.changeScale(
Math.sqrt(wkStg / (linkArray.size() - 1)), 2);
}
/**
* 四捨五入を行う
*
*/
private double changeScale(double val, int i) {
BigDecimal bd = new BigDecimal(val);
return bd.setScale(i, BigDecimal.ROUND_HALF_UP).doubleValue();
}
}
大学院の有志メンバと参加しているRICOH & Java Developer Challenge 2011でアプリケーション、ドキュメントを無事提出出来ました。
企画段階から入れると約4ヶ月掛けて、進めてきました。大学院や仕事をしながらの作業であった為、
非常に疲れましたが、チームとしてはシンプルながらも当初の案はアプリケーションに落とし込めたと思います。
また、個人としては、Javaに慣れ親しむという目標が達成出来たと思います。
1次予選の結果は今月末です。本選に進めるか分かりませんが、参加して良かったなと感じています。