Geri Dön   Forum Ti > Programlama Dilleri ve İnternet > Web Geliştirme Dilleri
Üye Ol Üye Listesi Takvim Forumları Okundu İşaretle

Web Geliştirme Dilleri İnternet sitesi geliştirme için kullanılan araçlar ve programlama dilleri... ASP & ASP.NET & PHP & CSS & HTML & SQL & Java Script

Cevap
 
Konu Araçları
Eski 09.06.2007   #1 (permalink)
 
Katılma Tarihi: Şub 2006
Nereden: Bursa/es-es
Yaş: 23
Mesajlar: 1,783
Varsayılan Web Sitesini İndeksleyecek Bir Arama Motoru Hazırlamak(Php)

Bir cok kisinin kendi sitesi icin bir arama motoru olusturmak istedigini gordugum icin PHP ile bu isin nasil yapilacagina baktim.Bir kac kutuphane gezdikten sonra en sonunda aradigim ornege bir kitapta rastladim.


Yanliz kucuk bir talihsizlik ilekitaptaki ornegin bir cok hata icerdigini gordum.Bir tarafi duzeltiyorsunuz baska bir yerde hata veriyor ve anlamsiz sonuclar ortaya cikiyordu.Bende en az 10-15 noktaya "echo ()" ile degisken sonuclarini belirli noktalarda isleyerek ve "gettype ()" fonksiyonu ile degiskenin yapisina bakarak sorunun nerede oldugunu anlamaya calisiyordum.



Zaten bir onceki yazimda ozellikle degisken veri tipi ve ozelliklerini anlamamiza yarayan fonksiyonlari makale yapmistim



Once degiskenleri,yapilarini,davranislarini ogrenip sonra ava cikmak daha mantikli gelmisti...



Simdi kitaptaki ornegin yapisini inceleyelim.ben bu ornekle ilgili yaklasik 1 haftadir calisiyorum.Hatalari bulup cikarirken eglendigimi soyleyemem ama cok sey ogrendim.



Ilk olarak belirtmeliyim ki yazar gercekten usta bir programci ve neden bu kadar cok hata yaptigini halen cozebilmis degilim.Ben ozellikle betik'teki degisken isimleri ve aciklamalara dokunmadim ki duzelltigim ve oldukca gelistirdigim bu ornegi ona da gonderirken ikinci bir isle ugramayayim istedim.



Yazar bir web sitesini indekslemek ve bu indekse dayali bir arama motoru kurabilmek icin <meta> etiketlerinden yararlanmis.Zaten tum arama motorlarida siteleri o <meta> etiketlerine gore indeksliyor.



<meta> etiketleri <head> ve </head> etiketleri arasina yaziliyor ve asagidaki gibi bir yapisi bulunuyor :






<meta name="keywords" content="kelime1,kelime2,kelime3,vb">
<meta name="description" content="Buraya ise sayfanin aciklamasi geliyor...">




Yani her web sayfanizin,kendisi ile ilgili bir anahtar kelime ve aciklama alanina sahip olmasi gerekiyor.HTML ile bu saglandiginda siteyi indeksleyecek program bu <meta> etiketlerinin icinde yer alan, "keywords" yani anahtar kelimeler ve "description" denilen aciklama alani ile sayfayi indeksliyor ve veritabaninda o sayfa ile ilgili bir satir aciyor.



Bundan ayri olarak veritabanina o sayfanin isminide yaziyor ve arama yapilirken sayfanin ismi alaninda da aranan kelime icin bir eslesme olup olmadigina bakiliyor.






Boylece "keywords","description" ve "filename" yani sirasi ile "anahtar kelimeler","aciklama" ve "dosyaadi" olarak uc alan veritabaninda yer aliyor.Birisi bir seyler aradiginda sayfalarla ilgili sonuclar veritabaninda karsilastiriliyor ve uyan sonuclar ekrana geliyor.



Hazirladigimiz program veritabanindan bagimsiz calisiyor.yani siz isterseniz MySQL isterseniz ORACLE isterseniz PostgreSQL veritabanini kullanabilirsiniz.Program icinde DB.php isimli bir sinif tarafindan veritabanina baglanti gerceklestiriliyor.Bu dosya PHP ile berber geliyor ve veritabani bagimsiz uygulama yazmak icin kullaniliyor.Programin yapisina bakinca nasil boyle bir islemin saglandigini gorebilirisiniz.



Programin ayarlar dosyasindan istediginiz veritabani ismini yazmaniz programin o veritabani ile ilgili fonksiyonlari kullanarak veritabani ile etkilesime gecemesini sagliyor...



Hemen hemen butun ayarlar bir tek ayar dosyasindan yapiliyor ama yinede bazi ayarlar hakkinda konusmak istiyorum.



Ilk olarak sitenizdeki butun dosyalar sizin belirlediginiz bir klasor baz alinarak ice dogru gidecek sekilde taraniyor.Bu tarama sirasinda sizin belirlediginiz dosya uzantisina sahip dosyalar indeksleniyor.Ornegin yanlizca sonu .html ile biten dosyalarin indekslenmesini yada sadece sonu .php ile biten dosyalarin indekslenmesini saglamak mumkun oluyor.



Asagiya ayar dosyasinin bir ornegini yaziyorum :






dbtype:mysql ; SQL Sunucu ne tip bir veritabani?
Host:localhost ; SQL Sunucu Nerede?
User:turkphp_user ; SQL Kullanici Adi
Password:****** ; SQL Sifresi
database_name:turkphp_veritabani ; Veritabani ismi?
filters:html,htm,php,php3,php4 ; Indekslenecek dosya uzantilari?
saveresults:yes ; Sonuclari kaydet?
basedir:/home/turkphp/public_html ; Indeksleme icin temel alinacak klasor?




Tum ayarlarin yanina turkce olarak ne anlama geldigini yazdim.



Simdi de veritabani icin tablo yapisini inceleyelim :



Tum kayitlari tutmak icin bir tek tablodan yararlanmak yetiyor.Asagidaki SQL yapisini kendi veritabani sunucunuz uzerinde calistirin,






CREATE TABLE sites_table (
id INT(4) PRIMARY KEY AUTO_INCREMENT,
filename VARCHAR (70),
keywords TEXT,
description TEXT
);







Guzel simdi "sites_table" isminde bir tabloya ve o tablonun icinde yer alan tablo alanlarini yaratmis oldunuz.Sitemizdeki tum dosyalar indekslendikten sonra bu alanlara ilgili veriler yazilacak.






Kurulum :



1.Bir paket halinde sikistirilmis dosyayi bilgisayariniza indirin.
2.Web sunucunuza upload yapmadan once 'config.txt' dosyasini acarak istediginiz ayarlari girin.
3.Yukaridaki SQL sorgusunu uygulayip tabloyu yarattiysaniz,artik dosyalari sunucuya yukleyebilirsiniz.(Dosyalari herhangi bir klasore koyabilirisiniz ama size tavsiyem ornegin "arama_motoru" gibi bir klasor acip o dizine "777" erisim haklari vermenizdir.Cunku indeksleme sirasinda bazi kayit dosyalari yaratilmaktadir.Eger dosyalara ve dizine "777" erisim hakki vermez iseniz klasorde gerekli izinlere sahip olmadigi icin program gecici kayit dosyalarini yaratamayacaktir.)
4."arama_motoru" isminde bir dizine dosyalari koydugunuzu kabul edersek,simdi web tarayicinizdan asagidaki gibi adrese gidebilirisiniz :



http://www.sizinalanadiniz.com/arama_motoru/octopus.php



Sayfa acilir acilmaz sizin ayarlar bolumunde verdiginiz verilere dayanarak siteyi bastan asagi (sizin belirlediginiz klasorden baslayarak) indekslemeye ve sayfalarda "keywords" ve "description" meta etiketlerine bakamya baslayacaktir.Eger bu kayitlara rastlanmaz ise bu alanlar veritabanina bos olarak kayit edilir ve yanlizca dosyalarinizin ismi veritabaninda bir kayit olarak yer alir.



5.Sitenizin indekslenmesi bittiginde sayfanin en altinda bu verileri veritabanina yazip yazmak istemediginiz sorulur.Bu islemden sonra artik siteniz indekslenmis ve aranmaya hazir hale gelmistir.



6.Simdi ornek bir arama yapmak icin,



http://www.sizinalanadiniz.com/arama_motoru/voyager.php



adresine gidebilirsiniz.Ilk olarak sayfa acildiginda indeks sonuclari ve en altta bir arama kutusu gorunur.Oraya arama kriteri girerek arama islemine baslayabilirsiniz.Eger basit bir web formu hazirlayarak,her defasinda veritabanindaki butun sonuclarin ekrana gelmesini engelleyerek yanlizca arama kutusunun yer aldigi bir sayfa hazirlamak istiyorsaniz ornegin asagidaki gibi bir html sayfasi hazirlayarak da arama yapabilirsiniz :






<html>
<head></head>
<body>
<form action='voyager.php' method='GET'>
Anahtar kelimeleri yaziniz : <input type='text' name='query'>
<input type='submit' value='Aramaya Basla'>
</form>
</body>
</html>




Kurulumu boylece tamamlamis oldunuz.Eger bir sebepten oturu hata mesaji aliyorsaniz once klasore gerekli izni vermeyi deneyin.Eger klasor izinleri tamamsa bu sefer veritabani kullanici adi ve sifrenizi gozden gecirin.Bu progrm bazi PEAR siniflarini kullanmaktadir.Bu sinifilar PHP ile otomatik gelir ve bu konuda bir sikinti yazamaniz mumkun degildir.




Kaynak : ISBN 0-672-31924-1



Not : Kaynak kitapta yer alan yapi,duzen kaynak kodlar ile yukarida indirdiginiz sikistirilmis dosyadaki kaynak kodlar cok farklidir.






EK - 1 Kaynak Kodlar



octopus.php






<?php
include 'File/Find.php';
include 'LoadConfig.php';


$config = LoadConfig ('config.txt');



#A-Z ye dosyalar ve nokta karekterini tanimladim...
#Siz istediginiz degisikligi yaparak hangi dosylarin bulunup
#Indekslenmesini istediginizi burada belirleyebilirsiniz.
$regex = "[a-zA-Z0-9\.]";



$fs = new File_Find;



$files = $fs->search ($regex,$config['basedir'], 'perl');



while ($file = array_pop ($files)) {
$meta_tags = get_meta_tags ($file);
$indexed .= "$file | " . $meta_tags[keywords] . ' | ';
$indexed .= str_replace ("\n", '', $meta_tags[description]) . "\n";
}



if (strtolower ($config['saveresults']) == 'yes' or
$config['saveresults'] == '1') {
touch ('savefile'); #Create if doesn't exist
$n = (int)join('', file('savefile'));



$fp = @fopen ('savefile','w') or die("Cannot Open savefile");
fputs ($fp, ++$n);
fclose($fp) or die("Cannot Close savefile");



$filename = 'octopus_index' . $n . '.txt';
$fp = @fopen ($filename, 'w') or die ("Cannot Open $filename");
fwrite ($fp,$indexed);
@fclose ($fp) or die("Cannot Close $filename");
confirm ($indexed);
} else {
$filename = 'octopus_index.txt';
$fp = @fopen ($filename,'w') or die("Cannot Open $filename");
fwrite ($fp,$indexed);
@fclose($fp) or die("Cannot Close $filename");
confirm($indexed);
}



function confirm () {
global $filename,$indexed;
?>
<html>
<head>
<title>Dosylarin Indekslenmesi Basarili Sekilde Tamamlandi</title>
</head>
<body>
Dosyalar Indeksleniyor...Lutfen Bekleyiniz:<br><br>
<?php
$indexed = explode ("\n", $indexed);



while (list (, $file) = each ($indexed)) {
$file = str_replace ('|', '<br>', $file);
print "$file\n<br><br>\n";
}
?>
<br>
<br>



<form action='finalize.php' method='get'>
<input type='hidden' name='filename' value='<?php echo $filename; ?>'>
<input type='radio' name='finalize' value='yes'>Dosyalari Indekslemeyi Bitirdim.<br>
<input type='radio' name='finalize' value='no'>Dosyalari Tekrar Indekslemek Istiyorum.<br>
<input type='submit' value='ILERI>>'>
</form>
</body>
</html>
<?php
}
?>








finalize.php






<?php
include 'DB.php';
include 'LoadConfig.php';


$config = LoadConfig ('config.txt');



if ($finalize == 'yes') {
$dbconn = array ('phptype' => $config[dbtype],
'username' => $config[User],
'password' => $config[Password],
'database' => $config[database_name],
'hostspec' => $config[Host]);



$dbh = DB::connect($dbconn);



if (DB::isError ($dbh)) {
die (sprintf ('Hata1 [%d]: %s',$dbh->getCode(), $dbh->getMessage()));
}



$fcontents = file ($filename);



while(list($key,$line) = each($fcontents)) {
list ($fname,$keywords,$desc) = explode('|', $line);



$fname = ereg_replace($config['basedir']," ",$fname);
$fname = trim($fname);
$keywords = trim($keywords);
$desc = trim($desc);






$stmt = 'INSERT INTO sites_table (filename, keywords, description)';
$stmt .= " VALUES ('$fname','$keywords','$desc')";
$dbh->query ($stmt);
if (DB::isError ($dbh)) {
die (sprintf ('Hata 2 [%d]: %s',$dbh->getCode(), $dbh->getMessage()));
}
}
//$dbh->close();
print "Sitenizin Indekslenmesi Tamamlandi...";
} elseif ($finalize == 'no') {
unlink ($filename)
or die ("Cannot delete $filename");
if ($saveresults == 'yes' or $saveresults == '1') {
$n = (int)join ('',file ('savefile'));
$fp = @fopen ('savefile','w') or die ("Connot Open savefile");
fputs ($fp, --$n);
@fclose ($fp) or die ("Cannot Close savefile");
}
print "Yapilan tum islemler geri alindi ve indeks dosyalari silindi...";
} else {
die ("Gecersiz bir secenek girildi...");
}
?>








voyager.php








<?php



include_once 'DB.php';
include_once 'LoadConfig.php';



$config = LoadConfig ('config.txt');



//Submitted data is $query -- Users search term



$dbconn = array ( 'phptype' => $config[dbtype],
'username' => $config[User],
'password' => $config[Password],
'database' => $config[database_name],
'hostspec' => $config[Host]);
$dbh = DB::connect($dbconn);



if (DB::isError ($dbh)) {
die (sprintf ('Error [%d]: %s',$dbh->getCode(),$dbh->getMessage()));
}



$stmt = 'SELECT * FROM sites_table ';
$stmt .= " WHERE keywords LIKE '%$query%' OR description LIKE '%$query%'";
$stmt .= " OR filename LIKE '%$query%'";



$sth = $dbh->query ($stmt);






if (DB::isError ($dbh)) {
die (sprintf ('Hata [%d]: %s',$dbh->getCode(),$dbh->getMessage()));
}



$count = $sth->numRows ();



$header = ($count > 0) ? "Sorgunuza uyan $count tane sonuc bulundu." :
'Uzgunum sorgunuza uyan herhangi bir kaynak sitemizde yer almiyor.';



function result_set () {
global $sth;
while ($row = $sth->fetchRow()) {
?>
<a href='<?php echo $row[1]; ?>'> <? echo $row[1]; ?> </a>
<br>
<dir><?php echo $row[3]; ?></dir><br><br>
<?php
}
}
//$dbh->close ();
?>



<html>
<head>
<title>
<?php echo $header; ?>
</title>
</head>
<body>
<h1> <?php echo $header; ?></h1>



<br>
<br>



<?php
if ($count) {
result_set();
} else {
echo $header;
}
?>



<form action='<?php echo $PHP_SELF; ?>' method='GET'>
Sitede bulmak istediginiz anahtar kelimeleri yaziniz : <input type='text' name='query'>
<input type='submit' value='Aramaya Basla'>
</form>
</body>
</html>








config.txt






dbtype:mysql ; SQL Server Type
Host:localhost ; SQL server location
User:turkphp_user ; SQL username
Password:****** ; SQL Password
database_name:turkphp_veritabani ; Name of the Database
filters:html,htm,php,php3,php4 ; Allowed File endings.
saveresults:yes ; Save the results of each succesful indexing
basedir:/home/turkphp/public_html ; Base directory where files are held




LoadConfig.php






<?php


function LoadConfig ($filename,$seperator=':', $comment=';')
{
$regex = "/$comment.*/i";
$fp = @fopen ($filename,'r');
if (!$fp) {
die ("Cannot open $filename");
}



while ($line = @fgets ($fp,1024)) {
$line = preg_replace ($regex,"",$line);
list ($key,$val) = explode ($seperator,$line);



$key = trim ($key);
$val = trim ($val);



$config[$key] = $val;
}



@fclose ($fp);
return ($config);
}
?>
staticiation Şuanda Forumda Değil   Alıntı yaparak cevapla
Cevap


Şu Anda Konuyu İnceleyen Aktif Kullanıcılar: 1 (0 üye ve 1 misafir)
 
Konu Araçları


Benzer Konular
Konu Konuyu Başlatan Forum Cevaplar Son Mesaj
İlginç Bir arama Motoru Myst3rious Web Tasarım 0 31.07.2007 01:28
Arama Motoru Taktikleri emregrlk E-Kitap 0 11.07.2007 11:46
Site İçi Arama Motoru makilic Web Tasarım 0 29.05.2007 22:16
Altyazı Avcısı v1.24(alt yazı arama motoru) emregrlk A-B-C-D-E 0 10.04.2007 21:06
Program arama motoru terminatör P-Q-R-S-T 0 28.07.2006 13:45


Şu anki forum saati: 08:56.


cnt hizmet sağlayan firma
ForumTi.com'un yapımı ve yayınlanması CNT'ye aittir.
Sitedeki içerikleri foruma ücretsiz şekilde üye olabilen ziyaretçiler oluşturur. Bu içeriklerin sorumluluğu yazana aittir.
Eğer yasak ve aykırı içerik tespit edilirse site yöneticilerine bu konular bildirilir ve kaldırılır. Site yönetimi haberdar edildiğinde sonuç alınamaz ise servis sağlayıcı CNT'ye bildiride bulunabilirsiniz.
vBulletin® v3.7.2, Copyright ©2000-2008, Jelsoft Enterprises Ltd. Search Engine Friendly URLs by vBSEO 3.2.0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259